1.2. Количественная мера информации для равновозможных событий

Источники информации могут быть дискретными и непрерывными. Дискретные источники имеют конечный набор различных состояний, а непрерывные – бесконечный (теоретически).

Сначала рассмотрим дискретные источники.

Под событием будем понимать состояние дискретного источника информации (объекта). Например, в двоичном канале как источнике информации имеют место два события (состояния), условно называемые нулевым и единичным. Нулевому соответствует состояние, когда по каналу передается нулевой символ («0»), а единичному – когда передается единичный символ («1»).

Обратим, прежде всего, внимание на то обстоятельство, что всякая информация может быть получена только в результате того или иного целенаправленного опыта (действия). Таким опытом может быть получение телеграммы, чтение книги, просмотр информационного табло с расписанием движения транспортных средств, измерение температуры, запуск на поверхность планеты Венера исследовательского аппарата и передача с него интересующих данных на Землю и т.д.

Чем можно охарактеризовать факт получения информации? Можно сказать, что во всех случаях до опыта на интересующий нас вопрос мы не можем ответить однозначно. Таким образом, до опыта имеет место бóльшая или меньшая неопределенность в исходе тех или иных событий. После опыта, в результате которого мы можем получить информацию об интересующих нас событиях, ситуация становится более определенной: на поставленный вопрос мы можем ответить либо однозначно, либо, по крайней мере, число возможных ответов уменьшится и, следовательно, уменьшится имевшая место до опыта неопределенность.

Рассмотрим пример (из студенческой жизни с фольклорным оттенком). Вы отправились сдавать экзамен. До опыта (экзамена) для Вас возможны 4 исхода (оценки): «отлично», «хорошо», «удовлетворительно», «неудовлетворительно» (). Бабушка в томительном ожидании обнаруживает, что Вы забыли телефон. Тогда она обзванивает знакомых своей внучки-студентки, пытаясь выяснить, как она сдала экзамен. В результате такого опыта (действия) она получает несколько ответов на свой вопрос:

– «Не знаю».

– «Неудовлетворительных оценок в группе не было».

– «Хорошо» или «Отлично».

– «Хорошо».

В первом ответе исходная неопределенность результат экзамена сохранилась (). Во втором ответе неопределенность уменьшилась до трех исходов (). В третьем ответе неопределенность еще более уменьшилась до двух исходов (). В четвертом ответе неопределенность оказалась исключенной: результат экзамена (оценка) стал единственным () – «хорошо», что успокоило бабушку.

Из приведенного примера интуитивно следует, что полученные в результате проведенного опыта ответы будут содержать неодинаковое количество информации. Ее максимальное значение, очевидно, будет в четвертом ответе, когда ситуация полностью определяется и неопределенность результата экзамена полностью устраняется. Таким образом, уменьшение неопределенности в результате опыта (действия) может быть принято за наиболее общую меру количества получаемой информации. В этом смысле говорят, что информация обратна неопределенности. Чем больше устраняется неопределенность, тем больше мы получаем информации.

Все оценки количества информации основаны на понятиях теории вероятностей. Поэтому, прежде чем перейти к рассмотрению мер количества информации, познакомимся с элементами теории вероятностей, необходимыми для понимания рассматриваемого в данном курсе материала. Более подробно и строго теорию вероятностей вы будете изучать в следующем семестре в курсе «Математика».

Выше мы отметили, что дискретный источник информации может находиться в одном из конечного множества состояний. Это состояние мы назвали событием.

Пусть источник информации выдает последовательность n-разрядных цифровых слов, т.е. слов, состоящих всего из двух символов: 0 и 1. Обозначим событие, соответствующее появлению в i-м разряде слова «нуля» через А, а событие, соответствующее появлению «единицы» через В. Пусть в цифровом слове имеется m₁ «нулей» и m₂ «единиц». Очевидно, что m₁+ m₂=n.

Вероятностью события называется отношение числа элементарных исходов, благоприятствующих данному событию, к числу всех равно­возможных исходов опыта в котором может появиться это событие.

Вероятность события А обозначают через р(А) (здесь р - первая буква французского слова probabilite - вероятность).

В соответствии с определением и принятыми обозначениями вероятность появления «нуля», т.е. события А, определяется как отношение числа элементарных исходов, благоприятствующих событию А (в нашем случае это число m₁), к числу всех возможных элементарных исходов опыта (в нашем случае это число n):

Соответственно, .

Это определение вероятности называют классическим. Оно возникло на начальном этапе развития теории вероятностей.

Вероятность события имеет следующие свойства:

1. Вероятность достоверного события равна единице. Обозначим достоверное событие буквой U. Для достоверного события m₁=n, (т.е. для нашего примера цифровое слово состоит из одних «нулей», и какой бы разряд мы не выбрали, все равно получим 0).

Таким образом, р(U)=1.

2. Вероятность невозможного события равна нулю. Обозначим невозможное событие буквой V. В нашем примере m₁=n, соответственно m₂=0, поэтому р(V)=0.

3. Вероятность случайного события выражается положительным числом, меньшим единицы 0<p(Х)<1.

4. Вероятность любого события Y удовлетворяет неравенствам 0≤p(Y)≤1.

Мера Р. Хартли

Меру количества информации, получаемой в результате того или иного опыта, можно было бы установить как функцию отношения числа равновозможных ответов до опыта () и после опыта (), т.е. как функцию .

Интуиция подсказывает, что количество получаемой в результате опыта информации должно быть тем больше, чем больше это отношение, что полностью согласуется с рассмотренным примером. Вместе с тем интуиция подсказывает, что в первом опыте, когда , исходная (до опыта) неопределенность не уменьшается и, следовательно, количество получаемой при таком опыте информации будет нулевым, а введенное отношение оказывается равным единице (). Таким образом, функция отношения входит в противоречие с нашей интуицией.

Более удобной для количественной меры информации оказывается логарифмическая функция:

. (1.1)

Выбор основания логарифма в выражении (1.1) принципиального значения не имеет. В информационных системах переносчиком информации в основном являются двоичные коды. Поэтому в выражении (1.1) целесообразно выбрать , а , при этом количество информации будет измеряться в двоичных единицах (сокращенно дв. ед., а по-английски bit (бит)).

Заметим, что логарифмическая функция (1.1) устраняет отмеченное выше для первого ответа противоречие, заключающееся в том, что для этого ответа исходная неопределенность сохраняется: и получаемое количество информации при этом будет нулевым, поскольку .

Если рассматриваемые события равновозможны, то априорная (доопытная) вероятность события будет равна , а апостериорная (после опыта) вероятность .

С учетом введенных обозначений и пояснений формула (1.1) примет вид

(1.2)

Здесь и в дальнейшем основание логарифма, равное 2, для простоты записи опущено. При практическом использовании формулы (1.2) иногда полезна замена .

Если события равновозможны, и если к тому же после опыта ситуация полностью определена , формула (1.2) примет вид

(1.3)

Такая мера была предложена американским ученым Ральфом Хартли и получила его имя.

Из формулы (1.3) вытекает, что получению одной двоичной единицы количества информации соответствует случай, когда выясняется, какое из двух равновозможных событий имеет место. К примеру, прочитав содержимое одного разряда двоичного регистра, мы и получаем одну двоичную единицу информации, если в этом разряде априорно известно, что вероятности символов «0» и «1» одинаковы.

Мера Р. Хартли относится к весьма частному случаю, а именно когда события имеют одинаковую вероятность. Такая модель источников информации редко используется в реальности. Кроме того, мера Р. Хартли предполагает полную достоверность результатов опыта, исключающую сохранение какой-либо неопределенности, что в информационных системах, как оказалось, далеко не всегда выполнимо.