7. 5.7. Количество информации

В основе всей теории информации лежит открытие, что информация допускает количественную оценку. В простейшей форме эта идея была выдвинута еще в 1928 г. Хартли, но завершенный и общий вид придал ей Шеннон в 1948 г. [9]. Не останавливаясь на том, как развивалось и обобщалось понятие количества информации, дадим сразу его современное толкование.

1. Количество информации как мера снятой неопределенности

Процесс получения информации можно интерпретировать как изменение неопределенности в результате приема сигнала. Проиллюстрируем эту идею на примере достаточно простого случая, когда передача сигнала происходит при следующих условиях: 1) полезный (отправляемый) сигнал является последовательностью статистически независимых символов с вероятностями р(х_i), i=1, ... , m; 2) принимаемый сигнал является последовательностью символов y_k, того же алфавита; 3) если шумы (искажения) отсутствуют, то принимаемый сигнал совпадает с отправляемым y_k=x_i 4) если шум имеется, то его действие приводит к тому, что данный символ может либо остаться прежним 0'-м), либо быть подмененным любым другим (k-м) символом, вероятность этого равна р(y_k|x_i); 5) искажение очередного символа является событием, статистически независимым от того, что произошло с предыдущими символами. Конечно, можно рассматривать ситуацию и со стороны передатчика, используя вероятности р(x_i|y_k). В этих условиях энтропия процесса есть энтропия одного символа, и все сводится к рассмотрению посимвольного приема.

Итак, до получения очередного символа ситуация характеризуется неопределенностью того, какой символ будет отправлен, т.е. априорной энтропией Н(Х). После получения символа y_k неопределенность относительно того, какой символ был отправлен, меняется: в случае отсутствия шума она вообще исчезает (апостериорная энтропия равна нулю, поскольку точно известно, что был передан символ x_k=y_k, а при наличии шума мы не можем быть уверены, что полученный нами символ и есть отправленный, и возникает неопределенность, характеризуемая апостериорной энтропией Н(Х|y_k)=Н({р(х_i|y_k)})>0. В среднем после получения очередного символа энтропия Н(Х|Y)=M_yН(Х|y_k).

Определим теперь количество информации как меру снятой неопределенности: числовое значение количества информации о некотором объекте равно разности априорной и апостериорной энтропий этого объекта: I(X. Y)=H(X)-H(X|Y)=H(Y)-H(Y|X).

В явной форме равенство (1) запишется так:

I(X, Y)=H(X)-H(X|Y)=-_i=1^mp(x_i)log p(x_i)+_k=1^mp(y_k)_i=1^mp(x_i|y_k)log p(x_i|y_k)=

_k=1^m_i=1^mp(x_i, y_k)log p(x_i|y_k)p^-1(x_i)=_k=1^m_i=1^mp(x_i, y_k)log p(y_k|x_i)p^-1(y_k)

2. Количество информации как мера соответствия случайных объектов

Этим формулам легко придать полную симметричность:

I(X, Y)=_k=1^m_i=1^mp(x_i, y_k)log p(x_i, y_k) p^-1(x_i)p^-1(y_k).

Эту симметрию можно интерпретировать так: количество информации в объекте Х об объекте Y равно количеству информации в объекте Y об объекте X. Таким образом, количество информации является не характеристикой одного из объектов, а характеристикой их связи, соответствия между их состояниями. Подчеркивая это, можно сформулировать еще одно определение: среднее количество информации есть мера соответствия двух случайных объектов.

Это определение позволяет прояснить связь понятий информации и количества информации. Информация есть отражение одного объекта другим, проявляющееся в соответствии их состояний. Один объект может быть отражен с помощью нескольких других, часто какими-то лучше, чем остальными. Среднее количество информации и есть числовая характеристика степени отражения, степени соответствия. Подчеркнем, что при таком описании как отражаемый, так и отражающий объекты выступают совершенно равноправно. С одной стороны, это подчеркивает обоюдность отражения: каждый из них содержит информацию друг о друге. Это представляется естественным, поскольку отражение есть результат взаимодействия, т.е. взаимного, обоюдного изменения состояний. С другой стороны, фактически одно явление (или объект) всегда выступает как причина, другой - как следствие; это никак не учитывается при введенном количественном описании информации.

Формула обобщается на непрерывные случайные величины, если в соотношения вместо Н подставить дифференциальную энтропию h; при этом исчезает зависимость от стандарта  и, значит, количество информации в непрерывном случае является столь же безотносительным к единицам измерения, как и в дискретном:

I(X, Y)=_X_Y p(x, y)log p(x, y) p^-1(x)p^-1(y) dx dy.

где p(x), p(y), р(х, у) - соответствующие плотности вероятностей.