3. Свойства количества информации

Отметим некоторые важные свойства количества информации.

1°. Количество информации в случайном объекте Х относительно объекта Y равно количеству информации в Y относительно X: I(X,Y)=I(Y,X).

2°. Количество информации неотрицательно: I(X, Y)0. I(X, Y)=0 при p(x, у)=р(х)р(у).

3°. Для дискретных Х справедливо равенство I(Х, X)=H(Х).

4°. Преобразование (X) одной случайной величины не может увеличить содержание в ней информации о другой, связанной с ней, величине: I((X), Y)I(X, Y)

5°. Для независимых пар величин количество информации аддитивно: I({X_i, Y_i})=_iI(X_i, Y_i).

4. Единицы измерения энтропии и количества информации

Рассмотрим теперь вопрос о единицах измерения количества информации и энтропии. Из определений I и Н следует их безразмерность, а из линейности их связи - одинаковость их единиц. Поэтому будем для определенности говорить об энтропии. Начнем с дискретного случая. За единицу энтропии примем неопределенность случайного объекта, такого, что H(X)=-_ip_i logp_i=1 .

Легко установить, что для однозначного определения единицы измерения энтропии необходимо конкретизировать число т состояний объекта и основание логарифма. Возьмем для определенности наименьшее число возможных состояний, при котором объект еще остается случайным, т.е. т=2, и в качестве основания логарифма также возьмем число 2. Тогда из равенства -p₁ logp₁-p₂ logp₂=1- вытекает, что p₁=p₂=1/2. Следовательно, единицей неопределенности служит энтропия объекта с двумя равновероятными состояниями. Эта единица получила название "бит". Бросание монеты дает количество информации в один бит. Другая единица ("нит") получается, если использовать натуральные логарифмы, обычно она употребляется для непрерывных величин.

5. Количество информации в индивидуальных событиях

Остановимся еще на одном важном моменте. До сих пор речь шла о среднем количестве информации, приходящемся на любую пару состояний (x_i, y_k) объектов Х и Y. Эта характеристика естественна для рассмотрения особенностей стационарно функционирующих систем, когда в процессе функционирования (рано или поздно, реже или чаще) принимают участие все возможные пары (x_i, y_k). Однако в ряде практических случаев оказывается необходимым рассмотреть информационное описание конкретной пары состояний, оценить содержание информации в конкретной реализации сигнала. Тот факт, что некоторые сигналы несут информации намного больше, чем другие, виден на примере того, как отбираются новости средствами массовой информации (скажем, все радиостанции и газеты сообщают о рождении шестерых близнецов где-то в Южной Америке, но о рождении двойни обычно не пишут).

Допуская существование количественной меры информации i(x_i, y_k) в конкретной паре (x_i, y_k), естественно потребовать, чтобы индивидуальное и среднее количества информации удовлетворяли соотношению I(X,Y)=Mi(x_i, y_k)=_ik p(x_i, y_k) i(x_i, y_k).

Мерой индивидуальной информации в дискретном случае может служить величина i(x_i, y_k)= log(p(x_i| y_k) p^-1(x_i))= log(p(y_k|x_i) p^-1(y_k))=log(p(x_i, y_k) p^-1(x_i)p^-1(y_k)), а в непрерывном - величина i(x, y)=log(p(x|y) p^-1(x))=log(p(y|x)p^-1(y))=log(p(x, y)p^-1(x)p^-1(y)), называемая информационной плотностью. Свойства этих величин согласуются с интуитивными представлениями (в том числе и возможная отрицательность при положительности в среднем) и, кроме того, доказана единственность меры, обладающей указанными свойствами. Полезность введения понятия индивидуального количества информации проиллюстрируем на следующем примере.

Пусть по выборке (т.е. совокупности наблюдений) х = х₁, ..., х_N требуется отдать предпочтение одной из конкурирующих гипотез (Н₁ или Н₀), если известны распределения наблюдений при каждой из них, т.е. p(x|Н₀) и p(x|Н₁). Как обработать выборку? Из теории известно, что никакая обработка не может увеличить количества информации, содержащегося в выборке х. Следовательно, выборке х нужно поставить в соответствие число, содержащее всю полезную информацию, т.е. обработать выборку без потерь. Возникает мысль о том, чтобы вычислить индивидуальные количества информации в выборке х о каждой из гипотез и сравнить их:

i = i(x, Н₁)- i(x, Н₀) = log(p(x|Н₁)p^-1(x)) - log(p(x|Н₀)p^-1(x))= log(p(x|Н₁)(p^-1(x|Н₀))

Какой из гипотез отдать предпочтение, зависит теперь от величины i и от того, какой порог сравнения мы назначим. Оказывается, что мы получили статистическую процедуру, оптимальность которой специально доказывается в математической статистике, - именно к этому сводится содержание фундаментальной леммы Неймана - Пирсона. Данный пример иллюстрирует эвристическую силу теоретико-информационных представлений.

Подведем итог: Главным результатом данного параграфа является открытие К. Шенноном возможности количественного описания информационных процессов в системах и получение им формулы для количества информации.