2.2 Энтропия дискретного ансамбля сообщений

Среднее количество информации, содержащееся в ансамбле , определяется математическим ожиданием

. (2.6)

Величина называетсяэнтропиейансамбляи имеет размерность. Под термином сообщение понимается элемент ансамбля: это может быть символ или набор символов, образующих некоторое сообщение и т. д.

Пример 1.Положим,образуют ансамбль сообщений. Вероятности реализаций этих сообщений соответственно равны0.1,0.4,0.2,0.3. Определим количество информации, содержащуюся в каждом сообщении, и меру неопределённости в ансамбле.

После расчетов получим

3.3219, 1.3219, 2.3219, 1.7369.

Энтропия ансамбля равна 1.84644.

Как видно, наибольшее количество информации содержится в сообщении , которая реализуется с наименьшей вероятностью, и наименьшее количество информации содержится в сообщении, вероятность реализации которой наибольшая. Чем ближе к единице вероятность реализации сообщения, тем меньше информации содержится в этом сообщении. Эти выводы хорошо согласуются с субъективным представлением о ценности получаемых сведений.

Пример 2. Положим, одно из сообщений ансамбляреализуется с вероятностью0. Тогда какое-то другое сообщение будет реализовываться с вероятностью1. Вычислим энтропию вновь полученного ансамбля.

.

Получили неопределённость типа . Разрешив эту неопределённость, получим. Неопределённость в ансамблеотсутствует.

Энтропияхарактеризует меру средней неопределённости ансамбля .Пусть задан ансамбль: {} с распределением вероятностей,. Тогда энтропияудовлетворяет неравенству

. (2.7)

Доказательство. Левая часть неравенства следует из определения энтропии ансамбля. Для доказательства правой части рассмотрим разностьи преобразуем её

1

В дальнейшем используем неравенство , рисунок 2.1. Знак равенства будет только в случае. Тогда имеем

.

Из последнего неравенства следует, что знак равенства в правой части неравенстве (2.7) будет в том случае, если

= 1 или.

Энтропия ансамблябудет максимальной, если все событияравновероятны. Ценность информации в каждомсообщении, с точки зрения частоты её появления в результате опытов, будет равна.

Вычислим энтропию произведения ансамблей :и:. Произведение ансамблей образует матрицу сообщений

с распределением вероятностей

.

Пользуясь определением энтропии ансамбля, запишем энтропию произведения ансамблей

=

(2.8)

Условная энтропия зависит от условной меры информации- количества информации, содержащаяся в сообщении, при условии, что уже реализовалось сообщение, т.е.- это не случайное событие в условной мере информации, случайность реализацииучитывается в вероятности.

Если ансамбли инезависимы, т.е., то энтропия произведения ансамблей равна сумме энтропий ансамблейи

. (2.9)

Пользуясь методикой, применяемой при доказательстве неравенства (2.6), можно показать, что

. (2.10)

Если имеется множество ансамблей , то энтропия произведения ансамблей равна

,

(2.11)