2.3. Энтропия объединения (ансамбля)

Формула (2.3) получена в предположении, что существует неопределенная ситуация X, которая характеризуется вполне определенным набором альтернатив x₁, x₂, . . . , x_m и известными априорными вероятностями этих альтернатив p(x₁), p(x₂), . . . , p(x_m). Таким образом, на множестве (ансамбле) возможных сообщений задается распределение вероятностей, и это позволяет вычислить по формуле (2.3) энтропию источника.

Однако информационный акт в любой информационной системе состоит в передаче сообщения от источника к получателю. В связи с этим возникает необходимость в определении количества информации, содержащегося в одном ансамбле относительно другого.

Для этого рассмотрим объединение двух дискретных ансамблей X и Y, вообще говоря, зависимых друг от друга. Интерпретировать это объединение в зависимости от решаемой задачи можно по-разному: а) как пару ансамблей сообщений, б) как ансамбль сообщений X и ансамбль сигналов Y, с помощью которого эти сообщения передаются, в) как ансамбль сообщений (сигналов) X на входе канала и ансамбль сообщений (сигналов) Y на выходе канала и т.д.

При этом ансамбль Y задается аналогичной ансамблю X схемой

,

а схема объединения ансамблей выглядит следующим образом

x₁ x₂ . . . x_m

y₁ p(x₁y₁) p(x₂y₁) . . . p(x_my₁)

y₂ p(x₁y₂) p(x₂y₂) . . . p(x_my₂)

. . . .

y_m p(x₁y_m) p(x₂y_m) . . . p(x_my_m),

где вероятности произведения совместных зависимых событий определяются по формуле

С объединением событий связаны понятия совместной и условной энтропии и взаимной информации.

Совместной энтропией H(XY) называется среднее количество информации на пару сообщений (например, переданного и принятого). По аналогии с теоремой умножения вероятностей (1.7)

(2.7)

Здесь - условная энтропия Y относительно X или мера количества информации в приемнике, если известно, что передается X, а - условная энтропия X относительно Y или мера количества информации об источнике, когда известно, что принимается Y.

Для условной энтропии справедливо неравенство . При этом равенство имеет место тогда, когда Y содержит полную информацию об X. Другое равенство имеет место тогда, когда X и Y независимы, т.е. Y не содержит никакой информации об X.

Выражения для нахождения условных энтропий через вероятностные схемы ансамблей X и Y и их объединений могут быть получены исходя из следующего.

Пусть на основании статистических данных могут быть установлены вероятности событий y₁, y₂, . . . , y_m при условии, что имело место событие x_i. Это будут условные вероятности p(y₁/x_i), p(y₂/x_i), . . . , p(y_m/x_i). Тогда частная условная энтропия будет равна по общему определению энтропии (2.3) .

Далее нужно подсчитать среднее значение H(Y/X) для всех x_i при i =1, ..., n, т.е. или в развернутом виде

(2.8)

и аналогично

. (2.9)

В общем случае условная энтропия H(X/Y) меньше H(X) и знание Y снижает в среднем априорную неопределенность X. Из этих соображений целесообразно назвать разность

(2.10)

количеством информации, содержащемся в Y относительно X. Эту величину называют взаимной информацией между X и Y.

Взаимная информация измеряется в тех же единицах, что и энтропия, т.е. в битах. Величина I(X,Y) показывает, сколько в среднем бит информации получаем о реализации ансамбля X, наблюдая реализацию ансамбля Y.

Основные свойства взаимной информации:

1. I(X, Y) , причем равенство нулю имеет место тогда и только тогда, когда X и Y независимы друг от друга. (2.11)

2. I(X, Y) = I(Y, X), т.е. Y содержит такое же количество информации об X, какое X содержит относительно Y. (2.12)

3. I(X, Y)  H(X), причем равенство имеет место тогда, когда по реализации Y можно однозначно восстановить X. (2.13)

4. I(Y, X)  H(Y), причем равенство имеет место тогда, когда по реализации X можно однозначно восстановить реализацию Y. (2.14)

5. Полагая Y=X и учитывая, что H(X/X) = 0, получим, что I(X,X)=H(X). Это позволяет интерпретировать энтропию источника, как его собственную информацию, т.е. содержащуюся в ансамбле X о самом себе. (2.15)

Все сказанное о безусловной, условной, совместной энтропии и взаимной информации можно свести в табл. 2.1.

Таблица 2.1. Сводная таблица по видам энтропий
Название	Обозначение	Диаграмма	Соотношения
Безусловная энтропия	H(X)		H(X) H(X/Y) H(X)= H(X/Y)+ I(X,Y)
	H(Y)		H(Y) H(Y/X) H(Y)= H(Y/X)+ I(X,Y)
Условная энтропия	H(X/Y)		H(X/Y)= H(X) - I(X,Y)
	H(Y/X)		H(Y/X)= H(Y) - I(X,Y)
Совместная энтропия	H(XY)=H(YX)		H(XY)= H(X)+ H(Y/X)= = H(Y)+ H(X/Y)= = H(X)+ H(Y) - I(X,Y)
Взаимная информация	I(X,Y)		I(X,Y)= H(X) - H(X/Y)= = H(Y) - H(Y/X)= = H(XY) - H(X/Y) - H(Y/X)

Если обозначить T - среднее время передачи одного сообщения, а _к - количество символов, поступающих на вход канала в единицу времени, то величина

(2.16)

показывает количество информации, приходящееся не на одно сообщение, а на единицу времени и называется скоростью передачи информации от X к Y.

Полученные соотношения позволяют взглянуть на сущность энтропии с другой точки зрения.

Пусть X - ансамбль дискретных сообщений, а Y - ансамбль дискретных сигналов, в которые преобразуются сообщения X. Тогда (2.13, 2.14) I(X, Y) = H(X) в том и только в том случае, когда преобразование X  Y обратимо. При необратимом преобразовании I(X, Y) < H(X) и разность H(X) - I(X,Y) = H(X/Y) можно назвать потерей информации при преобразовании X  Y.

Таким образом, информация не теряется только при строго обратимых преобразованиях.

Далее, понимая под X ансамбль сигналов на входе дискретного канала, а под Y - ансамбль сигналов на его выходе, на основании (2.10) можно записать

. (2.17)

Это соотношение можно проиллюстрировать рис. 2.1. Здесь H(X) - энтропия источника на входе канала,
	Рис. 2.1. Графическая иллюстрация выражения (2.17)

H(Y) - энтропия на выходе канала, H(X/Y) - потери информации в канале, эта величина называется иногда ненадежностью канала, H(Y/X) - посторонняя информация в канале, создаваемая действующими в нем помехами и называемая иногда энтропией шума. Соотношение между H(X/Y) и H(Y/X) определяется свойствами канала. Например, при передаче телефонного сигнала по каналу с узкой полосой частот и низким уровнем помех H(X/Y) >> H(Y/X). Если полоса частот канала достаточна, но сильны наводки от соседнего канала, то H(X/Y) << H(Y/X).

Если в системе нет потерь информации, искажений и помех, то условные энтропии в выражении (2.17) равны нулю, а количество взаимной информации равно энтропии либо источника, либо приемника.

Контрольные

вопросы к

лекции 10

10-1. Чем характеризуется структурный подход к определению количества информации?

10-2. Как определяется геометрическая мера количества информации при использовании структурного подхода?

10-3. Как определяется комбинаторная мера количества информации при использовании структурного подхода?

10-4. Как определяется аддитивная мера количества информации при использовании структурного подхода?

10-5. Для чего используется семантический подход к определению количества информации?

10-6. Как оценивается содержательность информации при использовании семантического подхода?

10-7. Что служит в качестве меры целесообразности информации при использовании семантического подхода?

10-8. Что служит в качестве меры существенности информации при использовании семантического подхода?

10-9. Чем отличаются подходы Хартли и Шеннона к определению количества информации?

10-10. Что характеризует энтропия?

10-11. Чем отличаются понятия количества информации и энтропии?

10-12. Почему энтропия всегда положительна?

10-13. В каком случае энтропия равна нулю?

10-14. В каком случае энтропия имеет максимальное значение?

10-15. Как определяется относительная избыточность источника?

10-16. В каком случае относительная избыточность источника равна нулю?

10-17. Какой источник информации называется стационарным?

10-18. Что называется производительностью источника информации?

10-19. Что называется совместной энтропией пары сообщений?

10-20. Что называется условной энтропией одного сообщения относительно другого?

10-21. Что называется взаимной информацией между двумя сообщениями?

10-22. В каком случае взаимная информация между двумя сообщениями равна нулю?

10-23. В каком случае взаимная информация между двумя сообщениями равна энтропии одного из сообщений?

10-24. Что называется собственной информацией источника?

10-25. Что называется скоростью передачи информации?

10-26. При каких преобразованиях отсутствуют потери информации?

10-27. Что называется ненадежностью канала?

10-28. Что называется энтропией шума в канале?

Лекция 11

Основная

теорема

Шеннона