2.3 Средняя взаимная информация

Определения. В изучении проблем связи, кроме рассмотренных выше величин, важную роль играет среднее значение взаимной информации между элементами различных ансамблей.

Рассмотрим условное среднее значение взаимной информации для объединенного ансамбля XY. Пусть сигнал принял значение у_k. Тогда информация, содержащаяся в реализации у_k принятого сигнала относительно ансамбля передаваемых сообщений X,

(2.3.1)

есть средняя взаимная информация между ансамблем X и реализацией y_k.

Аналогично информация, содержащаяся в ансамбле принятых сигналов Y относительно реализации переданного сообщения x_j, определяется как

(2.3.2)

Это средняя взаимная информация между ансамблем Y и реализацией x_j.

Средняя взаимная информация между ансамблем принимаемых сигналов Y и ансамблем передаваемых сообщений X

(2.3.3)

есть то количество информации, которое содержится в среднем в ансамбле принимаемых символов Y относительно ансамбля передаваемых символов X.

Основные свойства средней взаимной информации.

1. Средняя взаимная информация симметрична

   (2.3.4)

2. Средняя взаимная информация не превышает собственную

   (2.3.5)

3. Средняя взаимная информация всегда неотрицательна

(2.3.6)

4) Следующее свойство устанавливает соотношение между средней взаимной информацией и энтропиями, относящимися к объединенному ансамблю. Величина

(2.3.7)

– среднее количество информации о сообщении, содержащееся в принятом сигнале – равна среднему количеству информации, требуемому для определения сообщения X, минус среднее количество информации, которое все еще потребуется для определения X после приема сигнала Y. Тогда энтропию Н(Х) мы понимаем как среднее количество переданной информации, а условную энтропию H(X/Y) – как среднее количество информации, потерянное вследствие влияния шума («ненадежность»).

В другом варианте

(2.3.8)

среднее количество информации есть разность между средним количеством информации, необходимым для определения принятого сигнала, и средним количеством информации, необходимым для определения того же сигнала, когда известно переданное сообщение. Тогда H(Y/X) можно трактовать как среднее количество информации, необходимое для определения помехи в канале, т. е. это есть энтропия шума в канале.

При отсутствии в канале помех

,

(2.3.9)

т.е. принимаемый сигнал Y доставляет получателю всю информацию, содержащуюся в переданном сигнале.

В этом случае у_k и x_j связаны однозначно

(2.3.10)

и условная энтропия H(X/Y)=0.

При значительном уровне помех прием у_k не дает ответа относительно переданного x_j, следовательно, X и Y можно приближенно считать статистически независимыми, тогда – прием символа у_k никак не определяет переданного символа x_j – и среднее количество информации

.

Очевидно, формулы (2.3.3), (2.3.7) и (2.3.8) дают тождественные результаты, и выбор той или иной формулы при решении конкретной задачи производится из соображений удобства математических выкладок.