3. Условная энтропия и взаимная информация

3.1. Дисктретные системы передачи информации.

Условной энтропией величины при наблюдении величиныназывается

Справедливы соотношения:

Взаимной информацией величин иназывается

Справедливы следующие соотношения:

Если инезависимы, то=0.

При расчетах условной энтропии и взаимной информации удобно пользоваться следующими соотношениями теории вероятностей:

1) теорема умножения вероятностей ;

2) формула полной вероятности

3) формула Байеса

Рассмотрим пример.

Пример 1. Дана матрица

, .

Определить:

Решение. По формуле полной вероятности имеем:

Следовательно,

По теореме умножения

Следовательно,

Аналогично

3.2. Непрерывные системы передачи информации.

Пусть - реализации непрерывного сообщения на входе какого-либо блока схемы связи,- реализация выходного сообщения (сигнала),- одномерная плотность вероятности ансамбля входных сообщений,- одномерная плотность вероятности ансамбля выходных сообщений,- совместная плотность вероятности,- условная плотность вероятности

при известном Тогда для количества информациисправедливы следующие соотношения:

,

Здесь - взаимная информация между каким-либо значениемвходного и значениемвыходного сообщений,- средние значения условной информации,- полная средняя взаимная информация.

Условная энтропия определяется по формуле:

Когда истатистически связаны между собой, то

При независимых и

Полная средняя взаимная информация определяется формулой:

Рассмотрим пример.

Пример 1. На вход приемного устройства воздействует колебание где сигнали помеха- независимые гауссовские случайные процессы с нулевыми математическими ожиданиями и дисперсиями, равными соответственнои

Определить: 1) количество взаимной информации которое содержится в каком-либо значении принятого колебанияо значении сигнала2) полную среднюю взаимную информацию

Решение. По условию задачи представляет собой сумму независимых колебанийикоторые имеют нормальные плотности вероятности. Поэтому

1. Количество информации определяется по формуле:

2. Полная средняя взаимная информация:

где - знак усреднения по множеству.

Таким образом,

дв. ед.

3.3. Задачи

3.3.1. Сигнал подается на вход канала с вероятностьюи отсутствует с вероятностьюПоступивший сигнал воспроизводится на выходе с вероятностьюи теряется с вероятностьюНайти энтропию выхода, энтропию входа, взаимную информацию входа и выхода;

3.3.2. Используя исходные данные задачи 1.3.6., определить энтропию входа условную энтропиюивзаимную информацию

3.3.3. Для двоичного симметричного канала со стиранием заданы:

- вероятность правильной передачи каждого символа;

- вероятность передачи единицы на входе;

- вероятность стирания каждого символа.

Используя исходные данные определить

3.4. Контрольные вопросы

3.4.1. Дать определение условной энтропии.

3.4.2. Сформулировать закон аддитивности энтропии в общем случае.

3.4.3. Что является единицей измерения энтропии?

3.4.4. Какие формулы используются для расчета условной энтропии?

3.4.5. Какие формулы используются для расчета взаимной информации?

3.4.6. Как определяется полная средняя взаимная информация?

3.4.7. Как определяется условная энтропия в непрерывной системе передачи информации?