Параграф 1.3: Условная энтропия и взаимная информация

Определенная равенством 1.4 энтропия характеризует информационные свойства одного дискретного источника или ансамбля. Однако в технике связи часто представляют интерес выявления количества информации, содержащейся в одном ансамбле сообщения U с объемом алфавита N относительно другого, в общем случае зависящего от нег ансамбля Z с объемом алфавита M. В качестве U и Z можно, например, рассматривать ансамбли сообщений и сигналов, с помощью которых передают сообщения, или сигналы на входе и выходе каналов связи. Для определения такой информации характеристики введем понятие «условной энтропии» H (U/Z), описывающей среднее количество информации, содержащейся в сообщении ансамбля U, при условии, что сообщение ансамбля известно. Если оба ансамбля имеют независимые элементы, то мера неопределенности H (U/Z) находится усреднением по всем значениям z_j средней неопределенности H (u/z_j) элементов ансамбля при данном z_j, а величина H (u/z_j) находится аналогично энтропии H (U) заменой безусловных вероятностей p (u_k) появления сообщений u_k на условной вероятности P (u_k / z_j) появления сообщения u_k при условном наличии z_j.

_{M M N}

H (U/Z) = ∑ p (z_j) * H (u/z_j) = – ∑ p (z_j) * ∑ p (u_k/z_j) log p (u_k/z_j) (1.9)

^{j=1 j=1 k=1}

H (u/z_j)

По теореме умножения вероятностей имеем:

P (z_j) p (u_k/z_j) = P (u_k, z_j) (1.10)

где P (u_k, z_j) – вероятность совместного появления сообщения u_k, z_j. С учетом 1.10, выражение 1.9 переписываем:

_{M N}

H (U/Z) = ∑∑ p (u_k/z_j) log p (u_k/z_j) / p (z_j) (1.11)

^{j=1 k=1}

Возможна так же и следующая форма представления выражения 1.9 и 1.11:

_{M N}

H (U/Z) = M {log 1 / p (u_k/z_j)} = – ∑ ∑ p (u_k/z_j) log p (u_k/z_j) (1.11a)

^{j=1 k=1}

где M {∙} – символ математического ожидания от выражения в скобках.

Условная энтропия удовлетворяет неравенству:

0 ≤ H (U, Z) ≤ H (U) (1.12)

H (U, Z) = 0, когда при реализации ансамбля Z можно точно установить сообщения ансамбля Z (канал без памяти). H (U, Z) = H (U), когда U и Z независимы, и знания реализации Z ничего не говорит о реализации U. В общем случае, H (U, Z) < H (U), и знания реализации Z снижает первоначальную неопределенность U. На основании этого можно ввести информационную характеристику двух ансамблей U и Z, называемой взаимной информацией между U и Z, или количеством информации, содержащемся в Z относительно U, которая определяется как:

I (U, Z) = H (U) – H (U, Z) (1.13)

Взаимная информация измеряется в тех же единицах, что и энтропия (например, в битах). Величина I (U, Z) показывает, сколько в среднем бит информации о реализации ансамбля U дает наблюдение реализации ансамбля Z.

Подставляя 1.4 и 1.11 в 1.13:

_{N M N}

I (U, Z) = – ∑ p (u_k) log p (u_k) + ∑∑ p (u_k, z_j) log p (u_k, z_j) / p (z_j)

^{k=1 j=1 k=1}

Отсюда с учетом соотношения p (u_k) = ∑ p (u_k, z_j) получаем:

_{M N}

I (U, Z) = ∑ ∑ p (u_k, z_j) log [p (u_k, z_j) / p (z_j) * p (u_k)] (1.14)

^{j=1 k=1}

Взаимная информация обладает следующими свойствами:

1. I (U, Z) ≥ 0 (1.15), причем равенство имеет место тогда и только тогда, когда U и Z независимы между собой. Это следует из определения 1.13 и неравенства 1.12.

2. I (U, Z) = I (Z, U) (1.16), т.е Z содержит столько же информации относительно U, сколько U содержит информации относительно Z. Это свойство вытекает из симметрии выражения 1.14 относительно (u_k, z_j). Поэтому можно записать H (U, Z) = H (Z) – H (Z, U) (1.17).

3. I (U, Z) ≤ H (U) (1.18), причем равенство имеет место, когда при реализации Z можно точно восстановить реализацию U (из 1.12 и 1.13).

4. I (U, Z) ≤ H (Z) (1.19), причем равенство имеет место, когда при реализации U можно точно восстановить реализацию Z (из 1.16 и 1.18).

5. Полагая в 1.13 Z = U и учитывая, что H (U / U) = 0, получаем I (U, U)=H (U). Это позволяет интерпретировать энтропию источника как его собственную информацию, т.е. информацию, содержащуюся в ансамбле U о самом себе.

Пусть U – ансамбль дискретного сообщения, а Z – ансамбль дискретных сигналов, в которые преобразуются сообщения U. В этом случае, если I (U, Z) = H (U), преобразования U в Z называют обратимыми. При необратимом преобразовании I (U, Z) < H (U) и разность H (U) – I (U, Z) = H (U, Z) называют потерей информации или ненадежностью при преобразовании U в Z. Т.о., информация не теряется только при обратимых преобразованиях. Величина H (U, Z) = H (Z) – I (U, Z) – это энтропия шума преобразователя.