Параграф 1.2: Свойство энтропии

1. Энтропия любого дискретного ансамбля неотрицательна: H (U) ≥ 0 (1.5). Равенство 0 возможно лишь в том случае, когда источник генерирует одно единственное сообщение с вероятностью р = 1. Неотрицательность следует из того, что количество информации в каждом из возможных сообщений источника с 1.2 неотрицательно.

2. Пусть N – объем алфавита дискретного источника, тогда H (U) ≤ log N (1.6), причем равенство имеет место лишь в том случае, когда все сообщения ансамбля равновероятны. Для доказательства 1.6 рассмотрим разность H (U) – log N. Если сообщение u_k источника генерируется с различными вероятностями p (u_k), то в соотношении 1.4 можно написать:

_{N N N}

H (U) – log N=∑ p (u_k) log 1 / p (u_k) – log N=∑ p (u_k) log 1 / p (u_k) – log N * ∑ p (u_k) =

_N ^k=1 _N ^k=1 _N ^k=1

∑ p (u_k) (log 1 / p (u_k) – log N) = ∑ p (u_k) log 1 / N p (u_k) = log e ∑ p (u_k) ln 1 / N p (u_k).

^{k=1 k=1 k=1}

Воспользуемся известным соотношением: ln x ≤ 1 (1.7), при x >0.

Причем log x = x – 1 при х – 1. В нашем случае, x = 1 / N p (u_k).

Следовательно, _N

H (U) – log N ≤ log e ∑ p (u_k) [1 / N p (u_k) – 1]

^{k =1} _{N N}

H (U) – log N ≤ log e [ ∑ 1 / N – ∑ p (u_k)]

^{k =1 k =1}

H (U) – log N ≤ N*1/N log e – 1

H (U) – log N ≤ 1*log e – 1

H (U) – log N ≤ 0

Следовательно, H (U) ≤ log N, ч.т.д.

При этом, в соответствии 1.7 H (U) – log N = 0 при 1 / N p (u_k) = 1 для всех u_k, т.е. когда p (u_k) = 1 / N при любом k. Максимально возможное значение энтропии дискретного источника с объемом алфавита N равно log N и достигается в том случае, когда все его сообщения равновероятны.

3. Энтропия объединения нескольких статистически независимых источников сообщений равна сумме энтропий исходных источников (свойство аддитивности). С целью упрощения рассуждений ограничимся рассмотрением объединения, включающего 2 источника сообщений U и V с объемом алфавита N и M соответственно. Под объединением двух источников U и V понимают обобщенный источник сообщений UV, характеризующийся совместной вероятностью p (u_i, v_j) всех возможных комбинаций состояния u_i источника U и v_j источника V. В соответствии с этим определением:

_{N M}

H (UV) = M {I (u_i, v_j) } = ∑ ∑ p (u_i, v_j) * log p (u_i, v_j) (1.8a)

_{i=1 j=1}

В случае статической независимости источника U и V имеем p (u_i, v_j) = P (u_i)*P (v_j). Тогда

_{N M N M M}

H (UV) = – ∑ ∑ p (u_i, v_j) * log p (u_i)*p(v_j) = – ∑ p (u_i) log p (u_i) * ∑ p (v_j) – ∑ p (v_j)

^{i=1 j=1 i=1 j=1 j=1}

_N

log p (v_j) * ∑ p (v_j) = H (U) + H (V) (1.8), ч.т.д.

ⁱ⁼¹