5. Свойства информации по Шеннону.
1. Энтропия дискретного источника всегда положительна. Это определяется способом ее подсчета.
,
где 0 ≤ p(xi) ≤ 1 – положительное число;
0 ≤ [–log p(xi)] ≤ ∞ – положительное число;
0 ≤ –p(xi)log p(xi) ≤ 0.531 – положительное число;
H(x) – сумма положительных чисел.
Рис. 2.2
Энтропия равна нулю только в том случае, когда вероятность появления одной из букв источника равна 1, а всех остальных – нулю.
2. Можно доказать, что максимум энтропии достигается при равных вероятностях появления букв алфавита, то есть
.
Покажем это на примере источника из двух букв.
Таблица 2.5
|
Буквы |
x1 |
x2 |
|
Вероятности их появления |
p |
q = 1 – p |
H(x) = –plog p – qlog q = –plog p – (1 – p)log(1 – p),
где H(x), будет максимально, когда H '(x), то есть
,
откуда следует,
что –log p
+ log(1 – p)
= 0;
иp
= 0.5 = q.
Максимум H(x) равен в данном случае 1 или Hmax(x) = log M.
3. Если в системе событие xk состоит из двух событий x'k и x"k с вероятностями q1 и q2 (q1 + q2 = pk), то общая энтропия системы будет равна сумме энтропий исходной системы и энтропии разветвленной части с весом pk и условными вероятностями ветвления q1 ⁄pk и q2 ⁄pk , то есть H{x1; x2; ... xk-1; x'k; x"k} = H{x1; x2; ... xk-1; xk} + pkH(x'k; x"k).
Покажем это на примере.
Пусть имеется система с двумя состояниями.
Таблица 2.6
|
xi |
x1 |
x2 |
|
p(xi) |
0.5 |
0.5 |
H(x1; x2) = (–0.5log 0.5) · 2 = 1 бит.
Пусть состояние x2 разбилось на два.
Таблица 2.7
|
xi |
x'2 |
x"2 |
|
p(xi) |
0.4 |
0.1 |
бита.
Энтропию новой системы можно подсчитать двумя способами:
1.
Таблица 2.8
|
xi |
x1 |
x'2 |
x"2 |
|
p(xi) |
0.5 |
0.4 |
0.1 |
Hсист = –0.5log 0.5 – 0.4log 0.4 – 0.1log 0.1 = 0.5 + 0.529 + 0.332 = 1.361 бита.
2. Hсист = H(x1; x2) + p(x2) · H(x'1; x"2) = 1 + 0.5 · 0.722 = 1.361 бита.
Как видим, ответ получился один и тот же, но при втором способе расчета не нужно пересчитывать всю систему, а только к старой энтропии добавить энтропию разветвления.
Рассмотрим примеры на расчет энтропии по Шеннону и сравним ее с информацией по Хартли.
Пример 1
Какое количество информации (по Шеннону) получено, если стало известно точно на какое поле шахматной доски, какого цвета и какая фигура поставлена?
Черный король на поле h7.
Воспользуемся формулой: I = –log pчкрh7, где
pчкph7 – вероятность оказаться черному королю на поле h7. Эта вероятность получается от одновременного наступления трех событий: выбрали черные фигуры ( pч=1⁄2 ), короля ( pкр=1⁄16 ) и поле h7 ( ph7=1⁄64 ).
Так как события независимые, то pчкрh7 = pч · pкр · ph7 и, следовательно,
бит.
Аналогично рассуждая можно подсчитать количество информации для любой фигуры, учитывая, что вероятность выбора пешки – 1\2; слона, ладьи и коня –1\8; а ферзя и короля –1\16.
Подсчитайте самостоятельно количество информации для разных фигур и среднее количество информации на одну фигуру.
Ответ должен получиться – 2,125[бит].