19 Полная энтропия Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения. Математические свойства

1. Неотрицательность: .

2. Ограниченность: , что вытекает из неравенства Йенсена для вогнутой функции и . Если все элементов из равновероятны, .

3. Если независимы, то .

4. Энтропия — выпуклая вверх функция распределения вероятностей элементов.

5. Если имеют одинаковое распределение вероятностей элементов, то .

Эффективность. Алфавит может иметь вероятностное распределение далекое от равномерного. Если исходный алфавит содержит символов, тогда его можно сравнить с «оптимизированным алфавитом», вероятностное распределение которого равномерное. Соотношение энтропии исходного и оптимизированного алфавита — это эффективность исходного алфавита, которая может быть выражена в процентах. Эффективность исходного алфавита с символами может быть также определена как его -арная энтропия. Энтропия ограничивает максимально возможное сжатие без потерь (или почти без потерь), которое может быть реализовано при использовании теоретически —типичного набора или, на практике, — кодирования Хаффмана, кодирования Лемпеля — Зива — Велча или арифметического кодирования.

20 Случайная средняя энтропия

Пусть x˜ и y˜ — случайные величины с конечными носителями (не обязательно независимые). Обозначим для краткости suppy˜ через Y. Для каждого y∈Y определена случайная величина (x˜|y˜=y), принимающая произвольное значение x с вероятностью Pr(x˜=x|y˜=y). Очевидно, что носитель этой случайной величины конечен (так как он содержится в suppx˜), поэтому ее энтропия определена. Энтропия в этой статье всюду обозначается через H. Тогда (средней) условной энтропией H(x˜|y˜) случайной величины x˜ относительно y˜ называется математическое ожидание случайной величины y↦H(x˜|y˜=y) (y∈Y), взятое по распределению вероятностей случайной величины y˜ на Y. Другими словами,

H(x˜|y˜)=∑y∈YPr(y˜=y)H(x˜|y˜=y).

Говоря неформально, H(x˜|y˜) является количественной мерой неопределенности случайной величины x˜ при известном случайном значении случайной величины y˜.

Имеют место следующие важнейшие свойства условной энтропии, которые нетрудно получить непосредственно или вывести из свойств обычнойэнтропии.

• H(x˜|y˜)=H(x˜,y˜)−H(y˜);

• 0⩽H(x˜|y˜)⩽H(x˜);

• H(x˜|y˜)=0 тогда и только тогда, когда для любого y∈Y случайная величина x˜ при условии y˜=y с вероятностью 1 принимает единственное значение (вообще говоря, зависящее от y);

• H(x˜|y˜)=H(x˜) тогда и только тогда, когда x˜ и y˜ независимы.