16. Понятие «энтропии». Дифференциальная энтропия.

Энтропия– количественная мера неопределенности случайного объекта. Рассмотрим простейший пример – случайное событие. Пусть одно событие может произойти с вероятностью 0,99 и не произойти с вероятностью 0,01, а второе имеет вероятности 0,5 и 0,5 соответственно. Очевидно, что в первом случае результатом опыта почти наверняка является наступление события, а во втором неопределенность прогноза достаточно велика, и от прогноза разумнее воздержаться. Для характеристики размытости распределений широко используется дисперсия или доверительный интервал. Однако эти величины имеют смысл лишь для случайных числовых величин и не могут применяться к случайным объектам, состояния которых различаются качественно. Соответственно, мера неопределенности, связанная с распределением, должна быть такой количественной характеристикой, которая не связана с тем, в какой шкале измеряются реализации случайного объекта. В качестве такой меры случайного объектаA с конечным множеством возможных состоянийA₁, A₂, …, A_n с соответствующими вероятностями p₁, p₂, …, p_n ,которую называют энтропией случайного объектаA (или распределения {p­_i}). Приведем некоторые свойства этого функционала, которые вполне естественны для меры неопределенности:

<<><><><><><><><><><><><><><><><1><.><><><><><><><><><><в><том><и><только><в><том><случае,><когда><какое-ни­><будь><одно><из><><равно><единице><(а><остальные><—><нули).><>

<2.><><><><><><><><><><><><достигает><наибольшего><значения><при

><><><><><><><><><><><><><><><><><,><т.е.><в><случае><максимальной><неопределенности.><4

<3.><Имеет><место><неравенство><Н(А)≥>><Н(А|В),><что><согласуется><с><интуитивным><представлением><о><том,><что><знание><состояния><объекта><В><может><только><уменьшить><неопределенность><объекта><А, еслиА иВ– зависимые случайные объекты,><а><если><они><неза­><висимы,><то><оставит><ее><неизменной.>

<ДИФФЕРЕНЦИАЛЬНАЯ><ЭНТРОПИЯ>><Прямая><аналогия:>

<

<не><приводит><к><нужному><результату. П><ПGлотность><р(х)><является><размерной><величиной,><а><логарифм><размерной><величины><не><имеет><смысла.><Однако если><еслиееепноплпр><умножить><р(х)><под><знаком><логарифма><на><величину><,><имеющую><ту><же><размерность,><что><и><х, то:>

<><><><><><><><><><><><><><><><>

<Теперь><величину><><><><можно><принять><равной><единице><измерения><х,><что><приводит><к><функционалу:>

<><><><><><><>

Этот функционал <><получил><название><дифференциальной ><энтропиии является><и иявусловным,><относительным ><аналогом><энтропии><дискретной><величины,>><посопоскольку><единица><измерения><произвольна.><Запись><><означает,><что><мы><как><бы><сравниваем><неопределенность><случайной><величины,><имеющей><плот­><ность><р(х),><с><неопределенностью><случайной><величины,><равномерно><распре­><деленной><в><единичном><интервале.><Поэтому><величина><h(X)><в><отличие><от><H(Х)><может><быть><не><только><положительной.><Кроме><того,><h(X)><изменяет­><ся><при><нелинейных><преобразованиях><шкалы><х,><что><в><дискретном><случае><не><играет><роли.><Остальные><свойства><h(Х)><аналогичны><свойствам><H(Х),><что><делает><дифференциальную><энтропию><очень><полезной><мерой.>

<Пусть,><например,><задача><состоит><в><том,><чтобы,><зная><лишь><некоторые><ограничения><на><случайную><величину><(типа><моментов,><пределов><сверху><и><снизу><области><возможных><значений><и><т.п.),><задать><для><дальнейшего><(каких-то><расчетов><или><моделирования)><конкретное><распределение.><Одним><из><подходов><к><решению><этой><задачи><дает><принцип><максимума><энтропии:><из><всех><распределений,><отвечающих><данным><ограничениям,><следует><выбирать><то,><которое><обладает><максимальной><дифференциальной><энтропией.><Смысл><этого><критерия><состоит><в><том,><что,><выбирая><экстремальное><по><энтропии><распределение,><мы><гарантируем><наибольшую><не­><определенность,><связанную><с><ним,><т.е.><имеем><дело><с><наихудшим><случаем><при><данных><условиях.>>

17. Количество информации – мера снятой неопределённости.

Информация допускает количественную оценку. Современное толкование процесса получения информации: изменение неопределенности в результате приема сигнала. Проиллюстрируем эту идею на примере достаточно простого случая, когда передача сигнала происходит при следующих условиях:

1) полезный (отправляемый) сигнал является последовательностью статистически независимых символов с вероятностями ;

2) принимаемый сигнал является последовательностью символов уk того же алфавита;

3) если шумы (искажения) отсутствуют, то принимаемый сигнал совпадает с отправляемым ;

4) если шум присутствует, то его действие приводит к тому, что данный символ может либо остаться прежним (i-м), либо быть подмененным любым другим (k-м) символом, вероятность этого равна ;

5) искажение очередного символа является событием, статистически независимым от того, что произошло с предыдущими символами. Итак, до получения очередного символа ситуация характеризуется неопределенностью того, какой символ будет отправлен, т.е. априорной энтропией Н(Х). После получения символа уk неопределенность относительно того, какой символ был отправлен, меняется: в случае отсутствия шума она вообще исчезает, а при наличии шума мы не можем быть уверены, что полученный нами символ и есть отправленный, и возникает неопределенность, характеризуемая апостериорной энтропией H(X|yk)=H({p(xi|yi)})>0. В среднем после получения очередного символа энтропия H(X|Y)=MyH(X|yk).

Определим теперь количество информации как меру снятой неопределенности: числовое значение количества информации о некотором объекте равно разности априорной и апостериорной энтропии этого объекта, т.е. I(X,Y) =H(Y) –H(Y|X)

Из этого равенства следует:

Эту симметрию можно интерпретировать так: количество информации в объекте Х об объекте Y равно количеству информации в объекте Y об объекте X. Таким образом, количество информации является не характеристикой одного из объектов, а характеристикой их связи, соответствия между их состояниями. Подчеркивая это, можно сформулировать еще одно определение: среднее количество информации, вычисляемое по формуле, есть мера соответствия двух случайных объектов. Информация есть отражение одного объекта другим, проявляющееся в соответствии их состояний.

Рассмотрим теперь вопрос о единицах измерения количества информации и энтропии. Из определений I и Н следует их безразмерность, а из линейности их связи - одинаковость их единиц. Поэтому будем для определенности говорить об энтропии и рассмотрим пример дискретного случая. За единицу энтропии примем неопределенность случайного объекта, такого, что

Легко установить, что для однозначного определения единицы измерения энтропии необходимо конкретизировать число m состояний объекта и основание логарифма. Возьмем для определенности наименьшее число возможных состояний, при котором объект еще остается случайным, т.е. m = 2, и в качестве основания логарифма также возьмем число 2. Тогда из равенства вытекает, что . Следовательно, единицей неопределенности служит энтропия объекта с двумя равновероятными состояниями. Эта единица получила название "бит". Бросание монеты дает количество информации в один бит. Другая единица ("нит") получается, если использовать натуральные логарифмы, обычно она употребляется для непрерывных величин.

Остановимся еще на одном важном моменте. До сих пор речь шла о среднем количестве информации, приходящемся на любую пару состояний объектов X и Y.