otik_ / билеты / билет 3

Понятие энтропии. Основные свойства.

Та неопределённость, которая имеет место на приёмном конце до того, как какое либо сообщение получено. Среднее количество информации, необходимое для однозначного определения любого сообщения заданного множества.

10 свойств:

1. Энтропия – неотрицательная непрерывная величина. H(X)0, 01

Бесконечно малое приращение аргумента даёт непрерывность.

2. Симметрична относительно своих аргументов , n=|X|

3. H(X)=0, если P_k=1, P_j=0, kj, j= . Следует из того, что =0.

4. Энтропия достигает максимального значения, когда на множестве X имеют место равновероятные распределения P₁=P₂=…=P_n=.

,

Метод неопределённых множителей Лагранжа (поиск условного экстремума заменяем поиском безусловного с помощью расширения пространства аргумента за счет введения множителя)

а. Все вероятности равны.

5. 

,

Если множество X рассматривать как алфавит кодировки, то:

1. Среднее число информации на 1 символ максимально, когда все символы используются равновозможно.

2. - информационная пропускная способность алфавита – максимальное количество информации которое приходится на 1 символ

|X|=33 – кириллица,

|X|=2,

Коэффициент избыточности

Если все символы равновероятны, то

Взаимная энтропия H(X,Y) - среднее количество информации, которое необходимо для определения событий , взятых со своими вероятностями

Условная энтропия

6. «=» когда статистически независимы.

Доказательство

Статистическая независимости символов алфавита кодировки не превышает среднего количества информации, приходящейся на 1 символ алфавитной кодировки.

7. Условное среднее значение взаимной информации

8. Среднее количество информации о , полученное по каналу, неотрицательно.

9. Средняя информация, содержащаяся символе относительно переданных, неотрицательна.

10. Взаимная энтропия неотрицательна, док – свойство 6.

Взаимная энтропия – это мера количества информации, которая передана через системы или канал без ошибок.

Условная - информация, потерянная при помехах (ненадёжность передачи)

система

Энтропия источника – та информация, которая поступает на вход

(1)

(2)