2.3 Энтропия непрерывного ансамбля сообщений

Выше мера информации была введена для дискретного ансамбля сообщений. Точно так же вводится мера информации на непрерывном ансамбле. Непрерывная случайная величина описывается непрерывным множеством реализаций, принимающих значения в интервале. На этом интервале задается плотность распределения вероятности. Положим, произведено квантование значенийс шагом. Вероятность того, что случайная величинапринадлежит интервалу, равна

(2.12)

При довольно малом значении Вероятностьбудет равна

, где. (2.13) Произведённое преобразование позволило перейти от непрерывного распределения к дискретному. Количество информации, содержащееся в случайной величине, принадлежащий интервалу, равно

.

Энтропия ансамбля после квантования согласно ( .6) равна

. (2.14)

Первая сумма аналогична энтропии дискретного распределения и при , она сходится к интегралу.

Вторая сумма пристремится к бесконечности.

Поэтому на практике она имеет смысл при конечных значениях . В этом случае

при довольно малых значениях имеем.

В теории связи энтропия используется как мера неопределённости ансамбля, элементы которой передаются по каналу связи, и вторая сумма не оказывает влияния на качество передаваемой информации, что будет показано далее. Поэтому меру неопределённости (энтропию), содержащуюся в непрерывном ансамбле будем определять как [***]

(2.15)

и называется она дифференциальной энтропией.

Энтропия произведения непрерывных ансамблей ивводится как и для дискретных ансамблей. Без доказательства запишем

=

=. (2.16)

2.4 Энтропия непрерывного ограниченного ансамбля

Энтропия ансамбля после квантования была записана как

.

Устремим интервал квантования к нулю, но оставим под знаком логарифма величину интервала квантования неизменной. Это представление сохранит размерность энтропии и показывает зависимость энтропии непрерывного ансамбля сообщений от величины интервала квантования

.

Максимальная энтропия непрерывного ансамбля зависит от вида плотности распределения вероятности , области определения значений случайного сигнала и априорных сведений относительно.

Определим плотность распределения вероятности , обеспечивающий максимум энтропии, прии ограничении

. (2.17)

Для решения задачи применим метод неопределённых множителей Лагранжа, и составим функционал

.

Приведём его к виду

.

Определим производную , которая будет равна

,

и приравняем её нулю

Достаточным условием равенства нулю интеграла от некоторой функции будет равенство нулю самой этой функции. Исходя из этого, имеем

= 0.

Разрешая полученное уравнение относительно , получим

. (2.18)

Чтобы вычислить величину , используем ограничение (2.17) и сделаем ряд преобразований

,

.

После подстановки значения параметра в (2.18) получим

,

.

Вывод.

Если имеется ограничение в виде нормировки плотности вероятности непрерывного ансамбля и область существования плотности вероятности ограничена постоянными aиb, то из всех возможных плотностей вероятностиравномерный закон распределения вероятности обладает наибольшей энтропией.

Если число ограничений увеличивается , то вид плотности распределения вероятности изменится Положим, известно, что случайная величина принимает значения в интервале , математическое ожидание равно нулю и её дисперсия ограничена величиной.Далее покажем, что наибольшую энтропию даёт нормальный закон распределения.