3. Дифференциальная энтропия

Обобщение столь полезной меры неопределенности на непрерывные случайные величины наталкивается на ряд сложностей. Можно по-разному преодолеть эти сложности; выберем кратчайший путь. Прямая аналогия -_k p_k log p_k_X p(x) logp(x)dx не приводит к нужному результату; плотность р(х) является размерной величиной, а логарифм размерной величины не имеет смысла. Однако положение можно исправить, умножив р(х) под знаком логарифма на величину E, имеющую ту же размерность, что и х: -_k p_k log p_k_X p(x) log[E^.p(x)]dx.

Теперь величину E можно принять равной единице измерения х, что приводит к функционалу h(X)=- - _Xp(x)log[p(x)]dx, который получил название дифференциальной энтропии. Это аналог энтропии дискретной величины, но аналог условный, относительный: ведь единица измерения произвольна. (Здесь |р(х)| есть безразмерное представление плотности.) Запись функционала h(X) означает, что мы как бы сравниваем неопределенность случайной величины, имеющей плотность р(х), с неопределенностью случайной величины, равномерно распределенной в единичном интервале. Поэтому величина h(X) в отличие от Н(Х) может быть не только положительной. Кроме того, h(X) изменяется при нелинейных преобразованиях шкалы х, что в дискретном случае не играет роли. Остальные свойства h(X) аналогичны свойствам H(Х), что делает дифференциальную энтропию очень полезной мерой.

Пусть, например, задача состоит в том. чтобы, зная лишь некоторые ограничения на случайную величину (типа моментов, пределов сверху и снизу области возможных значений и т.п.), задать для дальнейшего (каких-то расчетов или моделирования) конкретное распределение. Одним из подходов к решению этой задачи дает принцип максимума энтропии: из всех распределений, отвечающих данным ограничениям, следует выбирать то, которое обладает максимальной дифференциальной энтропией. Смысл этого критерия состоит в том, что, выбирая экстремальное по энтропии распределение, мы гарантируем наибольшую неопределенность, связанную с ним, т.е. имеем дело с наихудшим случаем при данных условиях.

4. Фундаментальное свойство энтропии случайного процесса

Особое значение энтропия приобретает в связи с тем, что она связана с очень глубокими, фундаментальными свойствами случайных процессов. Покажем это на примере процесса с дискретным временем и дискретным конечным множеством возможных состояний.

Назовем каждое такое состояние символом, множество возможных состояний - алфавитом, их число m-объемом алфавита. Число всевозможных последовательностей длины n, очевидно, равно mⁿ. Появление конкретной последовательности можно рассматривать как реализацию одного из mⁿ возможных событий. Зная вероятности символов и условные вероятности появления следующего символа, если известен предыдущий (в случае их зависимости), можно вычислить вероятность Р(С) для каждой последовательности C. Тогда энтропия множества {C}, по определению, равна Н_n=-_C{C}P(C) log P(C).

Определим энтропию процесса Н (среднюю неопределенность, приходящуюся на один символ) следующим образом: Н=lim_nH_nn^-1.

На множестве {C} можно задать любую числовую функцию f_n(C), которая, очевидно, является случайной величиной. Определим f_n(C) с помощью соотношения f_n(C)=-n^-1logP(C). Математическое ожидание этой функции Mf_n(C)=_CP(C)f_n(C)=-n^-_CP(C) logP(C), откуда следует, что lim_n M[-n^-1 log P(C)]=H.

Это соотношение, весьма интересное уже само по себе, является, однако, лишь одним из проявлений гораздо более общего свойства дискретных эргодических процессов. Оказывается, что не только математическое ожидание величины f_n(C) при n имеет своим пределом H, но сама эта величина f_n(C)Н при n, т.е. близость f_n(C) к Н при больших п является почти достоверным событием. Это фундаментальное свойство случайных эргодических процессов приводит к ряду важных следствий, из которых три заслуживают особого внимания.

1°. Независимо от того, каковы вероятности символов и каковы статистические связи между ними, все реализации высоковероятной группы приблизительно равновероятны. В связи с этим фундаментальное свойство иногда называют "свойством асимптотической равнораспределенности". Это следствие, в частности, означает, что по известной вероятности Р(С) одной из реализации высоковероятной группы можно оценить число N₁ реализации в этой группе:

2°. Энтропия Н„ с высокой точностью равна логарифму числа реализации в высоковероятной группе: H_n=n H=logN₁.

3°. При больших п высоковероятная группа обычно охватывает лишь ничтожную долю всех возможных реализации (за исключением случая равновероятных и независимых символов, когда все реализации равновероятны и Н=log m).

Строгое доказательство фундаментального свойства эргодических процессов сложно и здесь не приводится. Однако следует отметить, что в простейшем случае независимости символов это свойство является следствием закона больших чисел. Действительно, закон больших чисел утверждает, что с вероятностью, близкой к 1, в длинной реализации i-й символ, имеющий вероятность р_i, встретится примерно np, раз. Следовательно, вероятность реализации высоковероятной группы есть P(C) = _i=1^mp_i^nP, откуда -logP(С) =_i=1^mp_ilogp_i = пH, что и доказывает справедливость фундаментального свойства в этом случае.

Подведем итог: Связав понятие неопределенности дискретной величины с распределением вероятности по возможным состояниям и потребовав некоторых естественных свойств от количественной меры неопределенности, мы приходим к выводу, что такой мерой может служить только функционал, названный энтропией. С некоторыми трудностями энтропийный подход удалось обобщить на непрерывные случайные величины (введением дифференциальной энтропии) и на дискретные случайные процессы.