8. Энтропия непрерывных сообщений.

В приведенных выше рассуждениях предполагалось, что все возможные значения (символы) непрерывного сообщения равновероятны, однако это не всегда справедливо. Как правило, символы непрерывного сообщения х обладают некоей плотностью распределения вероятности р(х), которая характеризует вероятность попадания символов непрерывного сообщения х в интервал ∆х, примыкающий к точке х. Следовательно, количество информации, которое может нести отдельный символ непрерывного сообщения, будет зависеть от значения х. Поэтому важно выяснить, как зависят информационные характеристики непрерывного сообщения от присущего ему закона распределения его символов.

Положим, что непрерывное сообщение обладает известной функцией плотности распределения вероятности его символов р(х) (рис. 2).

Выберем интервал Δxk.и обозначим середину этого интервала через xk.. Будем рассматривать все символы непрерывного сообщения, попадающие в интервал Δxk , как k-тый символ дискретного сообщения.

Вероятность появления этого символа дискретного сообщения (P_k) будет определяться выражением:

(37)

Тогда энтропию полученного таким образом дискретного сообщения (H_д) на основании формулы Шеннона (17) можно найти из выражения

(38)

Предполагая, что функция p(x) вместе со своей производной непрерывная, имеем:

Рассматривая непрерывное сообщение как предел сформированного дискретного сообщения при Δx_k→0, после подстановки приведенного выше выражения в (38) и перехода к пределу получим выражение для энтропии непрерывного сообщения:

Заменяя в этом выражении логарифм произведения суммой логарифмов сомножителей, преобразуем это выражение к виду

(39)

Обозначим первое слагаемое в (39) за H_x, а второе за H_Δ. Покажем, что H_Δ обращается в бесконечность при Δx_k→0, независимо от вида р(х).

Действительно, если принять, что интервалы Δx_k одинаковы, т.е. Δx_k= Δx для всех значений k,то для второго слагаемого выражения (39) имеем:

С учетом того, что , получаем

(40)

На основании этого можно сделать следующие выводы:

1. Непрерывные сообщения не имеют абсолютной меры энтропии.

2. Второе слагаемое в выражении (39) стремится к бесконечности одинаковым образом для любых непрерывных сообщений независимо от присущего им закона распределения.

На практике при определении различных информационных характеристик непрерывного сообщения, которое в реальных условиях всегда действует на фоне шума, приходится вычислять разность энтропий сообщения и шума. При этом бесконечно большие слагаемые H_Δ в энтропии сообщения и энтропии шума взаимно уничтожаются, так как они не зависят от закона распределения. И основное значение приобретает первый член H_x в выражении (39).

Таким образом, за меру энтропии непрерывного сообщения можно принять выражение

(41)

Вычисленную таким образом энтропию называют относительной или дифференциальной, так как она определяет не полную энтропию непрерывного сообщения, равную, как было показано, бесконечности, а только ту ее часть (H_x), которая зависит от закона распределения символов непрерывного сообщения. И под энтропией непрерывного сообщения, как правило, понимают дифференциальную энтропию H_x.