6. Ймовірнісні моделі джерел неперервних повідомлень та їх ентропійні властивості

Досі ми припускали, що джерело повідомлень породжує дискретні символьні послідовності, зі значеннями в дискретному алфавіті. Проте, в застосуваннях часто зустрічаються джерела неперервних повідомлень (ДНП) , де– деяка підмножина потужності континуум. Наприклад, мовний сигнал в кожен момент часу можна розглядати як величину звукового тискув заданій точці простору (В даному випадку, де– деяка максимально допустима величина тиску). Інший приклад – оптичні сигнали. Для того, щоб розглянути ці більш складні випадки, побудуємо узагальнену математичну модель і узагальнимо поняття ентропії.

Нехай (для фіксованого моменту часу) повідомлення набуває значення, що описується випадковою величиною , яка визначена на ймовірнісному просторіі має неперервний розподіл ймовірностей

з щільністю розподілу , яка задовольняє умові нормування:

.

де –-алгебра подій на числовій прямій.

Означення. Диференціальною ентропією ДНП (або ентропією випадкового повідомленняз розподілом) називається величина, яка визначається функціоналом

. (7)

Зауваження. Якщо довизначити функцію щільності на всій числовій прямій:

,

то в означенні (7) інтегрування припускається на .

Означення. Умовною диференціальною ентропією випадкового символувідносно випадкового символу називається величина, яка визначається функціоналом

,

де – сумісна щільність розподілу випадкових символів,– умовна щільність розподілупри умові.

Властивості диференціальної ентропії

1. Диференціальна ентропія не змінюється при зсуві розподілу:

, де .

2. Для довільної системи випадкових символів справедливавластивість ієрархічної адитивності:

.

3. Нехай – випадковий символ з щільністю розподілу,, що має диференціальну ентропію, а– взаємно-однозначне неперервно диференційоване функціональне перетворення. Тоді випадковий символмає диференціальну ентропію

,

де – якобіан перетворення.

Наслідок 1. При взаємно-однозначному функціональному перетворенні диференціальна ентропія може зростати, спадати і залишатися незмінною. Вона незмінна тоді і тільки тоді, коли щільність розподілуі якобіанперетворення мають спеціальнц властивість:

.

Наслідок 2. Якщо функціональне перетворення лінійне: , де– довільна невироджена-матриця,– довільний вектор, то

.

Зауваження. Властивість 3 визначає суттєву відміну між ентропією ДДП і диференціальною ентропією. При взаємно-однозначних функціональних перетвореннях ентропія ДДП не змінюється.

Наслідок 3. Диференціальна ентропія незмінна, якщо лінійне перетворення має одиничний якобіан: .

Наслідок 4. При ортогональному перетворенні випадкового повідомлення :

,

диференціальна ентропія не змінюється.

Приклад. Нехай випадковий символ має рівномірний розподіл на відрізку. Тоді диференціальна ентропія дорівнює:

.

Приклад. Нехай випадковий символ має нормальний розподіл. Тоді диференціальна ентропія дорівнює:

.