Джерела неперервних повідомлень та їх ентропійні властивості
Нехай символ повідомлення набуває значення, що описується випадковою величиною , яка визначена на ймовірнісному просторі і має неперервний розподіл ймовірностей
з щільністю розподілу , яка задовольняє умові нормування:
.
де – -алгебра подій на числовій прямій .
Означення. Диференціальною ентропією ДНП (або ентропією випадкового повідомлення з розподілом ) називається величина, яка визначається функціоналом
.
Означення. Умовною диференціальною ентропією випадкового символу відносно випадкового символу називається величина, яка визначається функціоналом
,
де – сумісна щільність розподілу випадкових символів , – умовна щільність розподілу при умові .
Властивості диференціальної ентропії
Диференціальна ентропія не змінюється при зсуві розподілу:
, де .
Для довільної системи випадкових символів справедлива властивість ієрархічної адитивності:
.
Нехай – випадковий символ з щільністю розподілу , , що має диференціальну ентропію , а – взаємно-однозначне неперервно диференційоване функціональне перетворення. Тоді випадковий символ має диференціальну ентропію
,
де – якобіан перетворення .
Наслідок 1. При взаємно-однозначному функціональному перетворенні диференціальна ентропія може зростати, спадати і залишатися незмінною. Вона незмінна тоді і тільки тоді, коли щільність розподілу і якобіан перетворення мають спеціальнц властивість:
.
Наслідок 2. Якщо функціональне перетворення лінійне: , де – довільна невироджена -матриця, – довільний вектор, то
.
Зауваження. Властивість 3 визначає суттєву відміну між ентропією ДДП і диференціальною ентропією ДНП. При взаємно-однозначних функціональних перетвореннях ентропія ДДП не змінюється.
Наслідок 3. Диференціальна ентропія незмінна, якщо лінійне перетворення має одиничний якобіан: .
Наслідок 4. При ортогональному перетворенні випадкового повідомлення :
,
диференціальна ентропія не змінюється.
Іі. Виконання роботи.
Завдання 1. Нехай – випадковий символ з біноміальним розподілом ймовірностей з параметрами і . Обчислити ентропію і дослідити на екстремум її залежність від ймовірності .
Розв’язання. Дискретна випадкова величина розподілена за біноміальним законом з параметрами і .
Побудуємо закон розподілу випадкової величини :
, ,5, .
;
;
;
;
;
.
Закон розподілу запишемо у вигляді таблиці:
-
0
1
2
3
4
5
0,0003
0,0064
0,0512
0,2048
0,4096
0,3277
1
Перевірка умови нормування:
0,0003+ 0,0064+0,0512+0,2048+0,4096+0,3277=1.
Обчислимо ентропію :
.
Ентропія є функцією від параметра розподілу ймовірностей:
.
При
.
Графік функції має вигляд:
Дослідимо цю функцію на екстремум. Знайдемо її похідну:
.
Знайдемо критичні точки функції :
.
З’ясуємо характер критичної точки:
Оскільки для будь-якого похідна і для будь-якого , похідна , то є точкою максимуму. Значення функції в цій точці .
Завдання 1'. Нехай – випадковий символ з геометричним розподілом ймовірностей з параметрами і . Обчислити ентропію і дослідити на екстремум її залежність від ймовірності .
Розв’язання. Дискретна випадкова величина розподілена за геометричним законом з параметрами і .
Побудуємо закон розподілу випадкової величини :
, , .
;
;
;
;
.
Закон розподілу запишемо у вигляді таблиці:
-
0
1
2
3
4
0,6
0,24
0,096
0,038
0,026
1
Перевірка умови нормування:
0,6+ 0,24+0,096+0,038+0,036=1.
Обчислимо ентропію:
.
Ентропія є функцією від параметра розподілу ймовірностей:
.
При
.
Графік функції має вигляд:
Дослідимо цю функцію на екстремум. Знайдемо її похідну:
Знайдемо критичні точки функції :
З’ясуємо характер критичної точки:
Оскільки для будь-якого похідна і для будь-якого , похідна , то є точкою максимуму. Значення функції в цій точці .
Завдання 2. Статистичними вибірками встановлено, що при передачі кожних 100 повідомлень довжиною по 5 символів в повідомленні символ зустрічається 48 разів, а символ – 23 рази. Разом із символом символ зустрічається 16 разів. Знайти умовні ентропії і .
Розв’язання. Ймовірність того, що при передачі кожних 100 повідомлень довжиною по 5 символів в повідомленні символ зустрічається 48 разів, дорівнює
.
Ймовірність того, що при передачі кожних 100 повідомлень довжиною по 5 символів в повідомленні символ зустрічається 23 рази, дорівнює
.
.
Ймовірність того, що при передачі кожних 100 повідомлень довжиною по 5 символів в повідомленні символ зустрічається разом із символом 16 разів, дорівнює
.
Умовна ймовірність того, при передачі кожних 100 повідомлень довжиною по 5 символів в повідомленні символ зустрічається 48 разів при умові, що символ зустрічається 16 разів, дорівнює
.
Умовна ентропія
Умовна ймовірність того, при передачі кожних 100 повідомлень довжиною по 5 символів в повідомленні символ зустрічається 23 рази при умові, що символ зустрічається 48 разів, дорівнює
.
Умовна ентропія
.
Завдання 3. Нехай – випадкова величина з експоненціальним розподілом ймовірностей, щільність якого дорівнює . Обчислити диференціальну ентропію і дослідити на екстремум її залежність від параметра .
Розв’язання. Обчислимо диференціальну ентропію за формулою
:
При