3. Зміст звіту по лабораторній роботі

Звіт по лабораторній роботі повинний містити:

1. Індивідуальне завдання згідно варіанту, який відповідає номеру в списку групи. Наприклад:

Знайти ентропію дискретної випадкової величини Х, заданої розподілом

xi X	х1	х2	х3	х4	х5	х6
pi P	0,4	0,3	0,15	0,1	0,03	0,02

Розв’язання:

Ентропію можна визначити як математичне сподівання питомої кількості інформації

Згідно з умовою задачі маємо

H(X)=0.4*1.322+0.3*1.737+0.15*2.737+0.1*3.22+0.03*5.059

+0.02*5.644=2.0573 біт/повідомлення.

2. Текст головного тіла програми, базових процедур та функцій.

3. Зовнішній вигляд програми на різних етапах виконання.

4. Блоки тексту що використовувались для тестування програми, отримані результати та їх порівняльну оцінку.

5. Електронні версії отриманих програмних кодів та програми.

Тема: Ентропія складних повідомлень.

Мета роботи: Вивчення ентропії складних повідомлень та надмірності джерела.

1. Теоретичні відомості

1. Ентропія складних повідомлень

Розглянуті вище характеристики джерела - кількість інформації й ентропія - відносилися до одного джерела, що виробляє потік незалежних або простих повідомлень, або до джерела без пам'яті.

Однак у реальних умовах незалежність елементарних повідомлень - явище досить рідке. Частіше буває саме зворотнє - сильний детермінований або статистичний зв'язок між елементами повідомлення одного або декількох джерел.

Наприклад, при передачі тексту імовірності появи окремих букв залежать від того, які букви їм передували. Для російського тексту, наприклад, якщо передано букву "П", імовірність того, що наступної буде "А", набагато вище, ніж "Н", після букви "Ъ" ніколи не зустрічається "H" і т.д. Подібна ж картина спостерігається при передачі зображень - сусідні елементи зображення мають звичайно майже однакові яскравість і колір.

При передачі і збереженні даних часто також мають справа з декількома джерелами, що формують статистично зв'язані один з одним повідомлення. Повідомлення, вироблювані такими джерелами, називаються складними повідомленнями, а самі джерела - джерелами з пам'яттю.

Очевидно, що при визначенні ентропії і кількості інформації в повідомленнях, елементи яких статистично зв'язані, не можна обмежуватися тільки безумовними імовірностями - необхідно обов'язково враховувати також умовні імовірності появи окремих повідомлень.

Визначимо ентропію складного повідомлення, вироблюваного двома залежними джерелами (подібним же чином визначається ентропія складного повідомлення, вироблюваного одним джерелом з пам'яттю).

Нехай повідомлення першого джерела приймають значення x₁, x₂, x₃,....x_k з імовірностями, відповідно, P(x₁ ), P(x₂ ),..... P(x_k ), повідомлення другого - y₁, y₂,.....y_m з імовірностями P(y₁ ), P(y₂ ),..... P(y_m ).

Спільну ентропію двох джерел X і Y можна визначити в такий спосіб:

, (2.1)

де P(x_i,y_j ) - імовірність спільної появи повідомлень x_i і y_j . Оскільки спільна імовірність P(x_i,y_j ) по формулі Байеса визначається як

, (2.2)

Тепер вираз для спільної ентропії можна записати в наступному вигляді:

(2.3)

Тому що передачі повідомлення x_i обов'язково відповідає передача одного з повідомлень (кожного) з ансамблю Y , те

(2.4)

і спільна ентропія H(X,Y) визначиться як

, (2.5)

де H ( Y/x_i ) - так називана частинна умовна ентропія, що відображає ентропію повідомлення Y за умови, що мало місце повідомлення x_i. Другий доданок в останнім вираженні являє собою усереднення H ( Y/x_i ) по всіх повідомленнях x_i і називається середньою умовною ентропією джерела Y за умови передачі повідомлення X. І остаточно:

H (X,Y ) = H (X) + H (Y/X) . (2.6)

Таким чином, спільна ентропія двох повідомлень дорівнює сумі безумовної ентропії одного з них і умовної ентропії другого.