2. Кількість інформації, ентропія

Для порівняння між собою різних джерел інформації необхідно ввести деяку кількісну міру, яка дала б можливість об'єктивно оцінити цю інформацію. Така міра вперше була введена K. Шенноном у 1948 р., а потім більш строго визначена А.Я. Хінчиним. Розглянемо основи інформаційного підходу Шеннона.

Всяка інформація отримується одержувачем після прийому повідомлення, тобто в результаті досліду. Повідомлення, одержуване на прийомній стороні, несе корисну інформацію лише в тому випадку, якщо мається невизначеність щодо стану джерела. Якщо дослід може закінчитися тільки одним результатом і спостерігач заздалегідь знає результат досліду, то по його результаті він не одержує ніякої інформації. Наприклад, якщо повідомлять, що сонце сходить на сході, то ніякої інформації це повідомлення не принесе, оскільки усі знають, що це вірно. У такій події, як щоденний схід сонця на сході, немає нічого невизначеного, імовірність цієї події дорівнює одиниці і кількість інформації, принесена повідомленням про таку подію, дорівнює нулеві. Інформація з'явиться лише тоді, коли джерело буде мати принаймні більш одного можливого стану.

Розглянемо джерело, що видає послідовність незалежних дискретних повідомлень {x_i}, кожне з яких випадковим чином вибирають з алфавіту повідомлення X (x_i ) = x₁, x₂, x₃, ... x_k, де k - розмір алфавіту джерела. Таке джерело будемо називати джерелом без пам'яті з кінцевим дискретним алфавітом. Повідомлення, видані таким джерелом, називаються простими повідомленнями.

У кожнім елементарному повідомленні x_i для його одержувача утримується деяка інформація. Визначимо кількісну міру цієї інформації і з'ясуємо, від чого вона залежить.

До того, як зв'язок відбувся, в приймача завжди є велика або менша невизначеність щодо того, яке повідомлення x_i з числа можливих буде передано.

Зовсім очевидно, що ступінь цієї невизначеності, або несподіванки передачі x_i , залежить від імовірності передачі того або іншого повідомлення. Наприклад, якщо імовірність передачі якого-небудь повідомлення x_i дуже висока, то ще до передачі ми майже напевно знаємо, яке повідомлення буде передано, і його прийом не принесе нам майже ніякої нової інформації.

Таким чином, очевидно, що кількість інформації, що утримується в елементарному повідомленні x_i , є деякою функцією від імовірності передачі цього повідомлення Р(x_i):

H (x_i) =  {P (x_i)}. (1.1)

Визначимо вид цієї функції  . Для цього зажадаємо, щоб міра кількості інформації I(x_i) задовольняла двом інтуїтивним властивостям:

1. Якщо вибір повідомлення x_i заздалегідь визначений (Р(x_i) = 1 -невизначеності немає), то кількість інформації в цьому повідомленні дорівнює нулеві: I (x_i) =  {1} = 0.

2. Якщо джерело послідовно вибирає повідомлення x_i і x_j та імовірність такого вибору Р(x_i , x_j ) є спільна імовірність подій x_i і x_j , то кількість інформації в цих двох елементарних повідомленнях буде дорівнює сумі кількостей інформації в кожнім з них.

Імовірність спільного випадання подій x_i і x_j Р(x_i , x_j ), як відомо, визначається по формулі повної імовірності

Р (x_i , x_j ) = Р(x_i ) Р(x_j /x_i ) = P  Q. (1.2)

Тоді, відповідно до вимоги (2), повиннa виконуватися умова:

 { P Q } =  (P) +  (Q) (1.3)

Неважко догадатися, що функцією, що задовольняє цим двом пропонованим до неї умовам, є функція виду

I (x_i) = a log P(x_i), (1.4)

при цьому як коефіцієнт a, так і основа логарифма можуть бути вибрані довільно. Однак для зручності (щоб кількісна міра інформації була позитивною) приймають a = - 1. Основу логарифма звичайно вибирають рівним двом, і тоді

I (x_i) = - log₂ P(x_i) (1.5)

Визначена в такий спосіб одиниця виміру інформації називається двійковою одиницею, або бітом інформації. Наприклад, якщо яке-небудь з елементарних повідомлень x_i може бути обрано з алфавіту і передано з імовірністю P(x_i) = 1/8, то говорять, що в ньому міститься log₂ (1/8) = 3 біти інформації.

Іноді як підставу логарифма вибирають e, тоді інформація виміряється в натуральних одиницях, або натах.

Кількість інформації, що утримується в одному елементарному повідомленні x_i, ще ніяк не характеризує джерело. Одні елементарні повідомлення можуть нести багато інформації, але передаватися дуже рідко, інші - передаватися частіше, але нести менше інформації. Тому джерело може бути охарактеризований середньою кількістю інформації, що приходиться на одне елементарне повідомлення, що носить назву “ентропія джерела” і обумовленим у такий спосіб:

, i = 1, K. (1.6)