Лабораторна робота 2.1а

ІНФОРМАЦІЙНІ ХАРАКТЕРИСТИКИ ДЖЕРЕЛ ПОВІДОМЛЕНЬ

1 Мета роботи

1.1 Вивчення інформаційних характеристик джерел повідомлень.

1.2 Набуття навичок проведення розрахунків інформаційних характеристик дискретних і неперервних джерел повідомлень.

2 Ключові положення

2.1 Інформаційні характеристики джерел дискретних повідомлень (дискретних джерел повідомлень).

Джерело дискретних повідомлень виробляє повідомлення, що складаються з окремих знаків, число яких кінцеве. Під знаком розуміють символи, букви, слова, окремі фрази й т.п.

Об'єм алфавіту джерела М_А – кількість різних знаків, використовуваних джерелом для побудови повідомлень.

Кількість інформації I (a_k), дв. ед. (або біт), у знаку (повідомленні) a_k, імовірність появи якого P(a_k), обчислюється

I(a_k) = – log ₂ P(a_k). (1)

Ентропія H(A) джерела повідомлень A – це середня кількість інформації в одному знаку. Якщо знаки повідомлень незалежні, то ентропія обчислюється як математичне сподівання

H(A) = – . (2)

Ентропія, як і інформація, завжди додатна величина й досягає максимального значення

H_max (А) = log₂ M_А, (3)

якщо знаки незалежні й рівноймовірні.

Надмірність джерела повідомлень – це властивість джерела видавати інформацію більшим числом знаків, ніж можна було б. Наявність надмірності джерела повідомлень приводить до зменшення його ентропії.

Коефіцієнт надмірності джерела повідомлень характеризує відносне зменшення ентропії джерела в порівнянні з її максимальним значенням

К_над = . (4)

Продуктивність джерела повідомлень, R_дж, біт/с, – це середня кількість інформації, видаваної джерелом за 1 с

R_дж = Н(А)/ Т_сер, (5)

де Т_сер – середня тривалість одного знака джерела.

2.2 Інформаційні характеристики джерел неперервних повідомлень (неперервних джерел повідомлень).

Диференціальна ентропія h(A) джерела неперервних повідомлень A обчислюється за формулою

h(A) = – , (6)

де p(a) – густина імовірності повідомлення a(t).

Диференціальна ентропія досягає максимального значення, якщо розподіл імовірності повідомлення гауссів

h _max (A) = log ₂ , (7)

де σ² – дисперсія повідомлення a(t).

Епсилон-ентропія H_ε(A), дв.од./відлік, – це мінімальна середня кількість інформації в одному відліку повідомлення при заданій допустимій похибці його наближеного подання

де ;

– наближене подання повідомлення.

За визначенням епсилон-ентропія

H_ε(A) = h(A) – max h(ε), (8)

де h(ε) – диференціальна ентропія похибки ε(t).

Максимальне значення h(ε) має місце при гауссовому розподілі ε(t), і розрахункова формула для епсилон-ентропії має вигляд

, (9)

де – дисперсія похибки ε(t).

Коефіцієнт надмірності джерела неперервних повідомлень обчислюється за формулою (4) при підстановці відповідних значень диференціальних ентропій h(A) і h_max(A).

Епсилон-продуктивність R_дж  джерела неперервних повідомлень обчислюється за формулою (5), у яку необхідно підставити значення епсилон-ентропії H_ε(A), а Т_сер прийняти рівним інтервалу дискретизації по Котельникову.

3 Ключові питання

3.1 Дати визначення поняття інформація.

3.2 Як розрахувати кількість інформації в повідомленні?

3.3 Дати визначення інформаційних характеристик джерел повідомлень: ентропія, диференціальна ентропія, епсилон-ентропія, продуктивність джерела, надмірність джерела.

3.4 Які параметри джерела дискретних повідомлень необхідно знати, щоб обчислити його ентропію, надмірність, продуктивність?

3.5 Які параметри джерела неперервних повідомлень необхідно знати, щоб обчислити його диференціальну ентропію, епсилон-ентропію, продуктивність, надмірність?