4 Домашнє завдання

4.1 Повторити основні положення розділу "Інформаційні характеристики джерел повідомлень" по конспекту лекцій і підручниках [1, лекції 1, 4; 2, розд. 8.1, 8.2, 8.7; 3, розд. 18.1].

4.2 Обчислити кількість інформації I, що міститься у Ваших ініціалах (три конкретні букви) і порівняти її зі значенням 15 біт (кількість інформації в трьох знаках джерела незалежних рівноймовірних знаків з об'ємом алфавіту М_А = 32). Імовірності букв наведені в додатку А. Якщо I відрізняється від 15 біт, то пояснити причину відмінності.

4.3 Підготуватися до обговорення по ключових питаннях.

5 Порядок проведення заняття

Це розрахункова лабораторна робота й проводиться в такому порядку.

1 Обговорення ключових положень і методики розрахунків інформаційних характеристик джерел повідомлень. Рішення типових прикладів, рекомендованих до заняття (пункт 6) або підібраних викладачем (приблизно 50 хв.).

2 Самостійна робота студентів (СРС) по індивідуальних білетах (приблизно 30 хв.).

Вказівки. 1. Для обчислення двійкових логарифмів використовують співвідношення переходу від натуральних і десяткових логарифмів:

log₂z = lnz/ln2 1,443 lnz; log₂z = lgz/lg2  3,32 lgz.

2. Повідомлення неперервного джерела a(t) перетворюється в аналоговий сигнал b(t) без втрати інформації, тому розрахунки інформаційних характеристик джерела проводять для сигналу b(t).

6 Типові приклади

Приклад 1. Знайти кількість інформації в слові українського тексту з N = 8 букв. Для розрахунків прийняти, що букви рівноймовірні й незалежні, об'єм алфавіту М_А = 32.

Відповідь: І(слово) = 40 дв.од.

Приклад 2. Обчислити коефіцієнт надмірності джерела двійкових повідомлень, якщо ймовірність одного зі знаків P(а₁) = 0,1.

Відповідь: К_над = 0,53.

Приклад 3. Обчислити продуктивність джерела повідомлень, що використовує три незалежних знаки з імовірностями: Р(а₁) = 0,10; Р(а₂) = 0,25; Р(а₃) = ? Тривалість першого знака 0,5 мс, другого й третього по 1 мс.

Відповідь: Н(А) = 1300 дв.од./с.

Приклад 4. Розрахувати інформаційні характеристики джерела неперервних повідомлень: епсилон-ентропію Н_(В), коефіцієнт надмірності К_над, епсилон-продуктивність R_дж .

Вихідні дані: аналоговий сигнал b(t) характеризується гауссовою густиною ймовірності миттєвих значень р(b) і максимальною частотою спектра F_max = 500 Гц; відношення середньої потужності сигналу до середньої потужності похибки подання  = 40 дБ.

Відповідь: епсилон-ентропія Н_(В) = 6,64 дв.од./відлік, коефіцієнт надмірності К_над = 0, епсилон-продуктивність R_дж  = 6640 дв.од./с.

Література

1. Дирда В.Ю., Іващенко П.В. Теорія електричного зв’язку. Модуль 2. Передавання інформації в телекомунікаційних системах / Навчальний посібник – Одеса: ОНАЗ ім. О.С. Попова, 2010.

2. Стеклов В.К., Беркман Л.Н. Теорія електричного зв’язку: Підручник для студентів ВУЗів. За ред. В.К. Стеклова – К.: Техніка, 2006.

3. Панфілов І. П., Дирда В. Ю., Капацін А. В. Теорія електричного зв'язку: Підручник для студентів вузів 1-го й 2-го рівнів акредитації. - К.: Техніка, 1998.

Додаток а

Довідкові дані для розрахунків інформаційних характеристик

Таблиця А.1 – Розподіл імовірностей букв в українських текстах

Буква	Імовірність	Буква	Імовірність	Буква	Імовірність	Буква	Імовірність
Пробіл	0,122	Р	0,040	З	0,018	Ж	0,007
О	0,090	С	0,034	Й	0,017	Ц	0,006
А	0,074	Л	0,034	Б	0,016	Ю	0,006
И	0,059	К	0,032	Я	0,015	Ї	0,006
І	0,055	У	0,032	Г	0,013	Є	0,003
Н	0,053	Д	0,026	Ч	0,012	Ф	0,002
В	0,047	П	0,026	Ш	0,010
Т	0,044	М	0,023	Х	0,008
Е	0,041	Ь	0,021	Щ	0,008

Таблиця А.2 – Розподіл імовірностей букв у російських текстах

Буква	Імовірність	Буква	Імовірність	Буква	Імовірність	Буква	Імовірність
Пробіл	0,175	Р	0,040	Я	0,018	Х	0,009
О	0,089	В	0,038	Ы	0,016	Ж	0,007
Е, Е	0,072	Л	0,035	З	0,016	Ю	0,006
А	0,062	К	0,028	Ь, Ъ	0,014	Ш	0,006
И	0,062	М	0,026	Б	0,014	Ц	0,004
Т	0,053	Д	0,025	Г	0,013	Щ	0,003
Н	0,053	П	0,023	Ч	0,012	Э	0,003
С	0,045	У	0,021	Й	0,010	Ф	0,002

Таблиця А.3 – Розподіл імовірностей букв в англійських текстах

Буква	Імовірність	Буква	Імовірність	Буква	Імовірність	Буква	Імовірність
Пропуск	0,198	R	0,054	U	0,022	V	0,008
E	0,105	S	0,052	M	0,021	K	0,003
T	0,072	H	0,047	P	0,017	X	0,002
O	0,065	D	0,035	Y	0,012	J	0,001
A	0,063	L	0,029	W	0,012	Q	0,001
N	0,059	C	0,023	G	0,011	Z	0,001
I	0,055	F	0,022	B	0,010

Таблиця А.4 – Розрахункові формули для диференціальної ентропії

Розподіл імовірності	Диференціальна ентропія h (B), біт/відлік
Гауссів:
Рівномірний:

4