- •Кафедра: “Комп’ютерні науки”
- •Теоретичні відомості
- •Теорія інформації та передача сигналів
- •Кількість інформації, ентропія
- •Властивості ентропії
- •Завдання
- •Зміст звіту по лабораторній роботі
- •Теоретичні відомості
- •Ентропія складних повідомлень
- •Властивості ентропії складних повідомлень
- •Надмірність джерела повідомлень
- •Завдання
- •Приклад виконання завдання
- •Теоретичні відомості
- •Кодування інформації
- •Способи представлення кодів
- •Нерівномірні коди
- •Статистичне кодування
- •Код Шеннона-Фано
- •Завдання
- •Приклад виконання завдання
- •Теоретичні відомості
- •Оптимальний код - Хаффмана
- •Завдання
- •Приклад виконання завдання
- •Перелік рекомендованої літератури
Завдання
Два статистично незалежних джерела А та В визначаються матрицею ймовірностей p(ai,bj) (див. таблицю 2.1 згідно варіанту). Визначити часткову та загальну умовну ентропію, ентропію об'єднання, безумовну ентропію цих джерел, а також кількість інформації, що припадає на пару повідомлень ai,bi.
Провести аналіз та оцінку одержаних результатів.
Оформити звіт.
Таблиця 2.1 – Матриця ймовірностей p(ai,bj)
№ вар. |
p(ai,bj) |
№ вар. |
p(ai,bj) |
№ вар. |
p(ai,bj) | |||||||||||||||||||||||||||
1) |
|
2) |
|
3) |
| |||||||||||||||||||||||||||
4) |
|
5) |
|
6) |
| |||||||||||||||||||||||||||
7) |
|
8) |
|
9) |
| |||||||||||||||||||||||||||
10) |
|
11) |
|
12) |
| |||||||||||||||||||||||||||
13) |
|
14) |
|
15) |
| |||||||||||||||||||||||||||
16) |
|
17) |
|
18) |
|
Таблиця 2.1 – Продовження
№ вар. |
p(ai,bj) |
№ вар. |
p(ai,bj) |
№ вар. |
p(ai,bj) | |||||||||||||||||||||||||||
19) |
|
20) |
|
21) |
| |||||||||||||||||||||||||||
22) |
|
23) |
|
24) |
| |||||||||||||||||||||||||||
25) |
|
26) |
|
27) |
|