МІНІСТЕРСТВО ОСВІТИ І НАУКИ,

МОЛОДІ ТА СПОРТУ УКРАЇНИ

ТЕРНОПІЛЬСЬКИЙ НАЦІОНАЛЬНИЙ ТЕХНІЧНИЙ УНІВЕРСИТЕТ ІМЕНІ ІВАНА ПУЛЮЯ

Кафедра: “Комп’ютерні науки”

МЕТОДИЧНІ ВКАЗІВКИ

для виконання лабораторних робіт

з дисципліни:

ТЕОРІЯ ІНФОРМАЦІЇ

для студентів спеціальності

7.05010101, 8.05010101 –

Інформаційні управляючі системи та технології

ТЕРНОПІЛЬ 2012

МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ, МОЛОДІ ТА СПОРТУ УКРАЇНИ

ТЕРНОПІЛЬСЬКИЙ НАЦІОНАЛЬНИЙ ТЕХНІЧНИЙ УНІВЕРСИТЕТ

імені ІВАНА ПУЛЮЯ

Кафедра: “Комп’ютерні науки”

МЕТОДИЧНІ ВКАЗІВКИ

для виконання лабораторних робіт

з дисципліни:

ТЕОРІЯ ІНФОРМАЦІЇ

для студентів спеціальності

7.05010101, 8.05010101 –

Інформаційні управляючі системи та технології

ТЕРНОПІЛЬ 2012

Методичні вказівки для виконання лабораторних робіт з дисципліни “Теорія інформації” для студентів спеціальності 7.05010101, 8.05010101 – Інформаційні управляючі системи та технології / Уклад.: О.М. Дуда, М.В. Приймак, С.Ю. Прошин – Тернопіль: ТНТУ 2012 – 44 с.

Методичні вказівки призначені для виконання лабораторних робіт з дисципліни “Теорія інформації”. Складено у відповідності з навчальним планом підготовки спеціалістів та магістрів спеціальності .05010101, 8.05010101 – Інформаційні управляючі системи та технології.

Укладачі: О.М. Дуда, старший викладач

М.В. Приймак, професор.

С.Ю. Прошин, асистент

Відпов. за випуск М.В. Приймак, професор.

Рецензент

Зміст

1.1 Теоретичні відомості 6

1.1.1 Теорія інформації та передача сигналів 6

1.1.2 Кількість інформації, ентропія 7

1.1.3 Властивості ентропії 10

1.2 Завдання 11

1.3 Зміст звіту по лабораторній роботі 13

2.1 Теоретичні відомості 15

2.1.1 Ентропія складних повідомлень 15

2.1.2 Властивості ентропії складних повідомлень 17

2.1.3 Надмірність джерела повідомлень 19

2.2 Завдання 20

2.3 Приклад виконання завдання 21

3.1 Теоретичні відомості 25

3.1.1 Кодування інформації 25

3.1.2 Способи представлення кодів 27

3.1.3 Нерівномірні коди 28

3.1.4 Статистичне кодування 32

3.1.5 Код Шеннона-Фано 33

3.2 Завдання 34

3.3 Приклад виконання завдання 35

5.1 Теоретичні відомості 39

5.1.1 Оптимальний код - Хаффмана 39

5.2 Завдання 40

5.3 Приклад виконання завдання 41

Перелік рекомендованої літератури 44

Тема: Експерементальне визначення ентропії алфавіту.

Мета роботи: Вивчення властивостей ентропії як кількісної міри інформації.

1. Теоретичні відомості

1. Теорія інформації та передача сигналів

Появу „Теорії інформації” пов'язують з публікацією Клодом Шенноном роботи “Математична теорія зв'язку” у 1948 р. З тих пір теорія інформація пройшла великий шлях, збагатилася величезним числом цікавих наукових відкриттів і довела свою практичну важливість. Сьогодні в повсякденний побут увійшли високошвидкісні модеми для телефонних каналів, лазерні компакт-диски для збереження інформації, тверді диски великої ємності для персональних комп'ютерів, мобільні телефонні апарати для стільникових систем зв'язку і багато інших пристроїв, створення яких було б неможливо без залучення методології і математичного апарата, розроблених у рамках теорії інформації.

Хоча теорії інформації часто приписують більш широке значення, застосовуючи її методологію в природознавстві і мистецтві, з погляду Шеннона, вона може коректно розглядатися тільки як розділ математичної теорії зв'язку.

Тому коло задач теорії інформації пояснюємо за допомогою представленої на рисунку 1.1 структурної схеми типової системи передачі або збереження інформації.

У цій схемі під джерелом розуміється будь-який пристрій або об'єкт живий природи, що породжують повідомлення, що повинні бути переміщені в просторі або в часі. Це може бути клавіатура комп'ютера, людина, аналоговий вихід відеокамери і т.п. Оскільки, незалежно від споконвічної фізичної природи, усі підлягаючій передачі повідомлення звичайно перетвориться у форму електричних сигналів, саме такі сигнали ми і будемо розглядати як вихід джерела.

Рисунок 1.1 – Структурна схема типової системи передачі або збереження інформації

Ціль кодера джерела – представлення інформації в найбільш компактної формі. Це потрібно для того, щоб ефективно використовувати ресурси каналу зв'язку або запам'ятовуючого пристрою. Далі використовується кодер каналу, задачею якого є обробка інформації з метою захисту повідомлень від перешкод при передачі по каналі зв'язку або можливих перекручувань при їхньому збереженні. Модулятор служить для перетворення повідомлень, формованих кодувачем каналу, у сигнали, погоджені з фізичною природою каналу зв'язку або середовищем нагромаджувача інформації.

Інші блоки, розташовані на прийомній стороні, виконують зворотні операції і надають одержувачеві інформацію в зручному для використання виді.