Федеральное агентство по образованию

Сибирский государственный аэрокосмический университет

имени академика М. Ф. Решетнева

А.В. Мурыгин, А.Н. Бочаров

ТЕОРИЯ ИНФОРМАЦИИ

И КОДИРОВАНИЯ

Утверждено редакционно-издательским советом

университета в качестве лабораторного практикума

для студентов специальностей 230102,

очной и заочной формы обучения

Красноярск 2007

УДК 004.07

ББК 32.973.2

С 22

Рецензенты

доктор технических наук, профессор И.В. Коваленко

(Сибирский государственный аэрокосмический университет

имени академика М. Ф. Решетнева)

Мурыгин, А. В.

С 22 Теория информации и кодирования: лаб. практ. / А. В. Мурыгин, А. Н. Бочаров ; Сиб. гос. аэрокосмич. ун.-т. – Красноярск, 2007. – 27 с.

В работе рассмотрены основы теории информации, вопросы информационной метрики, оптимального неравномерного кодирования, принципы построения корректирующих кодов

УДК 004.07

ББК 32.973.2

© Сибирский государственный аэрокосмический университет имени академика м. Ф. Решетнева, 2007

© А. В. Мурыгин, А. Н. Бочаров, 2007

Оглавление

Предисловие …………………………………………………………………..	4
1. Информационная метрика .........................................................................	5
1.1. Энтропия и ее свойства …………………………………………....	5
1.2. Энтропия сложной системы ……………………………………….	7
1.3. Условная энтропия. Объединение зависимых систем …………...	8
1.4. Определение информационных потерь в каналах связи ………...	9
2. Кодирование информации ………………………………………………..	10
2.1. Количественное определение избыточности в сообщениях……..	10
2.2. Оптимальное неравномерное кодирование ………………………	11
2.2.1. Кодирование методом Шеннона-Фано …………………..	11
2.2.2. Кодирование методом Хаффмана ………………………...	12
2.2.3. Определение оптимальности закодированных сообщений	12
2.3. Корректирующие коды …………………………………………….	13
2.3.1. Код Хемминга ………………………………………….......	15
2.3.2. Линейные групповые коды ……………………………….	16
3. Указания к выполнению лабораторных работ ……………………......	18
3.1. Лабораторная работа № 1. Энтропия как мера степени неопределенности системы …………………………………………………….	18
3.2. Лабораторная работа № 2. Энтропия сложной системой. Условная энтропия …………………………………………………………….	19
3.3. Лабораторная работа № 3. Определение избыточности сообщений. Оптимальное неравномерное кодирование ……………………...	21
3.4. Лабораторная работа № 4. Определение и исправление ошибок в сообщении. Код Хемминга …………………………………………...	22
3.5. Лабораторная работа № 5. Линейные групповые коды…………..	24
Заключение ……………………………………………………………………	26
Библиографический список …………………………………………………	27