- •120200 «Фотограмметрия и дистанционное зондирование»
- •Глава 1. Основы теории информации.
- •1.1. Информация. Общие понятия
- •Символ источника сообщений - это любое мгновенное состояние источника сообщений.
- •1.2.Измерение информации
- •1.3.Структурное (комбинаторное) определение количества информации (по Хартли).
- •1.4.Статистическое определение количества информации (по Шеннону).
- •1.5.Свойства функции энтропии источника дискретных сообщений.
- •1.6 Информационная емкость дискретного сообщения.
- •1.7. Информация в непрерывных сообщениях.
- •1.8. Энтропия непрерывных сообщений.
- •1.9. Экстремальные свойства энтропии непрерывных сообщений.
- •1.10. Информация в непрерывных сообщениях при наличии шумов.
- •Глава 2. Основы теории кодирования.
- •2.1. Кодирование. Основные понятия.
- •2.2. Избыточность кодов.
- •2.3. Эффективное кодирование равновероятных символов сообщений.
- •2.4. Эффективное кодирование неравновероятных символов сообщений
- •2.5. Алгоритмы эффективного кодирования неравновероятных взаимнонезависимых символов источников сообщений
- •2.6. Алгоритмы эффективного кодирования неравновероятных взаимозависимых символов сообщений
- •2.7. Недостатки алгоритмов эффективного кодирования.
- •2.8. Помехоустойчивое (корректирующее) кодирование. Общие понятия
- •2.9. Теоретические основы помехоустойчивого кодирования
- •2.10. Некоторые методы построения блочных корректирующих кодов
- •2.11. Кодирование как средство защиты информации от несанкционированного доступа.
- •Глава 3. Передача информации по каналам связи.
- •3.1. Канал связи. Общие понятия.
- •3.2. Передача дискретных сообщений по каналам связи.
- •3.3. Передача непрерывных сообщений по каналам связи.
- •3.4. Согласование каналов с сигналами.
- •Лабораторный практикум. Лабораторная работа №1. Информация в дискретных сообщениях.
- •П.1.А. Используя формулу Хартли, найти энтропию указанного источника дискретных сообщений (н1).
- •Лабораторная работа №2. Информация в непрерывных сообщениях.
- •Лабораторная работа № 3. Эффективное кодирование неравновероятных символов источника дискретных сообщений.
- •Некоторые полезные сведения из теории вероятностей.
- •Случайные события.
- •2. Алгебра событий
- •Случайные величины.
- •4.Статистические характеристики случайных величин.
- •5.Случайные функции.
- •Литература.
Литература.
1.Журкин И.Г. Шавенько Н.К Сигналы Учебное пособие по курсу «Автоматизированная обработки аэрокосмической информации. –М.: Изд. МИИГАиК, 2007.
2.Дмитриев В.И. Прикладная теория информации.- М.:Изд.«Высшая школа»,1999г.
3.Хэмминг Р.В. Теория кодирования и теория инфорции.―М.:Изд. «Радио и связь»,1998г.
4.Колесник В.Д., Полтырев Г.Ш. Курс теории информации. -М.: Изд.»Наука», 1994г.
5.Мощиль В.И., Шавенько Н.К. Основы теории информации. Учебное пособие. –М.: Изд. МИИГАиК, 2006.
Мощиль В. И., Шавенько Н. К. Основы теории кодирования. Учебное пособие. –М.: Изд. МИИГАиК, 1999.
7. Новиков Ф.А. Дискретная математика для программистов. –Санкт–Петербург; Изд.дом «Питер», 2008.
Содержание-
Введение 3
1. Основы теории информации 4
Информация. Общие понятия. 4
Измерение информации 5
Структурное (комбинаторное) определение количества
информации (по Хартли) 8
Статистическое определение количества информации (по Шеннону) 10
Свойства функции энтропии источника дискретных сообщений 11
Информационная ёмкость дискретного сообщения 14
Информация в непрерывных сообщениях. 16
Энтропия непрерывных сообщений 17
Экстремальные свойства энтропии непрерывных сообщений 20
Информация в непрерывных сообщениях при наличии шумов 24
2. Основы теории кодирования 26
2.1. Кодирование. Основные понятия 26
2.2. Избыточность кодов 29
2.3. Эффективное кодирование равновероятных символов сообщений 31
2.4. Эффективное кодирование неравновероятных символов сообщений 32
2.5. Алгоритмы эффективного кодирования неравновероятных
взаимнонезависимых символов источников сообщений 34
2.6. Алгоритмы эффективного кодирования неравновероятных
взаимозависимых символов сообщений 40
2.7. Недостатки алгоритмов эффективного кодирования 41
2.8. Помехоустойчивое (корректирующее) кодирование. Общие понятия 42
2.9. Теоретические основы помехоустойчивого кодирования 43
2.10.Некоторые методы построения блочных корректирующих кодов ………….48
2.11.Кодирование как средство защиты информации от
несанкционированного доступа 52
3. Передача информации по каналам связи 58
3.1. Канал связи. Общие понятия 58
3.2. Передача дискретных сообщений по каналам связи 60
3.3. Передача непрерывных сообщений по каналам связи 63
3.4. Согласование каналов с сигналами 64
Лабораторный практикум.………………………………………...………………….68
Лабораторная работа № 1………………………………………………………...……68
Лабораторная работа № 2………………………………………………………...……71
Лабораторная работа № 3………………………………………………………...……75
Приложение. Некоторые полезные сведения из теории вероятностей.................77
Литература………………………………………………………………………….……85