- •120200 «Фотограмметрия и дистанционное зондирование»
- •Глава 1. Основы теории информации.
- •1.1. Информация. Общие понятия
- •Символ источника сообщений - это любое мгновенное состояние источника сообщений.
- •1.2.Измерение информации
- •1.3.Структурное (комбинаторное) определение количества информации (по Хартли).
- •1.4.Статистическое определение количества информации (по Шеннону).
- •1.5.Свойства функции энтропии источника дискретных сообщений.
- •1.6 Информационная емкость дискретного сообщения.
- •1.7. Информация в непрерывных сообщениях.
- •1.8. Энтропия непрерывных сообщений.
- •1.9. Экстремальные свойства энтропии непрерывных сообщений.
- •1.10. Информация в непрерывных сообщениях при наличии шумов.
- •Глава 2. Основы теории кодирования.
- •2.1. Кодирование. Основные понятия.
- •2.2. Избыточность кодов.
- •2.3. Эффективное кодирование равновероятных символов сообщений.
- •2.4. Эффективное кодирование неравновероятных символов сообщений
- •2.5. Алгоритмы эффективного кодирования неравновероятных взаимнонезависимых символов источников сообщений
- •2.6. Алгоритмы эффективного кодирования неравновероятных взаимозависимых символов сообщений
- •2.7. Недостатки алгоритмов эффективного кодирования.
- •2.8. Помехоустойчивое (корректирующее) кодирование. Общие понятия
- •2.9. Теоретические основы помехоустойчивого кодирования
- •2.10. Некоторые методы построения блочных корректирующих кодов
- •2.11. Кодирование как средство защиты информации от несанкционированного доступа.
- •Глава 3. Передача информации по каналам связи.
- •3.1. Канал связи. Общие понятия.
- •3.2. Передача дискретных сообщений по каналам связи.
- •3.3. Передача непрерывных сообщений по каналам связи.
- •3.4. Согласование каналов с сигналами.
- •Лабораторный практикум. Лабораторная работа №1. Информация в дискретных сообщениях.
- •П.1.А. Используя формулу Хартли, найти энтропию указанного источника дискретных сообщений (н1).
- •Лабораторная работа №2. Информация в непрерывных сообщениях.
- •Лабораторная работа № 3. Эффективное кодирование неравновероятных символов источника дискретных сообщений.
- •Некоторые полезные сведения из теории вероятностей.
- •Случайные события.
- •2. Алгебра событий
- •Случайные величины.
- •4.Статистические характеристики случайных величин.
- •5.Случайные функции.
- •Литература.
1.6 Информационная емкость дискретного сообщения.
При описании информационных процессов часто пользуются следующими информационными характеристиками.
Производительность источника сообщений (P) — среднее количество информации, генерируемое источником в единицу времени
Единицей измерения производительности источника сообщений является бот:
Информационная емкость сообщения (R) — это среднее количество информации, содержащееся в сообщении единичной длительности:
где I — количество информации, содержащееся в сообщении;
t – длительность сообщения.
Скорость создания (генерации) информации (Q) — это среднее количество информации, генерируемое источником сообщений за единицу времени
где W – скорость передачи символов (символ /сек);
H–среднее количество информации приходящееся на один символ (бит /символ).
Единицей измерения скорости генерации информации и информационной емкости сообщения служит бот.
В качестве примера, определим информационную емкость простейшего дискретного сообщения, состоящего из совокупности импульсов и пауз, причем длительность импульсов и пауз одинакова, а амплитуда импульсов постоянна, т.е. сообщение строится на использовании лишь двух символов (его объём алфавит равен 2).
Очевидно, если избыточность отсутствует, то на каждый символ такого сообщения приходится одна двоичная единица информации (1 бит), а на все сообщение, состоящее из n символов, приходится n бит информации.
Пусть длительность импульса и паузы одинакова и равна , тогда длительность всего сообщения (T) будят равна
.
Из радиотехники известно, что импульсу с длительностью соответствует определенная полоса частот Δw причем
Δw (1.12)
где k — коэффициент, зависящий от формы импульса .
Следовательно, количество информации в рассматриваемом двоичном сообщении длительностью Т не может превышать предельного значения
И с учетом формулы (1.12) имеем:
=T·Δw (бит).
Разделив на Т, получим предельную информационную ёмкость сообщения (R)
Δw (бот).
Tаким образом, информационная емкость двоичного дискретного сообщения численно равна полосе частот сигнала, с помощью которого передаются символы сообщения, выраженной в герцах.
Рассмотрим дискретное сообщение состоящее из последовательности импульсов длительностью , причем паузы между импульсами отсутствуют, а амплитуда каждого импульса соответствует одному из L заранее установленных дискретных уровней. Можно считать, что алфавит такого источника сообщений состоит из L равновероятных и независимых символов Количество информации в сообщении, состоящем из n таких символов (длительностью Т), не может превышать предельного значения ( ), определяемого по формуле Хартли
Δw (бит).
А информационная емкость такого сообщения (сигнала) (R) равна:
Δw
Следует отметить, что полученные выражения имеют смысл только тогда, когда разность между двумя соседними символами значительно превышает уровень помехи и когда отсутствует избыточность. В противном случае, а также в случае, когда символы, формирующие сообщение имеют различную длительность, вычисление информационной емкости сообщения является более сложной задачей.