Контрольные вопросы
1. В чем сущность требования аддитивности к мере неопределенности выбора?
2. Назовите основной недостаток меры неопределенности, предложенной Хартли.
3. В каких единицах измеряется неопределенность выбора?
4. Какие требования предъявляются к мере неопределенности выбора из дискретного ансамбля?
5. Охарактеризуйте сущность понятия энтропии.
6. Изложите основные свойства энтропии дискретного ансамбля.
7. Запишите выражение для условной энтропии и поясните ее смысл.
8. Как определить энтропию нескольких взаимозависимых ансамблей?
9. Какова особенность определения энтропии непрерывного источника информации?
10. Дайте определение дифференциальной энтропии и сформулируйте ее основные свойства.
11. Какие распределения обладают максимальной дифференциальной энтропией:
а) при ограничении на диапазон изменения случайной величины?
б) при ограничении на дисперсию случайной величины?
12. Как связаны между собой понятия количества информации и энтропии?
13. Чем различаются понятия частного и среднего количества информации?
14. Сформулируйте основные свойства количества информации.
15. Запишите выражения для определения количества информации при неполной достоверности передачи:
а) от дискретного источника;
б) от непрерывного источника.
16. В чем сущность эпсилон - энтропии случайной величины?
17. Охарактеризуйте среднеквадратический критерий верности воспроизведения.
18. Покажите, что при среднеквадратическом критерии верности воспроизведения эпсилон - энтропия максимальна для нормально распределенной случайной величины с ограниченной дисперсией.
Глава 4. Информационные характеристики источника сообщений и канала связи
§ 4.1. Основные понятия и определения
Опираясь на формализованное описание сигналов и введенную меру количества информации, рассмотрим информационные характеристики источников сообщений и каналов связи, позволяющие установить пути повышения эффективности систем передачи информации, и, в частности, определить условия, при которых можно достигнуть максимальной скорости передачи сообщений по каналу связи как в отсутствие, так и при наличии помех.
Источники сообщений и каналы связи в системах передачи отличаются большим разнообразием по своей структуре и физической природе. Используются механические, акустические, оптические, электрические и радиоканалы. Для выяснения общих закономерностей необходимо абстрагироваться от их конкретного физического воплощения и оперировать формализованными понятиями источника сообщения и канала связи.
Источник дискретных сообщений формирует дискретные последовательности из ограниченного числа элементарных сообщений. На выходе источника непрерывных сообщений образуются непрерывные сообщения. Источник сообщений в теории информации полностью определяется статистическими данными о формируемых им сообщениях.
Под каналом связи подразумевают совокупность устройств и физических сред, обеспечивающих передачу сообщений из одного места в другое (или от одного момента времени до другого). Если канал используется для передачи дискретных сообщений, он называется дискретным каналом. Непрерывным будем называть канал, предназначенный для передачи непрерывных сообщений.
Так как в процессе передачи дискретных сообщений модулятором в соответствии с поступающей последовательностью символов осуществляется изменение информативного параметра непрерывного (чаще всего высокочастотного) сигнала, генерируемого передатчиком в линию связи, то часть дискретного канала от выхода модулятора до входа демодулятора (рис. 4.1) является непрерывным каналом связи. Включив в состав этого канала на передающей стороне модулятор, а на приемной — демодулятор, получим дискретный канал, характеризуемый на входе множеством символов u, а на выходе — множеством символов υ.
Для достижения определенных целей в указанный дискретный канал могут быть введены кодирующие и декодирующие устройства. При этом получаем дискретный канал связи, на вход которого поступают сообщения z, а выходом являются сообщения w, направляемые адресату. Отметим, что непрерывные сообщения z(t) путем дискретизации и квантования всегда можно преобразовать в дискретные и, таким образом, перейти от непрерывного канала к дискретному.
Если вредным действием помех в канале можно пренебречь, то для анализа используется модель в виде идеализированного канала, называемого каналом без помех. В идеальном канале каждому сообщению на входе однозначно соответствует определенное сообщение на выходе и наоборот.
Когда требования к достоверности велики и пренебрежение неоднозначностью связи между сообщениями z и w недопустимо, используется более сложная модель — канал с помехами.
Канал считается заданным, если известны статистические данные о сообщениях на его входе и выходе и ограничения, накладываемые на входные сообщения физическими характеристиками канала. Канал прямой передачи (от источника сообщений к их получателю), дополненный обратным каналом, например, для запроса повторной передачи в случае обнаружения ошибки, называют каналом с обратной связью.