- •Введение
- •1. Энтропия источников сообщений
- •1.1. Дискретные ансамбли и источники
- •1.2. Количество информации в дискретном сообщении. Энтропия ансамбля
- •1.3. Условная информация. Условная энтропия. Совместная энтропия дискретного источника
- •1.4. Энтропия дискретного стационарного источника на сообщение
- •1.5. Избыточность источника дискретных сообщений
- •1.6. Эффективное кодирование. Кодирование источника равномерными кодами
- •1.7. Высоковероятные множества постоянного дискретного источника
- •1.8. Энтропия источника без памяти как скорость создания информации
- •1.9. Избыточность источника непрерывных сигналов. Количество информации в непрерывном канале
- •1.10. Скорость передачи информации и пропускная способность в непрерывном канале
- •2. Кодирование информации
- •2.1. Неравномерное кодирование с однозначным декодированием
- •2.2. Оптимальные неравномерные двоичные коды
- •2.3. Кодирование для исправления ошибок: Основные положения
- •2.4. Постановка задачи кодирования
- •2.5. Прямая теорема о кодировании в канале с шумами
- •2.6. Обратная теорема кодирования
- •2.7. Основная теорема Шеннона, ограничение возможностей использования оптимального кодирования на практике
- •3. Коды, исправляющие ошибки
- •3.1. Блоковые и сверточные коды
- •3.2. Хеммингово расстояние, Хемминговы сферы и корректирующая способность
- •3.3. Линейные блоковые коды
- •3.4. Порождающая и проверочная матрицы. Кодирование с помощью матриц g и н
- •3.5. Декодирование по стандартной таблице
- •3.6. Циклические коды
- •3.7. Кодирующие устройства циклических кодов
- •3.8. Декодирование циклических кодов по синдрому
- •3.9. Мажоритарное декодирование
- •4. Энтропия в контексте защиты информации от помех при передаче по каналу связи
- •4.1. Меры искажения. Постановка задачи защиты информации от помех при передаче по каналу связи
- •4.2. Свойства функции скорость-искажение
- •4.3. Простые примеры вычисления функции скорость-искажение
- •4.4. Функция скорость-искажение для гауссовских последовательностей
- •4.5. Эпсилон-производительность источника
- •4.6. Дифференциальная энтропия
- •4.7. Свойства дифференциальной энтропии
- •4.8. Эпсилон - энтропия источника сообщений
- •4.9. Обратная теорема кодирования для дискретного постоянного источника при заданном критерии качества
- •4.10. Прямая теорема кодирования с заданным критерием качества
- •4.11. Аксиоматическое введение в теорию энтропии вероятностных схем
- •4.12. Энтропия и условная энтропия объединенной вероятностной схемы и их свойства
- •Заключение
- •Библиографический список
- •Оглавление
- •394026 Воронеж, Московский просп., 14
2.7. Основная теорема Шеннона, ограничение возможностей использования оптимального кодирования на практике
Рассмотрим проблему кодирования в канале с помехами с более общих позиций, учитывая возможности предварительного оптимального кодирования источника сообщений. Будем полагать, что при кодировании в канале сообщениями являются двоичные кодовые блоки (слова) длиной п. Их число определяется величиной М = 2nR, так что log М = nR. В соответствии с утверждением теоремы кодирования источника в среднем на каждое сообщение источника приходится H(A) двоичных кодовых символов. Пусть Ti и Тк — длительности символов источника и канала. При этом условие передачи закодированных сообщений по каналу без задержки во времени можно записать в виде lTi = nТк, где в соответствии с теоремой кодирования источника и определением скорости кода в канале
(2.11)
Поскольку в соответствии с прямой теоремой Шеннона о кодировании в канале с шумами безошибочная передача при условии возможна лишь при выполнении неравенстваR< Н(А) < С, из этого соотношения следуют очевидные неравенства
или (2.12)
Последнее неравенство позволяет сформулировать основную теорему Шеннона в следующем виде:
Если производительность источника меньше пропускной способности канала с помехами в единицу времени, Н'(А) < С', то существует способ кодирования и декодирования, при котором вероятность ошибочного декодирования может быть сколь угодно малой.
Допустим теперь, что в условиях, когда оптимальное кодирование источника не производится, каждой кодовой комбинации символов двоичного источника длиной 7} ( - число разрядов в исходном коде) при оптимальном кодировании в канале ставится кодовое слово длины n. Число кодовых слов, удовлетворяющих требованию взаимной однозначности равно (R — скорость кода). В условиях отсутствия задержек во времени при кодировании
или
Поскольку безошибочное декодирование обеспечивается при условииR< С, отсюда получаем ограничение на максимально возможную скорость передачи:
Известное выражение, связывающее пропускную способность двоичного симметричного канала с параметром р — вероятностью ошибочного различения кодового символа на выходе принятого устройства демодуляции, позволяет оценить состояние дискретного канала с шумами, при котором использование процедуры оптимального по Шеннону кодирования становится нецелесообразным.
Воспользуемся известной зависимостью параметра р от величины отношения сигнал/шум на выходе оптимальных демодуляторов. Из результатов теории оптимального приема следует, что вероятность ошибки может быть представлена в виде
где - так называемая «дополнительная функция ошибок»; Р — «мощность» элементарного символа; Тк — длительность канального символа; α — коэффициент, равный 2 при использовании в модуляторе противоположных сигналов или 1 при использовании ортогональных сигналов.
Тогда величина пропускной способности канала может быть представлена следующим образом:
где введено обозначение . Теперь можно поставить вопрос об оптимизации величины Т, что эквивалентно оптимизации скорости передачи информации за счет обеспечения наибольшей пропускной способности канала связи при сколь угодно высокой точности передачи сообщений. В работе [2] показано, что максимум пропускной способности достигается при и оказывается равным 0,46αP/N0. Отсюда следует, что при заданных значениях отношения сигнал/шум максимально допустимая вероятность ошибки (для заданной информационной скорости передачи), при которой кодирование ещё может обеспечить сколь угодно высокую верность приема, оказывается равной