- •Введение
- •1. Энтропия источников сообщений
- •1.1. Дискретные ансамбли и источники
- •1.2. Количество информации в дискретном сообщении. Энтропия ансамбля
- •1.3. Условная информация. Условная энтропия. Совместная энтропия дискретного источника
- •1.4. Энтропия дискретного стационарного источника на сообщение
- •1.5. Избыточность источника дискретных сообщений
- •1.6. Эффективное кодирование. Кодирование источника равномерными кодами
- •1.7. Высоковероятные множества постоянного дискретного источника
- •1.8. Энтропия источника без памяти как скорость создания информации
- •1.9. Избыточность источника непрерывных сигналов. Количество информации в непрерывном канале
- •1.10. Скорость передачи информации и пропускная способность в непрерывном канале
- •2. Кодирование информации
- •2.1. Неравномерное кодирование с однозначным декодированием
- •2.2. Оптимальные неравномерные двоичные коды
- •2.3. Кодирование для исправления ошибок: Основные положения
- •2.4. Постановка задачи кодирования
- •2.5. Прямая теорема о кодировании в канале с шумами
- •2.6. Обратная теорема кодирования
- •2.7. Основная теорема Шеннона, ограничение возможностей использования оптимального кодирования на практике
- •3. Коды, исправляющие ошибки
- •3.1. Блоковые и сверточные коды
- •3.2. Хеммингово расстояние, Хемминговы сферы и корректирующая способность
- •3.3. Линейные блоковые коды
- •3.4. Порождающая и проверочная матрицы. Кодирование с помощью матриц g и н
- •3.5. Декодирование по стандартной таблице
- •3.6. Циклические коды
- •3.7. Кодирующие устройства циклических кодов
- •3.8. Декодирование циклических кодов по синдрому
- •3.9. Мажоритарное декодирование
- •4. Энтропия в контексте защиты информации от помех при передаче по каналу связи
- •4.1. Меры искажения. Постановка задачи защиты информации от помех при передаче по каналу связи
- •4.2. Свойства функции скорость-искажение
- •4.3. Простые примеры вычисления функции скорость-искажение
- •4.4. Функция скорость-искажение для гауссовских последовательностей
- •4.5. Эпсилон-производительность источника
- •4.6. Дифференциальная энтропия
- •4.7. Свойства дифференциальной энтропии
- •4.8. Эпсилон - энтропия источника сообщений
- •4.9. Обратная теорема кодирования для дискретного постоянного источника при заданном критерии качества
- •4.10. Прямая теорема кодирования с заданным критерием качества
- •4.11. Аксиоматическое введение в теорию энтропии вероятностных схем
- •4.12. Энтропия и условная энтропия объединенной вероятностной схемы и их свойства
- •Заключение
- •Библиографический список
- •Оглавление
- •394026 Воронеж, Московский просп., 14
4.7. Свойства дифференциальной энтропии
1. Величина изменяется при изменении масштаба измерения Х.
Изменим масштаб случайной величины Х в k раз, оставив неизменным масштаб равномерно распределенной в единичном интервале случайной величины Х0, принятой за эталон. Если xi= kx, то
(4.21)
Если одновременно изменить масштаб Х0, соотносительная неопределенность также изменится, так как значение эталона будет уже иным.
Из относительности дифференциальной энтропии следует, что энтропия может принимать положительные, отрицательные и нулевые значения.
2. Дифференциальная энтропия не зависит от конкретных значений случайной величины Х и, в частности, от изменения всех её значений на постоянное. Действительно, масштаб Х при этом не меняется и справедливо равенство
(4.22)
3. Если единственным ограничением для случайной величины Х является область её возможных значений [a, b], то максимальной дифференциальной энтропией обладает равномерное распределение вероятностей в этой области, т.е. при
(4.23)
4. Если ограничения на область значений непрерывной случайной величины Х отсутствуют, но известно, что дисперсия её ограничена, то максимальной дифференциальной энтропией, равной
(4.24)
обладает нормальное (Гауссовское) распределение величин Х:
(4.25)
5. Соотношения для дифференциальной энтропии объединения статистически зависимых непрерывных источников аналогичны соответствующим формулам для дискретных источников:
(4.26)
где
6. Если статистические связи между X и Y отсутствуют, то
(4.27)
4.8. Эпсилон - энтропия источника сообщений
Реальная чувствительность приемных устройств, органов чувств человека и разрешающая способность различных информационно-измерительных систем ограничены. Поэтому воспроизводить непрерывные сообщения абсолютно точно не требуется. Наличие помех и искажений сигналов в реальных каналах делает точное воспроизведение сообщений невозможным. Поэтому введём понятие эпсилон–энтропии. Эпсилон–энтропия – это то среднее количество информации в одном независимом отсчете непрерывного случайного процесса Х(t), которое необходимо для воспроизведения этого сигнала с заданной среднеквадратичной погрешностью .
Рассмотрим подробнее сущность этого понятия. Предположим, что передавался сигнал Х(t), а был принят сигнал Y(t). Пусть в канале действует аддитивная помеха E(t), тогда Y(t) = X(t) + E(t) . Расстояние между сигналами X(t) и Y(t) определяется величиной
(4.28)
где T – длительность сигналов.
Если , то сигналы называют -близкими.
В соответствии с определением эпсилон-энтропии можно записать, что
(4.29)
Так как X (t) = Y (t) - E(t) , то условная энтропия при принятом Y(t) полностью определяется “шумом” воспроизведения E(t). Поэтому
(4.30)
Учитываем, что мощность помехи ограничена величиной , тогда максимальная энтропия помехи, отнесенная к одному отсчету, определяется по формуле
, (4.31)
где σЕ – среднеквадратическое значение помехи.
С учетом (65)
(4.32)
Эпсилон-энтропия имеет максимальное значение, когда процесс X(t) также является гауссовским:
(4.33)
Отношение сигнал/шум характеризует то количество полученной информации, при котором принятый сигнал Y(t) и переданный сигнал X(t) “похожи” в среднеквадратичном смысле с точностью до . В формуле (2.48) значение эпсилон-энтропии определено для одного независимого отсчета.