- •Введение
- •1. Энтропия источников сообщений
- •1.1. Дискретные ансамбли и источники
- •1.2. Количество информации в дискретном сообщении. Энтропия ансамбля
- •1.3. Условная информация. Условная энтропия. Совместная энтропия дискретного источника
- •1.4. Энтропия дискретного стационарного источника на сообщение
- •1.5. Избыточность источника дискретных сообщений
- •1.6. Эффективное кодирование. Кодирование источника равномерными кодами
- •1.7. Высоковероятные множества постоянного дискретного источника
- •1.8. Энтропия источника без памяти как скорость создания информации
- •1.9. Избыточность источника непрерывных сигналов. Количество информации в непрерывном канале
- •1.10. Скорость передачи информации и пропускная способность в непрерывном канале
- •2. Кодирование информации
- •2.1. Неравномерное кодирование с однозначным декодированием
- •2.2. Оптимальные неравномерные двоичные коды
- •2.3. Кодирование для исправления ошибок: Основные положения
- •2.4. Постановка задачи кодирования
- •2.5. Прямая теорема о кодировании в канале с шумами
- •2.6. Обратная теорема кодирования
- •2.7. Основная теорема Шеннона, ограничение возможностей использования оптимального кодирования на практике
- •3. Коды, исправляющие ошибки
- •3.1. Блоковые и сверточные коды
- •3.2. Хеммингово расстояние, Хемминговы сферы и корректирующая способность
- •3.3. Линейные блоковые коды
- •3.4. Порождающая и проверочная матрицы. Кодирование с помощью матриц g и н
- •3.5. Декодирование по стандартной таблице
- •3.6. Циклические коды
- •3.7. Кодирующие устройства циклических кодов
- •3.8. Декодирование циклических кодов по синдрому
- •3.9. Мажоритарное декодирование
- •4. Энтропия в контексте защиты информации от помех при передаче по каналу связи
- •4.1. Меры искажения. Постановка задачи защиты информации от помех при передаче по каналу связи
- •4.2. Свойства функции скорость-искажение
- •4.3. Простые примеры вычисления функции скорость-искажение
- •4.4. Функция скорость-искажение для гауссовских последовательностей
- •4.5. Эпсилон-производительность источника
- •4.6. Дифференциальная энтропия
- •4.7. Свойства дифференциальной энтропии
- •4.8. Эпсилон - энтропия источника сообщений
- •4.9. Обратная теорема кодирования для дискретного постоянного источника при заданном критерии качества
- •4.10. Прямая теорема кодирования с заданным критерием качества
- •4.11. Аксиоматическое введение в теорию энтропии вероятностных схем
- •4.12. Энтропия и условная энтропия объединенной вероятностной схемы и их свойства
- •Заключение
- •Библиографический список
- •Оглавление
- •394026 Воронеж, Московский просп., 14
4.4. Функция скорость-искажение для гауссовских последовательностей
В предыдущем параграфе по сути дела вычислялась функция скорость- искажение для случайных величин, а теперь мы должны сначала рассмотреть случайные векторы, а затем и случайные процессы. При вычислении дифференциальной энтропии произвольного вектора мы воспользовались тем, что: а) при линейном преобразовании гауссовского вектора изменение его дифференциальной энтропии зависит от определителя матрицы преобразования; б) из случайного вектора с заданной корреляционной матрицей с помощью линейного преобразования можно получить вектор с независимыми компонентами; в) гауссовский вектор имеет наибольшую дифференциальную энтропию среди векторов с заданной корреляционной матрицей. Эти знания будут использованы ниже при вычислении функции скорость-искажение.
В данном параграфе рассматривается только квадратическая мера качества, и в качестве первого шага подсчитаем функцию скорость-искажение для последовательности независимых (но не обязательно одинаково распределенных) гауссовских с.в. с совместной плотностью
),
где
Нам предстоит минимизировать взаимную информацию при условии, что среднеквадратическая ошибка на один символ не превышает заданной величины D. Получаем
(4.31)
Введем обозначение для ошибки вi-й компоненте вектора х.
(4.5)
Понятно, что неравенства можно обратить в равенства соответствующим выбором условного распределения .
Нужно теперь отыскать минимум правой части (4.5) по всем неотрицательным таким, что
(4-33)
Заметим теперь, что введение дополнительного ограничения
(4.34)
не приводит к потере минимума. Действительно, предположим, что минимум достигнут при таком наборе что при некоторомi имеем и при некоторомj имеет место .Очевидно, замена на и сохраняет ошибку неизменной, уменьшая слагаемое с номеромj в правой части. Следовательно, выбор неоптимален.
Заметим теперь, что правая часть (4.5) выпукла как функция аргументов поскольку она является суммой выпуклых функций. Поэтому любое выравнивание значений (не нарушающее ограничений) приводит к уменьшению суммы. Отсюда следует, что минимум суммы будет достигаться в том случае, когда все одинаковы. При этом они должны быть равны некоторому такому, чтобы выполнялось. Окончательный результат сформулируем .в в ix де с л е дующей теоремы.
Теорема. Для гауссовского вектора с независимыми компонентами, имеющими дисперсии при квадратической мере искажения функция скорость-искажение вычисляется по формуле
(4.35)
Где выбираем таким, что
(4.6)
Полученные соотношения заслуживают дополнительного обсуждения. Прежде всего, заметим, что как средняя ошибка для вектора, так и средняя ошибка для отдельных компонент будет не больше . Это означает, что при заданных требованиях к средней ошибке D все компоненты, дисперсия которых меньше D, игнорируются, и при кодировании нужно принимать во внимание только компоненты с большой дисперсией. Это правило подсчета затрат на кодирование получил название "обратного принципа заполнения водой". Объяснение такого названия будет дано ниже после того, как полученные результаты будут обобщены на гауссовские случайные процессы.
Рассмотрим теперь гауссовский векторx = (x1,x2, ...,xn) с произвольной корреляционной матрицейKn. Напомним, что с помощью ортогонального преобразования (умножения на матрицу из собственных векторов) из х можно получить вектор с независимыми компонентами с дисперсиями, равными собственным числам матрицы Kn
Напомним, что при взаимно однозначном преобразовании ансамблей средняя взаимная информация не изменяется. Кроме того, ортонормированное преобразование векторов сохраняет расстояние между векторами. С помощью этих аргументов легко приходим к следующему утверждению.
Теорема. Для n-мерного гауссовского вектора с корреляционной матрицей Kn, при квадратической мере искажения функция скорость- искажение вычисляется по формуле
(4.7)
где - собственные числа Kn, а выбирается таким, что
(4.8)
Перейдем теперь к наиболее важному случаю, когда наблюдаемая на выходе источника последовательностьx1,x2,... - стационарная гауссовская с корреляционной функцией . Спектральная плотность мощности
и сформулирована теорема, связывающая дифференциальную энтропию процесса с его спектральной плотностью мощности.
Повторим, что если разбить область значений на достаточно малые интервалы, то интегралы от по этим интервалам характеризуют энергию процесса в соответствующих спектральных диапазонах. При этом в силу свойств преобразования Фурье случайные значения сигналов в этих диапазонах асимптотически (с увеличением n) некоррелированы. Для гауссовских процессов некоррелированность эквивалентна независимости. Поэтому к сигналам в частотных поддиапазонах можно применить теорему. Эти рассуждения могут служить эвристическим обоснованием следующей теоремы.
Теорема. Для стационарного гауссовского процесса с ограниченной и интегрируемой спектральной плотностью мощности , при квадраггшческой мере искажения функция скорость-искажение вычисляется по формуле
(4.9)
где выбирается таким, что
(4.10)
Рис. 4.5. Функция скорость-искажение для гауссовского источника
Интерпретация вычислений показана на рис. 4.5. Представьте себе, что на гладкую поверхность воды опускается крышка неправильной формы. Благодаря принципу сообщающихся сосудов уровень воды поддерживается постоянным, в нашем случае этот уровень, в нашем случае этот уровень определяется значением параметра .Эту графическую интерпритацию называют "принципом заполнения водой".
При вычислении интегрирование выполняется в тех интервалах частот , где спектральная плотность превышает уровень .