ИНФОРМАЦИОННАЯ ТЕХНИКА. ЧАСТЬ 3.

Королев С.А.

каф. 2

Литература:

Темников Ф.Е. и другие «Теоретические основы информационной техники» М. «Энергия», 1979г.

Филипчук Е.В., Пахомов С.В. «Теория информации и помехоустойчивое кодирование» М. МИФИ, 1989г.

Филипчук Е.В., Королев С.А. «Оценки эффективности алгоритмов обработки информации» М. МИФИ, 1985г.

Филипчук Е.В., Королев С.А. «статфильтрации в ИИС» М. МИФИ, 1987г.

Куликовский Л.Ф., Мотов В.В. «Теоретические основы информационных процессов» М. «Высшая школа», 1982г.

Сергиенко А.Б. «Цифровая обработка сигналов» СПб. «Питер», 2007(8)г.

Информационная теория сигналов и систем Информационные характеристики сигналов, каналов связи и систем контроля

Обобщенная структура ИИС

Существуют два подхода к оценке неоднозначностей преобразователей:

1. Оценка погрешности преобразований

2. Оценка информационных характеристик сигналов и преобразователей

1. Оценка погрешности (предмет метрологии)

Для непрерывных сигналов можно использовать условные плотности вероятности и далее оценить погрешность:

Для заданного значения :

Или в среднем по множеству значений :

2. Оценка информационных характеристик сигналов и преобразователей

В ИИС, а также в системах хранения и обработки информации используют различные меры оценки информационных характеристик.

Информационные меры соответствуют трем основным направлениям в теории информации:

1. Структурная теория информации рассматривает дискретное строение массивов информации и их измерение методом подсчета информационных элементов-квантов (дискретные модели информационных комплексов, а также элементы алфавитов в числовых системах)

• геометрические меры

• комбинаторные меры

• аддитивные меры (Хартли)

- число квантов

2. Статистическая теория информации оперирует мерами неопределенности сигналов, систем и их изменений в процессе оптиапреобразований.

3. Семантическая теория учитывает ценность или существенность информации.

Статистическая теория информации

Статистическая теория информации рассматривает пространство дискретных сигналов с конечным множеством состояний.

Пусть имеем преобразователь или канал связи.

Графическая модель:

В общем случае ,

но мы будем считать,

что

Для однозначного преобразования:

При наличии шумов возможны искажения сигналов, порождающие условные вероятности

или

Математической моделью преобразователя/канала может быть матрица:

Для полного описания необходимо знать вероятность .

Для однозначного преобразования:

Для оценки взаимосвязи статистических ансамблей и вводится мера количество информации

Шеннон предположил меру количества информации в паре ( ) частное количество информации:

с точностью до множителя

Логарифмическая мера выбрана в связи с тем, что позволяет реализовать предположение, что количество информации от нескольких источников (независимых) обладает свойством аддитивности (например, 2 символа в сигнале).

Для однозначных преобразований:

Для независимых и :

Вывод, вытекающий из концепции определения количества информации: если полученное значение сигнала не зависит от значения входного сигнала, то

Среднее количество информации

– вероятность появления

– количество информации

Случай однозначного преобразования :

Замечания:

может иметь любой знак.

. Докажем это.

Учтем свойство:

Тогда:

Равенство при т.е. при отсутствии связи, что понятно. Что требовалось доказать.

Информационная энтропия

Информационная энтропия – это мера разнообразия сигналов или состояния системы (разнообразие неопределенность).

Концепция определения информационной энтропии:

• главная особенность (природа) случайных событий заключается в отсутствии уверенности в их наступлении,

• любое сообщение имеет смысл, если мы заранее не знаем состояние системы,

• сведения о системе, получаемые в результате приема-передачи сообщения, будут тем больше, чем больше была неопределенность состояния системы.

Аналогия с термодинамической энтропией: согласно второму закону термодинамики, энтропия замкнутой системы (Больцман):

Где - общее число молекул,

- число молекул со скоростями

Частота событий:

Тогда:

Учитывая переход :

Возвращаемся к энтропии ансамбля значений сигнала, принимаем:

• совпадает со средним количеством информации при однозначном преобразовании сигнала.

Теорема: имеет вид:

Если требуется выполнение следующих условий:

• Энтропия максимальна, если все состояния системы равновероятны.

• Энтропия объединения стат. зависимых событий определяется суммой энтропий, где энтропия каждой последовательной системы определяется как:

• Добавление к множеству состояний системы любого количества невозможных состояний не изменяет энтропию системы.

Энтропия равномерно распределенного сигнала

Энтропия ансамбля значений сигнала не превышает энтропию равномерно распределенного сигнала. Для доказательства воспользуемся свойством:

Следовательно, имеем:

Что требовалось доказать.

Вывод: для того, чтобы иметь возможность передать тем же набором сигналов максимально возможную информацию, надо стремиться, чтобы значения сигналов были равновероятны.

Основные свойства энтропии

1. Энтропия есть величина вещественная, ограниченная и неотрицательная

2. Энтропия равна нулю тогда и только тогда, когда все вероятности состояний, кроме одной, равны нулю, а эта единственная, соответственно, равна единице.

3. Энтропия максимальна, если все состояния системы или элементов сообщения равновероятны:

4. Энтропия объединения статистически независимых сообщений определяется суммой энтропий каждого сообщения (теорема сложения энтропий)

Или в общем виде:

Условная энтропия

Условная энтропия по определению есть энтропия, определенная при условии, что стали известны исходы (состояния) , усредненные по этим исходам:

Для фиксированного значения условная энтропия:

- это есть случайная величина, усредним ее по величине с вероятностями

т.к. , то

Смысл условной энтропии состоит в том, какую энтропию имеют (дают) сообщения , когда уже известна энтропия .

Свойства условной энтропии

1. Если и статически независимы, то

2. Если и статистически четко связаны (функциональная связь), то

0

Это обозначает, что сообщение не несет никакой новой информации, кроме той, что содержится в сообщениях .

3. Энтропия системы (сообщений) никогда не возрастает вследствие получения знаний состояния системы , т.е.:

При этом смотрите свойство 1: для статистически независимых ансамблей.

4. 

5. 

6. 

7. 

8. 

Энтропия непрерывных сообщений

Для сообщений с дискретным множеством состояний мы определили энтропию в виде суммы. Обобщим выражение энтропии для непрерывных сигналов.

– для дискретных сигналов.

Если – непрерывный сигнал, то

Т.е. если непрерывный сигнал представить дискретным с шагом , то

Запишем энтропию непрерывного сигнала:

При :

Т.к.

Дифференциальная энтропия или ядро энтропии :

Рассмотрим сигнал, равномерно распределенный на интервале .

Для него энтропия:

Таким образом, дифференциальная энтропия может быть определена, как разность энтропий сигнала с распределением и сигнала с равномерным распределением на интервале , т.е.

Иногда дифференциальную энтропию называют

• Относительной энтропией

• Предельной энтропией

По аналогии с дискретными ансамблями, вводится условная энтропия непрерывных сигналов (имеется в виду дифференциация энтропии). При этом, как и для дискретного случая:

Принцип экстремума энтропии

Определим виды функций плотности распределения вероятности , обеспечивающие max при определенных ограничениях. Это имеет важное значение для оценки max скорости передачи информации при наличии помех.

1. Область изменения неограниченна, а дисперсия задана, т.е.:

(задана)

Это случай ограничения мощности сигнала.

Вариационная задача с ограничениями

Решение дает нормальный закон распределения.

Найдем энтропию сигнала. Учитываем, что:

2. Область возможных значений ограничена интервалом , а дисперсия произвольна.

Решение – равномерное распределение на . Т.е.:

Напомним, что дисперсия равномерно распределенного сигнала:

Если сравним два сигнала – нормальный и равномерно-распределенный – с одинаковыми энтропиями, то из

или

Т.е. при одинаковой информативности сообщений средняя мощность сигнала при равномерном распределении амплитуд должна быть на 42% больше мощности сигнала при нормальном распределении амплитуд (например, при сообщениях с амплитудной модуляцией).

 - энтропия непрерывного сигнала

Задача: Найти минимальное количество информации, необходимой для воспроизведения сигнала с СКО, не привышающей .

Имеем

Пусть - нормально распределен.

Задача сводится к максимизации . Решение вариационной задачи дает нормальное распределение ; т.к. - нормальное, то

.

Тогда . Следовательно, – энтропия:

Примечание: Вместо можно использовать полные энтропии.

Энтропия квантованного сигнала

При равномерном квантовании . На практике, в виду малости , можно считать распределение внутри равномерным.

Предположим нормальность распределения .

Имеет смысл, когда шаг квантования существенен и привышает ошибки измерения, в противном случае квантованием можно принебречь и следует использовать - энтропию .

Количество информации, как мера снятой неопределенности

Для установления связи между информацией и энтропией рассмотрим процесс получения информации.

Для приема сигнала неопределенность его состояния определяется энтропией:

Отметим, что совпадает по виду со средним количеством информации, содержащимся в элементе сообщения.

Далее происходит наблюдение сигнала. Если шумов нет, то после приема мы точно фиксируем сообщение, т.е. значение посланного сигнала. Следовательно, после приема неопределенность становится равной нулю. В этом случае мы можем считать, что полученная информация численно равна априорной энтропии сигнала.

Если имеется шум, то и после акта приема сигнала остается неопределенность, характеризуемая энтропией принятого сигнала. Тогда мы можем считать, количество переданной информации есть

Таким образом понятие энтропии является первичным, количество информации вторичным, определяемым как мера изменения неопределенности, т.е. энтропии.