2.3.2 Непрерывный канал передачи информации

Непрерывный канал передачи информации описывается одномерными и двумерными плотностями распределений вероятностей. Чтобы записать количество взаимной информации между входом и выходом канала связи, используем дискретное представление информации, а затем прейдем к непрерывным величинам.

Совместная вероятность появления символа на входе канала и символана выходе канала равна

,

где и-значенияyиz, удовлетворяющие условиям,,и- границыi-го иj-го интервалов квантования соответственно дляyиz

Вероятность появления символа на выходе канала при условии, что на вход подан символ, равна

.

Количество информации, содержащееся в символе , равно

.

Условное количество информации, содержащееся в элементе , если на вход канала подаётся элемент ансамбля, равно

.

Тогда количество информации, содержащееся в элементе относительно элемента, равно

.

Как видно из последнего выражения, интервалы квантования ине влияют на количество информации, содержащееся в элементеотносительно элемента.

Количество взаимной информации, содержащееся в ансамбле относительно ансамбля, равно

.

Осуществляя в предыдущем выражении предельный переход ,, получим интегральное представление количества взаимной информации, содержащееся в непрерывном ансамблеотносительно непрерывного ансамбля

=

.

Количество взаимной информации, содержащееся в ансамбле относительно ансамбля, равно количеству взаимной информации, содержащееся в ансамблеотносительно ансамбля.

Выразим количество взаимной информации через энтропию ассамблейYиZ. Для этого используем предыдущую формулу

,

где - дифференциальная энтропия на один отсчёт процесса,

- условная дифференциальная энтропия на один отсчёт процессапри известном отсчёте.

Точно так же можно показать, взаимная информация равна

,

где - дифференциальная энтропия на один отсчёт процесса,

- условная дифференциальная энтропия на один отсчёт процессапри известном отсчётеназываетсяненадёжностьюканала связи.

Рассмотрим -энтропию помехив непрерывном канале связи. Сигналы на входе и выходе канала связи и помеха описываются линейной зависимостью, в которой каждая составляющая является непрерывной случайной величиной со своей плотностью распределения вероятности. Условная энтропияимеет вид:

.

Положим, плотность распределения вероятности шума известна и равна . В условной плотности вероятностивеличинаyсчитается известной. Тогда случайная величинапри известной величинеy зависит только от шума и имеет место, откуда получим

.

Из этого выражения видно, что условная плотность зависит только от шума. В результате получим

,

т.е. условная энтропия на один отсчёт равна энтропии шумана один отсчёт.

2.3.3 Эпсилон-энтропия (ε-энтропия)

Наличие помехи в канале связи ухудшает качество восстанавливаемого сигнала. Возникает вопрос, до какой степени можно допустить искажение сигнала помехой, чтобы можно было сказать, сигнал, поступивший в канал связи и вышедший из канала связи идентичны Критерии отождествления двух сигналов могут быть самыми различными. Необходимо ввести расстояние между элементами ансамблейи. Мерой идентичности ансамблейинаиболее часто берут математическое ожидание квадрата расстояния между элементами ансамблейи:

В качестве критерия «сходства» ансамблей ипримем выполнение неравенства

(2.21)

где - заранее заданная допустимая мера отклонения «сходства» ансамблейи.

Заданную меру «сходства» необходимо обеспечить при минимальном количестве меры информации. Ввиду того, что

,

aпри отсутствии шума, то необходимо минимизироватьпо всем возможным распределениям плотности вероятности .

Минимальное значение меры информации при выполнении условияназываетсяэпсилон-энтропией (ε-энтропия) непрерывного ансамбля

. (2.22)

Понятие -энтропия введено Колмогоровым А.Н. [Колмогоров А. Н. Теория информации и теория алгоритмов.— М.: Наука, 1987.-304 с.(стр.46)

Если на входе канала связи мощность сигнала ограничена величиной , значения сигнала находятся в интервале, то энтропияне превышает энтропию нормального закона распределения вероятности. Энтропия нормального закона распределения вероятности равна. Условная энтропиязависит только от шума и принимает максимальное значениепри нормальном распределении шума мощностью, не превышающей. Учитывая значения безусловной и условной энтропий, получим

.

Положим, источник генерирует сообщения со скоростью [].

Тогда ε-призводительностью источника сообщений называется величина

. (2.23)

Если учесть, что интервал дискретизации есть величина обратная полосе частот, занимаемая сигналом, то, согласно теореме Котельникова, получим

, (2.24)

где - полоса частот, занимаемая сигналом источника, приходящаяся на один отсчёт.

Максимальная ε-призводительность источника сообщений будет тогда, когда значения сигналараспределены по нормальному закону с известной дисперсией,

,

.

Формулы (2.23) и (2.24) показывают, с какой скоростью можно генерировать информацию, чтобы восстановить сообщения с погрешностью, не превышающей .