2.5. Информационные характеристики источника и канала.

Возвратимся к ситуации рассмотрения двух ансамблей сообщений и, которые для наглядности ассоциировались с входными сообщениями и выходными наблюдениями канала соответственно. Пусть– средняя длительность передачи одного сообщения, тогда величина

,

характеризующая среднее количество информации, выдаваемое источником в единицу времени, называется производительностьюисточника. В том случае, когда в качестве выходных сообщений источника выступают последовательностиизmэлементарных сообщений, то производительность источника определяется как

.

Рассматривая источник сообщений, было установлено, что средняя неопределенность появления сообщения, а значит, и среднее количество, переносимое им информации, определяется энтропией источника . Своего максимального значения, равного, данная характеристика достигает тогда, когда все элементарные сообщения независимы и равновероятны. Соответственно количество информации, доставляемое сообщениями (или символами) указанных источников будет различно. Пусть, как и прежде, сообщение представляет собой блок изmсимволов, тогда содержащееся в нем количество информации будет. Если же ориентироваться на ансамбль с максимальной энтропией, то для переноса такого же количества информации было бы затрачено меньшее количество символов

,

где называетсяизбыточностьюисточника. Она характеризует допустимую степень сжатия сообщений при использовании источника с максимальной энтропией.

Обратимся теперь к каналу связи, на вход которого поступает последовательность символов , где– входной алфавит, а– множество всех возможных входных последовательностей. Пусть на выходе канала наблюдается некоторая последовательность, а– множество всех выходных последовательностей. Пусть заданы переходные вероятностидля всехи. Тогда согласно (2.14), средняя взаимная информация между входным и выходным ансамблями запишется в виде

,

где .

Назовем средней взаимной информацией между входом и выходом канала, приходящейся на один символ, величину

. (2.30)

Тогда величина

,

характеризующая среднее количество информации, передаваемое в единицу времени, называется скоростью передачи информации. А максимальное количество переданной в единицу времени информации, взятое по всем возможным значениям длинmи распределениям,входных последовательностей

, (2.31)

называется пропускной способностью канала.

В обсуждаемых далее теоремах кодирования для канала данная характеристика играет ключевую роль. Если скорость передачи не превышает этой величины, то, как утверждается прямыми теоремами кодирования, в принципе возможна работа со сколь угодно малой вероятностью ошибки. Смысл обратных теорем состоит в том, что при скоростях, больших пропускной способности, достижение высокой достоверности принципиально невозможно.

21