8. 5.8. Об основных результатах теории информации

Теория информации приводит к ряду новых понятий, описывающих информационные процессы, происходящие в любых системах, к введению новых количественных параметров, позволяющих проводить измерения и расчеты. Часть этих понятий и величин мы рассмотрели в предыдущих параграфах, некоторые другие опишем ниже. Однако главная ценность теории информации заключается в полученных ею новых результатах, в открытии ранее неизвестных свойств систем.

Чтобы познакомиться с основными из этих результатов, введем еще несколько понятий и параметров информационных процессов и систем.

1. Избыточность

Одной из важнейших характеристик сигнала является содержащееся в нем количество информации. Однако по ряду причин количество информации, которое несет сигнал, обычно меньше, чем то, которое он мог бы нести по своей физической природе; информационная нагрузка на каждый элемент сигнала меньше той, которую элемент способен нести. Для описания этого свойства, сигналов введено понятие избыточности и определена ее количественная мера.

Пусть сигнал длиной в п символов содержит количество информации I. Если это представление информации обладает избыточностью, то такое же количество информации I может быть представлено с помощью меньшего числа символов. Обозначим через n₀ наименьшее число символов, необходимое для представления I без потерь. На каждый символ в первом случае приходится I₁=I/n; бит информации, во втором I_1max=I/n₀ бит. Очевидно, пI₁=n₀I_1max=I. В качестве меры избыточности R принимается относительное удлинение сигнала, соответствующее данной избыточности: R=(n- n₀)n^-1=1- I₁I_1max^-1

В дискретном случае имеются две причины избыточности: неравновероятность символов и наличие статистической связи между символами. В непрерывном случае - это неэкстремальность распределений (т.е. отклонение от распределений, обладающих максимальной энтропией), что в широком смысле сводится к отклонениям от экстремальности распределения первого порядка и от минимальности связи во времени (от равномерности спектра при его ограниченности).

Не следует думать, что избыточность - явление всегда отрицательное. При искажениях, выпадениях и вставках символов именно избыточность позволяет обнаружить и исправить ошибки.

2. Скорость передачи и пропускная способность

Следующим важнейшим понятием является скорость передачи информации. Так называется количество информации, передаваемое в единицу времени. Эта величина определяется по формуле R=Н(Х)-Н(Х|Y), где указанные энтропии исчисляются на единицу времени. В дискретном случае единицей времени удобно считать время передачи одного символа, тогда в формуле (2) фигурируют априорная и апостериорная энтропии на один символ. Для непрерывных каналов единицей времени может служить либо обычная единица (например, секунда), либо интервал между отсчетами; тогда в формулу (2) входят соответствующие дифференциальные энтропии. Для более наглядного представления о величине R укажем, что темп обычной речи соответствует скорости порядка 20 бит/с, муравьи обмениваются информацией путем касания усиками со скоростью около 1/10 бит/с.

Скорость передачи информации по каналу связи зависит от многих факторов-от энергии сигнала, числа символов в алфавите избыточности, полосы частот, способа кодирования и декодирования. Если имеется возможность изменять некоторые из них, то, естественно, следует делать это так, чтобы максимально увеличить скорость. Оказывается, что обычно существует предел, выше которого увеличение скорости невозможно. Этот предел называется пропускной способностью канала: C=sup|_{A}R_A; где R_A - скорость передачи информации при условиях А, {A} - множество вариантов условий, подлежащих перебору. Так как множество {А} можно определить по-разному, то имеет смысл говорить о нескольких типах пропускных способностей. Наиболее важным является случай, когда мощность сигнала (объем алфавита) фиксирована, а варьировать можно только способ кодирования. Именно таким образом пропускную способность определил К. Шеннон [9]. С другой стороны, В.И.Сифоров показал, что целесообразно рассмотреть предел, к которому стремится шенноновская пропускная способность С при стремлении мощности полезного сигнала к бесконечности. Оказалось, что все каналы связи разбиваются на два класса: каналы первого рода (терминология Сифорова), для которых указанный предел бесконечен, и каналы второго рода, имеющие конечную пропускную способность даже при бесконечной мощности передатчика. Этот предел называют собственной пропускной способностью. При других требованиях, предъявляемых к множеству {А}, мы придем к тем или иным условным пропускным способностям.

Для представления о порядках величин C приведем примеры. Прямыми измерениями установлено, что пропускные способности зрительного, слухового и тактильного каналов связи человека имеют порядок 50 бит/с (вопреки распространенному мнению о сильном отличии зрительного канала). Возможно, ограничивающим фактором являются не сами рецепторы, а нервные волокна, передающие возбуждения. Если включить в канал и "исполнительные" органы человека (например, предложить ему нажимать педаль или кнопку в темпе получения сигналов), то пропускная способность близка к 10 бит/с. Интересно отметить, что многие бытовые технические устройства слабо согласованы с органами чувств человека. Например, канал телевидения имеет пропускную способность в десятки миллионов бит/с.