2.2. Характеристики дискретных источников информации

Определение. Эргодичным источником сообщений называется источник, создающий сообщение, которое математически можно представить в виде эргодичной случайной последовательности, удовлетворяющей условиям стационарности и эргодичности.

Стационарность означает, что вероятности отдельных знаков и их соединений не зависят от расположения последних по длине сообщения. Эргодичность означает, что статистические закономерности, полученные при исследовании одного довольно длинного сообщения с вероятностью, близкой к единице, справедливы для всех сообщений, создаваемых источником.

Стационарный источник сообщений, выбирающий каждый знак формированной последовательности независимо от других знаков, всегда является эргодичным. Его также называют источником без памяти.

Однако чаще встречаются источники, в которых вероятность выбора одного знака сообщения зависит от того, какие знаки были выбраны источником до него (источники с памятью). Поскольку такая связь, как правило, распространяется на ограниченное число предыдущих знаков, то для описания функционирования источника используют цепи Маркова (более подробно см. [10]).

В результате взаимной корреляции букв в употребляемых в текстах буквенных сочетаний происходит дополнительное уменьшение определяемой выражением (1.3) реальной энтропии Н по сравнению максимальной энтропии Н_max. Подстановка значения Н, вычисленного с учетом взаимной корреляции букв, в выражение (2.4) дает дополнительное увеличение численного значения избыточной информации I_n. Указанные свойства письменных текстов наглядно иллюстрируются таблицей искусственных текстов (см. пример 1), полученных путем случайных выборок из реальных текстов отдельных букв или их сочетаний. Вместе с тем, указанная таблица показывает, что вместе с увеличением избыточности увеличивается и упорядоченность (детерминация) текста, достигая в пределе «жесткой детерминации», при которой текст вырождается в повторение одинаковых букв.

Такая взаимосвязь между избыточностью и упорядоченностью текста обусловлена тем, что избыточность текста обусловлена действием грамматических и фонетических правил. Именно этими правилами обусловлена присущая тексту структурность, следовательно, вычисляемое согласно (2.4) количество избыточной информации I_n является одновременно и количеством информации, сохраняемой в упорядоченой структуре текста или любых других структурированных систем :

I_S = H_max – H (2.7)

Для уяснения смысла равенства I_n = I_S, вытекающего из сопоставления выражений (2.4) и (2.7), рассмотрим следующий пример.

Некто получил сообщение, что из яйца вылупился птенец. Для подтверждения того, что это именно птенец, а не малек, сообщается, что у него не плавники, а крылья, не жабры, а легкие и т.п. Разумеется, все это не будет избыточной информацией I_n для всякого, кто знает, чем отличается птенец от малька.

Но та же самая информация о крыльях, легких, клюве и т.п., заложенная в генетический код, регулирует процесс онтогенеза, в результате которого в яйце формируется организм птенца, а не малька. Таким образом, информация I_n, избыточная для осведомленного получателя, оказывается необходимой структурной информацией I_S, когда речь идет об информационном управлении процессами формирования тех или иных упорядоченных структур. Вследствие этого и выполняется условие :

I_n = I_S = H_max – H.

При подстановке в формулу (2.1) реальных значений вероятностей букв русского текста величина реальной информационной энтропии Н_r уменьшается по сравнению с максимальной энтропией, определяемой выражением (1.5).

Пример 1. Учет реальных значений вероятностей букв при передаче письменных текстов позволяет уменьшить избыточность сообщений, передаваемых по каналам связи. Так, например, для избавления от избыточности используется способ кодирования букв алфавита, при котором часто повторяющимся в тексте буквам (т.е. буквам, имеющим наибольшую вероятность, такую, например, как Р_а = 0,062; Р_в = 0,038; Р_е = 0,072; Р_л = 0,035; Р_о = 0,09 и др.) соответствуют или меньшая трата энергии за счет уменьшения величины (амплитуды) сигналов или, увеличенная скорость передачи за счет сокращения числа знаков двоичного кода, соответствующего обозначению указанных букв.

Помимо учета реальных вероятностей букв, для уменьшения избыточности сообщений следует учитывать также вероятности их сочетаний (например, высокую вероятность появления буквы Я после переданного сочетания ТЬС , малую вероятность появления согласной буквы после передачи следующих друг за другом трех согласных букв и т.п.).

Способ формирования «фраз»	№№ пп	"Фразы", полученные на основе статистических свойств русского языка	Стат. характеристики
			Нr (бит)	Is (бит)
При равной вероятности всех букв	1	СУХРРОБЬТ ЯИХВЩИЮАЙЖТЛ-ФВНЗАГФОЕВШТТЦРПХГРКУ ЧЖОРЯПЧЬКЙХРЫС	5,0	0,0
При учете реальных вероятностей:
отдельных букв 3-х - буквенных сочетаний	2	ЕЫНТ ЦИЯЬА СЕРВ ОДНГ ЬУЕМЛОЙК ЭБЯ ЕНВТША ПОКАК ПОТ ДУРНОСКАКА НАКОНЕПНО HE СТВО -	4,3	0,7
	3	ЛОВИЛ СЕ ТВОЙ ОБНИЛ Ь	3,5	1,5
4-хбуквенных сочетаний	4	ВЕСЕЛ ВРАТЬСЯ НЕ СУХОМ И НЕПО И КОРКО	2,9	2,1
8-ми буквенных сочетаний			1,8	3,2
Выборка из реального текста	5	ПРИСВОИВ ДВОИЧНЫЕ НОМЕРА БУКВАМ АЛФАВИТА, МОЖНО ПВРЕВРАТИТЬ ЛЮБОЙ ТЕКСТ В ЧЕРЕДОВАНИЕ ЕДИНИЦ И НУЛЕЙ	1,0	4,0
При РА = 1; РБ =Рв=...=Ря = 0		АААА	0,0	5,0

Пример 2. Определить, является ли эргодичным стационарный дискретный источник сообщений, алфавит которого состоит из четырех знаков . Причем безусловные вероятности выбора знаков одинаковы, а условные вероятности заданы в таблице.

	1/3	1/3	1/3	0
	1/3	1/3	1/3	0
	1/3	1/3	1/3	0
	0	0	0	1

Решение

В условии задачи сказано, что безусловные вероятности выбора знаков одинаковы, т.е. .

Анализируя данные таблицы, замечаем, что источник имеет два режима работы. С вероятностью, равной 3/4 , первым будет выбран один из знаков или, и источник начнет формировать последовательность с равновероятным появлением знаков. Если же первым будет выбран знак (вероятность такого случая равна 1/4), то генерируется последовательность, состоящая только из знаков .

Усреднение по ансамблю допускает наличие множества однотипных источников, приблизительно три четверти из которых будут работать в первом режиме, а остальные – во втором. При этом энтропия источника равна:

бит.

В первом режиме неопределенность, приходящаяся на один знак (энтропия последовательности), равна 1,587 бит, а во втором – нулю. Поскольку статистические закономерности, полученные при исследовании двух режимов работы источника, не могут быть справедливыми для всех создаваемых им сообщений, он не является эргодичным.

Однако, отметим, что всякий стационарный источник сообщений может быть представлен совокупностью нескольких эргодичных источников, отличающихся режимами работы.