0. 3.1 Метод кодирования равномерным кодом

Чтобы уменьшить избыточность, содержащуюся в ансамбле Xисточника информации, создается новый ансамбльYсимволов, энтропия которой близка к максимальному значению. Затем с помощью элементов ансамбляYсоставляются сообщения из ансамбляX.

Рассмотрим модель передачи информации с использованием кодера и декодера источника сообщений. Источник генерирует сообщения из ансамбля , состоящего из элементов., образующих полную группу событий и появляющихся с некоторыми вероятностями. Кодер источника использует ансамбльY, состоящий из двух символов - (0, 1).

Существуют различные методы кодирования. Одним из них является метод, когда все элементы ансамбляX представлены одним и тем же числом элементов

ансамбля Y. Такое кодирование называется равномерным. Число возможных сообщений, которые кодируются двоичнымразрядным кодом, равно. Например, при кодировании четырёхразрядным кодом можно закодировать 16 сообщений. Кодовое дерево (граф ) изображено на рисунке 3.2.

Однако число кодируемых сообщений может быть меньше, чем . Тогда используются не все коды и возникает избыточность при кодировании равномерным кодом. С другой стороны, не учитываются вероятности реализации сообщений, составляющих ансамбль.

Пример 3.2. равномерного кодирования приведён в таблице 3.2. Все элементы ансамбляXрасположены в первой колонке. Во второй колонке записаны вероятности реализаций соответствующих сообщений. В третьей колонке количество информации, содержащееся в сообщении. В четвёртой колонке представлены двоичные коды, соответствующие сообщениям. В пятой колонке записаны условные вероятности появления символа «1» при реализации соответствующего сообщения

,

где - общее число символов, употребляемых для кодирования-го сообщения,

- число «1» в-ом сообщении.

Для того чтобы закодировать двоичным кодом девять сообщений необходимо четыре двоичных разряда, (;m= 4 ).

Таблица 3.2
1	2		3	4	5
Анс-ль	Вер.			Коды	Условн. вер.
	0.20		2.32193	0001	1/4
	0.2		2.32193	0010	1/4
	0.19		2.39593	0011	2/4
	0.15		2.73697	0100	1/4
	0.10		3.32193	0101	2/4
	0.08		3.64386	0110	2/4
	0.06		4.05889	0111	3/4
	0.01		6.64386	1000	1/4
	0.01		6.64386	1001	2/4
			2.79465

Кодовое дерево, отображающее коды при равномерном кодировании, представлено на рисунке 1.2.

Максимальная энтропия ансамбля X , в соответствии с теорией, равна

= 3.16993.

Энтропия ансамбля Xравна=2.79465.

Коэффициент избыточности ансамбля Xравен

== 0.881615 ,

коэффициент сжатия ансамбля Xравен

=0.118385.

Рассмотрим ансамбль . Максимальная энтропия ансамбляYравна

= 1.

Используя формулу полной вероятности, вычисляется вероятность реализации символа «1» при кодировании элементов ансамбляX ‘символами ансамбля Y.

= 0.375.

Вероятность реализации символа «0» равна соответственно

=0.625.

Количество информации, содержащееся в каждом символе ансамбля Yравно соответственно

1.41504, 0.678072.

Энтропия ансамбля Yравна

= 0.954434.

Соответственно коэффициент сжатия и коэффициент избыточности будут равны

= 0.954434,=0.045566

Из cравнения коэффициентов сжатия и коэффициентов избыточности ансамблейXиYвидно, произошло увеличение коэффициента сжатия и уменьшение избыточности ансамбляY. Относительные величины равны соответственно

= 1.0826 , = 2.59809.