Васюков В_Н_ Теория электрической связи_

8.5. Помехоустойчивое кодирование

253

ром символе имела место ошибка, декодер может ее исправить,

прибавив (по модулю 2) к ошибочному символу единицу. Поэтому код Хэмминга принадлежит к кодам, исправляющим ошибки, или

корректирующим.

Границы корректирующей способности кода Хэмминга иллю-

стрируются следующим примером.

Пример 8.9. Предположим, что при передаче разрешенной кодовой комбинации 0100111 произошли две ошибки, скажем, в третьем и пятом символах, так что принята комбинация 0110011. Найдем синдром:

		1		0	1
			1	1	1
			1	1	0
0 1 1 0	0 1 1		0 1		1		0 1 0 .
			1	0	0
			0	1	0
			0	0	1

Синдром указывает на 6-й символ, как на ошибочный. Таким образом, в случае двукратной ошибки факт ошибки обнаруживается (синдром оказывается ненулевым), но исправить ее нельзя, так как синдром оказывается таким же, как в случае однократной ошибки в другом символе. Итак, код Хэмминга (7,4) обнаруживает одно- и двукратные ошибки и исправляет однократные. ◄

Помехоустойчивость рассмотренного кода Хэмминга просто объясняется с геометрической точки зрения. Легко убедиться, что расстояние между любыми двумя разрешенными комбинациями этого кода не менее 3. Поэтому при приеме запрещенной комбинации она заменяется той разрешенной комбинацией, расстояние до которой равно 1. Двукратная ошибка отдаляет принимаемую комбинацию на расстояние, равное 2, что и приводит к ошибочному «исправлению» ошибки. При этом «исправляется» один символ, поэтому «исправленная» комбинация отстоит от принятой на расстояние 1.

Коды, обнаруживающие ошибки, но не исправляющие их, мо-

гут использоваться в системах с решающей обратной связью (системах с переспросом [10]). В таких системах при обнаружении

ошибки во время декодирования по каналу обратной связи передается сигнал переспроса, и тогда передающее устройство повторяет передачу забракованной комбинации.

254	8. ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ

В заключение отметим, что при решении вопроса о целесообразности помехоустойчивого кодирования и выборе помехоустойчивого кода следует руководствоваться критерием скорости передачи информации при заданной достоверности. Дело в том, что введение избыточных символов приводит к увеличению времени передачи кодовой комбинации или к укорочению элементарных посылок, что ведет к повышению вероятности ошибочного приема символа. Поэтому применение помехоустойчивого кодирования или некоторого конкретного кода может оказаться нецелесообразным.

8.6.ИНФОРМАТИВНОСТЬ НЕПРЕРЫВНЫХ ИСТОЧНИКОВ СООБЩЕНИЙ

Наряду с дискретными источниками сообщений часто встречаются непрерывные источники, которые вырабатывают сообщения, обычно описываемые функциями, принимающими значения из непрерывного множества. Ярким примером непрерывного сообщения является речевое сообщение, описываемое вещественной функцией непрерывного времени. Значение непрерывного сообщения в некоторый отдельный момент времени представляет собой непрерывную случайную величину x , описываемую функцией

распределения

F(x) Ρ x ,

где – реализация случайной величины x , или плотностью рас-

пределения

w(x) dF(x)/ dx .

Очевидно, введенное ранее понятие энтропии неприменимо к непрерывному источнику, так как неопределенность относительно любого конкретного значения непрерывной случайной величины равна бесконечности.

Действительно, разобьем область определения непрерывной случайной величины ( , ) на отрезки одинаковой длины x и

пронумеруем их при помощи индекса i , . Поставим в соответствие каждому отрезку значение xi , равное его середине, и ве-

роятность P(xi ) , равную вероятности попадания в данный интер-

вал исходной непрерывной случайной величины x . Таким образом

получается дискретная случайная величина, которая тем точнее описывает непрерывную случайную величину, чем меньше интервал x .

8.6. Информативность непрерывных источников сообщений

255

Для этой дискретной случайной величины можно записать энтропию

H (X ') P(x'i )log P(x'i ) .

i

Подставив вместо вероятности P(x'i )

ее приближенное значе-

ние w(x'i )

x , получим в пределе при x 0

H (X ) lim

H (X ') lim

w(x'i ) xlog w(x'i )

x

x 0

x 0

i

lim

w(x'i )log w(x'i )

lim

x

x

w(x'i )log

x

x 0

i

x 0

i

	w(x)log w(x)dx lim log	x .
	x 0

Из полученного выражения следует, что энтропия непрерывного распределения равна бесконечности за счет второго слагаемого, которое одинаково для всех непрерывных распределений, задан-

ных на интервале ( , ) . «Индивидуальность» распределения

определяется первым слагаемым, которое и используют в качестве

меры информативности непрерывного источника и называют от-

носительной, или дифференциальной энтропией

h(X ) w(x)log w(x)dx .

Дифференциальная энтропия, в отличие от энтропии дискретного источника, самостоятельного смысла не имеет и служит для сравнения информативности различных непрерывных источников между собой [10].

Пример 8.10. Дифференциальная энтропия источника, описы-

				1			e	x m 2
ваемого гауссовской плотностью вероятности w(x)								2 2	,
				2
равна
			1
h(X )	w(x)log w(x)dx	w(x)log		dx
			w(x)

256										8.		ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ
												loge				2
						2 2								x m
		w(x) log										2	2			dx
					w(x)dx loge									x m 2w(x)dx
log		2 2
										2		2
								loge
			log		2	2							log 2 e			2	.
										2

Отметим, что дифференциальная энтропия нормального распределения не зависит от математического ожидания и она тем больше, чем больше дисперсия. Это вполне соответствует пониманию дифференциальной энтропии как меры неопределенности, которая, очевидно, возрастает с ростом дисперсии случайной величины. ◄

Определим взаимную информацию двух непрерывных случайных величин x и y . Разобьем области их значений на интервалы

x и y , перейдем к дискретным случайным величинам x и y ,

после чего воспользуемся формулой (8.7) и выполним предельный переход:

p(xi , y j )

I(X , Y ) lim

p(xi , y j )log

i

j

p(xi ) p(y j )

y 0

x 0

w(xi , y j ) x y

lim

w(xi

, yi ) x

y log

i

j

w(xi ) xw(y j )

y

y 0

x 0

w(x, y)

w(x, y)log

dxdy .

w(x)w(y)

Полученное выражение можно переписать следующим образом:

			w(x, y)log w(y)w(x | y) dxdy
	I(X , Y)
				w(x)w(y)
	w(x, y)log w(x)dxdy			w(x, y)log w(x | y)dxdy

h(X ) h(X |Y) ,

8.6. Информативность непрерывных источников сообщений

257

где h(X |Y)	w(x, y)log w(x | y)dxdy – условная дифферен-

циальная энтропия.

Эпсилон-энтропия. Энтропия источника непрерывных сообщений, как было показано, равна бесконечности. Это означает по существу то, что для передачи непрерывного сообщения с абсолютной (бесконечной) точностью необходимо передать бесконечное количество информации. В то же время ясно, что на практике это и не требуется, так как любой получатель сообщений обладает ограниченной разрешающей способностью: достаточно воспроизвести сообщение с конечной точностью, характеризуемой некоторым малым числом . При этом количество передаваемой инфор-

мации оказывается конечным и зависит от параметра . В качестве критерия можно использовать, например, средний квадрат разности между принятым x(t) и переданным x(t) сообщениями

2 (t) x(t) x(t) 2 .

При этом сообщения считаются эквивалентными, если 2 (t) не

превосходит заданного уровня 02 .

Средняя взаимная информация между x(t) и x(t)

I (X , X ) h X h(X | X )

зависит не только от свойств сообщения x(t) , которыми определя-

ется дифференциальная энтропия, но и от							. Величина
H	(X )				h(X )			(8.12)
			min I(X , X )				max h(X | X ) ,

где минимум выбирается по всем возможным условным распреде-
								эпсилон-
лениям w		x | x		, для которых		0	, называется

энтропией. Это минимальное количество информации в сообщении x(t) о сообщении x(t) при условии, что они эквиваленты в смысле

критерия . Положим

X (t) X (t) (t) ,

тогда условная дифференциальная энтропия h(X | X ) при известном x(t) полностью определяется дифференциальной энтропией

258	8. ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ
h( )	отсчета шума воспроизведения	(t) . При этом

max h X | X max h . Поскольку мощность шума воспроизве-

дения ограничена значением 02 , очевидно, что дифференциальная энтропия h( ) максимальна, когда отсчет (t) – гауссовская слу-

чайная величина с нулевым средним, и это максимальное значение равно

max h( ) log

2 e 02

.

(8.13)

Подставляя это выражение в (8.12), получим

H (X ) h(X ) log 2 e 02 .

Эпсилон-энтропия максимальна для гауссовского источника с дисперсией 2x :

											1		2
H	(X )		log 2 e		2		log 2 e		2			log	x	.	(8.14)
					0				0		2		2
													0

8.7.ПРОПУСКНАЯ СПОСОБНОСТЬ НЕПРЕРЫВНОГО КАНАЛА С АДДИТИВНЫМ БЕЛЫМ ГАУССОВСКИМ ШУМОМ

Пусть колебание z(t) на выходе непрерывного канала пред-

ставляет собой сумму сигнала x(t) и шума	(t) :
z(t) x(t) (t) ,	(8.15)

причем сигнал и шум статистически независимы. Предположим, что канал имеет полосу частот, ограниченную частотой Fк , и дей-

ствует в течение временного интервала T . Тогда согласно теореме отсчетов каждый процесс, входящий в выражение (8.15), может

быть представлен совокупностью M 2FкT отсчетов. Совокуп-

ность отсчетов сигнала, которую можно представить вектором x x1, x2,..., xM , имеет совместную плотность распределения веро-

ятностей w(x) w(x1, x2,..., xM ) ; статистические свойства шумово-

го вектора	ξ 1, 2,..., M описываются совместной ПРВ
w(ξ) w 1,	2 ,..., M .

8.7. Пропускная способность непрерывного канала…			259
Пропускную способность непрерывного канала определим как
C lim	1	max I(X , Z) ,	(8.16)
T T w(x)

где I(X , Z) – количество информации о реализации сигнала x(t)

длительности T , содержащееся (в среднем) в реализации процесса z(t) той же длительности (максимум ищется среди всевозможных

распределений w(x) ).

Средняя взаимная информация сигнала и наблюдаемого процесса равна

I(X , Z) h(Z) h(Z | X ) .

(8.17)

С учетом (8.15) условная плотность распределения вероятности w(z | x) w(ξ) , а условная дифференциальная энтропия

h(Z | X )	...	w(z, x)log w(z | x)dz h( ) ,	(8.18)

где – обозначение векторной случайной величины, составленной из шумовых отсчетов. Таким образом, с учетом (8.16), (8.17) и (8.18) пропускная способность непрерывного канала с аддитивным шумом

C	lim	1	max h(Z) h(	) .	(8.19)
	T T w(x)

Пример 8.11. Рассмотрим пропускную способность непрерывного канала с аддитивным квазибелым гауссовским шумом,

имеющим одностороннюю спектральную плотность мощности N0 в полосе частот от 0 до Fк . Отсчеты шума статистически независимы, и дифференциальная энтропия

		F T log 2 e	2 F T log 2
h( ) 2F T log	2 e 2			eP	, (8.20)
к		к	к	ш
где Pш 2 N0Fк – мощность (дисперсия) шума.
Дифференциальная энтропия h(Zi )			случайной величины Zi

максимальна, если Zi – гауссовская случайная величина с нулевым средним, а это означает, что Xi – тоже гауссовская случайная величина с нулевым средним. Дифференциальная энтропия совокуп-

260	8. ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ

ности отсчетов максимальна, если отсчеты статистически независимы (это выполняется, так как отсчеты квазибелого шума некоррелированные гауссовские, а значит, независимые), тогда

h(Z) FкT log 2

e(Pc Pш ) .

(8.21)

Подставляя (8.21) и (8.20) в (8.19), получаем формулу Шеннона для пропускной способности непрерывного канала с АБГШ [10]:

				Pc					Pc
	C F log 1					F log 1				.	(8.22)
	к			Pш		к			Fк N0

При расширении полосы пропускания пропускная способность непрерывного канала с АБГШ стремится к пределу

C	Pc	loge 1,443	Pc	.
	N0
			N0

КОНТРОЛЬНЫЕ ВОПРОСЫ

1.В чем состоит цель экономного кодирования?

2.Что такое избыточность дискретного источника?

3.Какой источник обладает минимальной избыточностью и чему равна его энтропия?

4.Может ли равномерный код быть оптимальным (безызбыточным)?

5.В результате применения процедуры экономного кодирования получился троичный код с вероятностями символов 0.5, 0.2 и

0.3соответственно. Можно ли считать такой код оптимальным?

6.Можно ли применять коды, для которых префиксное правило не выполняется?

7.Может ли помехоустойчивый код быть безызбыточным?

8.На чем основано корректирующее свойство помехоустойчивых кодов?

9.Что такое кодовое расстояние?

10.В какой связи находятся порождающая и проверочная матрицы линейного кода?

11.Какой геометрический смысл имеют строки порождающей матрицы?

12.Какова размерность линейного пространства, натянутого на строки порождающей матрицы? Каково количество разрешенных комбинаций кода? Каково количество запрещенных комбинаций?

13.Что такое синдром?

Упражнения

261

УПРАЖНЕНИЯ

1.Рассчитайте для частных случаев, указанных в конце примера 8.2, а также для p0 p1 0.25 условную энтропию согласно (8.4).

2.Даны источники с алфавитами, содержащими по три символа

и с распределениями вероятностей	1	2	3	и	1	2	3 .
	1/ 3	1/ 3	1/ 3		1/ 2	1/ 4	1/ 4

Найдите энтропии источников.

3. Имеются два дискретных источника с матрицами

X x1P p1

x2 , p

2

Y		y	y	y		(верхняя строка матрицы
		1	2	3
Q		q1	q2	q3

содержит символы, нижняя – их вероятности). Определите, какой источник обладает большей неопределенностью в случае, если:

а) p1 p2 , q1 q2 q3 ; б) p1 q1, p2 q2 q3 .

4. По каналу связи передается один из двух символов x1 или x2 с одинаковыми вероятностями. На выходе они преобразуются в символы y1 и y2 , причем из-за помех в среднем два символа из ста

принимаются неверно. Определите среднее количество информации на один символ, передаваемое по такому каналу. Сравните с аналогичной величиной при отсутствии помех.

5. Марковский источник сообщений вырабатывает символы x1 ,

x2 и x3	с вероятностями 0,4 , 0,5 и 0,1 соответственно. Вероят-
ности появления пар заданы таблицей
xi x j		x1x1	x1x2	x1x3	x2 x1	x2 x2	x2 x3	x3x1	x3x2	x3x3
P(xi , x j )		0,1	0,2	0,1	0,2	0,3	0	0,1	0	0

Определите энтропию источника и сравните ее с энтропией ис-

точника без памяти с такими же вероятностями символов. Указание. Энтропия марковского источника первого порядка

при объеме алфавита K находится по формуле

K K

H (X ) P(xj , xi )log P(xi | xj ) .

i 1 j 1

6. Две двоичные случайные величины X и Y имеют совместные вероятности P(x y 0) P(x 0, y 1) P(x y 1) 1/3 .

Найдите H (X ) , H(Y) , H (X |Y ), H (Y | X ) и H (X , Y ) .

262	8.	ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ
7.	Сообщения x1 , x2 , x3 и x4	появляются на выходе источ-

ника с вероятностями 1/2, 1/4, 1/8 и 1/8. Постройте двоичный код Шеннона – Фано и определите вероятности символов 0 и 1, а также среднюю длину кодового слова.

8. Источник вырабатывает два независимых символа 1 и 2

с вероятностями 0,9 и 0,1 соответственно. Постройте коды Хаффмена для отдельных символов и групп по два символа. Найдите и сравните для двух полученных кодов:

−среднюю длину кодового слова,

−избыточность кода,

−вероятность появления символа 0 (1) в кодовой последовательности,

−скорость передачи информации (длительность посылки примите равной 1 мкс).

9. Для условий упражнения 8 постройте код Хаффмена для групп по три символа. Найдите среднюю длину кодового слова, избыточность кода, вероятность появления символа 0 (1) в кодовой последовательности и скорость передачи информации. Сравните с аналогичными показателями для случая кодирования отдельных

символов и групп по два символа.

10.Найдите две разрешенные кодовые комбинации кода Хэмминга (7, 4), не совпадающие со строками порождающей матрицы,

иубедитесь в том, что расстояние между ними не менее трех.

11.Измените в одной из комбинаций два символа, найдите синдром и «исправьте» в принятой комбинации символ, на который он укажет. Найдите расстояние между «исправленной» и принятой комбинациями.

12.Код Хэмминга (7, 4) обнаруживает одно- и двукратные ошибки и исправляет однократные. Считая, что ошибки при приеме двоичных посылок независимы и происходят с вероятностью

p , найдите вероятность появления двукратной ошибки в пределах

7-разрядной кодовой комбинации. Найдите вероятность появления не более чем одной ошибки.