Березкин Основы теории информации и кодирования 2010

Рис. 11.12. Ряд Котельникова

5.1. Отношение мощностей полезного сигнала и помехи увеличивается в n раз в результате n - кратного отсчета

	P			P
	x		n	x	.
	P вых			P вх

В соответствии с условием задачи

	P			a			2
	x					x	16 ,
	P		вых	a вых
	P			a2
	x			x		0,16 .
				2
	P		вх

Следовательно, продолжительность обработки сигнала в при-

емнике должна быть равна Tпр nT 0,1 16 10 с. 0,16

5.2. Так как по условию задачи помеха аддитивна и выборка X представляет одномерную величину, то функции правдоподобия

L ( a 2 ) и L ( a1 ) определяются законом распределения помехи:

271

								1				e		( X a )2
L(a2 ) f ( X / a2 )														2 2		,
										2
								1				e		X 2
L(a1 ) f ( X / a1 )													2 2		.
									2
Отношение правдоподобия при этом
	a 2			X				1
	2			a
e								2 .

Графики функций правдоподобия L ( a 2 ), L ( a1 ) и приведены на рис. 11.13. При использовании критерия максимума прав-

доподобия пороговое значение 0						1. Тогда условие для порого-
вого			значения входного сигнала			будет иметь вид 1 или
	X 1			1	0 .
	П
	a			2
					L(ai )
					L(a1 )	L(a2 )

X a

0 1

X

XП1

Рис. 11.13. Графики функций правдоподобия L(ai ) и отношения функций правдоподобия

272

Таким образом, приемное устройство – это устройство сравнения, сопоставляющее входной сигнал с пороговым уровнем

X П1 a2 . Если амплитуда входного сигнала больше уровня X П1 , в

принятом сигнале содержится полезный сигнал. В противном случае входной сигнал определяется одной помехой.

5.3.Пороговый уровень измерения входного сигнала находится

всоответствии с выражением

X 2		2	ln	P(a1 )	a m .
П		a		P(a2 ) 2

5.4. Пороговый уровень измерения входного сигнала будет иметь вид

X 3		2	ln	r21P(a1 )	a m .
П		a		r12 P(a2 ) 2

5.5. Известно, что пороговый уровень измерения входного сигнала можно определить из соотношения

f ( / a1 )d 0 .

0

Если перейти от отношения функций правдоподобия к одномерной переменной X , то можно получить

f ( X / a1 )dX 0 .

X П

Подставляя выражение для плотности f ( X / a1 ) , получим новое уравнение

		1			X 2
				e	2 2 dX 0 .
			2
X П

Наконец после замены переменных z X получаем оконча-

тельное уравнение для нахождения X П :

273

																																					X П
			1							z2							1									z2								1						z2
							e				dz												e					dz									e					dz
										2																2														2
			2 X П														2 0																	2		0
																	1								X			П
																				F														0	,
																	2
													X П
			X							1								z	2
				П
где F													e				2				dz – интеграл вероятности.
										2
												0
																	X		П					1
По условию задачи F																														0		0,45 .
																								2
																																							X П
По таблицам интеграла вероятности находим																																									1,65 , отку-

да искомый пороговый уровень X П 1,65 2,06 .

5.6. Вектор отсчетов помехи ( 1 , 2 ) определяется двумерной плотностью распределения вероятностей f ( ) f ( 1 2 ) .

Полагая помеху стационарной и отсчеты некоррелированными, можно двумерный нормальный закон распределения помехи представить в виде

										2		k m 2
									2
						1				k 1
												2 2
f ( ) f (	1	) f (	2	)						e		.
							2

Тогда для двумерного вектора отсчетов X (x1 , x2 ) при разных гипотезах закон распределения примет вид

															2	2
																		m )]2
																	[xk (a
												1					k 1
																	2	2
f ( X / a	2	)	f (x	/ a	2	) f (x	2	/ a	2	)					e			,
			1
													2

274

															2			2
																			(xk m )2
												1					k 1
																				2
		f ( X / a )			f (x	/ a	) f (x	2	/ a	)					e				2			.
		1			1	1			1
													2						f ( X / a2 )
		Наконец, отношение функций правдоподобия																				и
																			f ( X / a )
			r21P(a1 )																	1
	0				позволяют окончательно определить наличие или
			r12 P(a2 )

отсутствие полезного сигнала. Если 0 , то a2 , иначе a1 .

5.7. Условные плотности распределения вероятностей выборки Y {y1 (t), y2 (t)} при разных гипотезах в предположении, что от-

счеты помех			1 (t)	и		2 (t) статистически независимы,																			принима-
ют вид
																			2		2
																							[y		(a m	)]2
																					k 1			k
															1
																									2
f (Y / a	2	)	f ( y	/ a	2	) f ( y	2	/ a		2	)									e					2	,
			1
															2
																				2	2
																								(yk m )2
															1							k 1
																									2
f (Y / a )			f ( y / a ) f ( y					2	/ a			)								e				2		.
		1		1		1					1
																2

5.8. Апостериорные вероятности гипотез вычисляются по формуле Байеса, которая в данном контексте задачи выглядит следующим образом

		P(ai ) f (Y / ai )
	P(ai / Y )		, i 1,2 .
		2
		P(a j ) f (Y / a j )

j1

Сучетом условных плотностей распределения вероятностей выборки Y {y1 (t), y2 (t)} при разных гипотезах, полученных в

задаче 5.7, искомые вероятности принимают окончательный вид

P(a1 / Y ) 0,268 , P(a2 / Y ) 0,732 .

275

6.1. Собственная информация некоторого сообщения xk находится в соответствии с выражением J (xk ) log2 p(xk ) .

Следовательно:

а)	J (x	k	) log		5			4		10		3,771 бит;
				2 15						13
							14
					2				1
б)	J (x	k	) log	2	5			10				2,186 бит.
							3
							15

6.2.J (xk ) log 2 (1 p)2 9,288 бит.

6.3.Вероятность p(1) нахождения системы в состоянии 1 нахо-

дится из уравнения	p(1) p(1)		1	p(2)	3	при условии, что
p(1) p(2) 1.			2		4
Тогда J (xk ) log2		p(1) log2 0,6 0,737 бит.

6.4.J (xk ) log2 0,4 1,322 бит.

6.5.J (xk ) log2 366 2,585 бит.

6.6.Энтропия представляет собой математическое ожидание

собственной информации сообщений заданного множества X :

H ( X ) p(xk ) log2 p(xk ) .

X

Учитывая тот факт, что p(xk ) 1 , зависимость будет иметь

X

вид кривой, представленной на рис. 11.14.

6.7. Приведем некоторые количественные меры информации, которые позволят найти ответы на все пункты задачи:

H (Y / X ) p(xk yi ) log2 p( yi / xk ) ,

XY

H ( X ;Y ) p(xk yi )J (xk ; yi ) H ( X ) H ( X / Y )

XY

276

H(Y) H (Y / X ) H(X) H (Y ) H ( XY ) ,

H(XY) p(xk yi ) log2 p(xk yi ) H ( X ) H (Y / X ) ,

XY

J ( X ; yi ) p(xk / yi )J (xk ; yi ) ,

X

J (xk ;Y ) p( yi / xk )J (xk ; yi ) ,

Y

H (Y / xk ) p( yi / xk ) log2 p( yi / xk ) .

Y

H ( X )

1

1

p(x1 )

p(x2 )

Рис. 11.14. Энтропия H ( X ) F[ p(x1 ), p(x2 )]

6.8. Распределение вероятностей взаимной информации приведено на рис. 11.15, функция распределения на рис. 11.16, а взаимная энтропия равна H ( X ;Y ) m J (xk ; yi ) 0,86 бит.

P{J (xk ; yi ) J}

1

61/64

1/64

1/32

J

-4,96		0	0,98

Рис. 11.15. Распределение вероятностей

277

F(J ) P{J (xk ; yi ) J}

1

																		J
		Рис. 11.16. Функция распределения вероятностей
															1		N	1	N	1	N
		H (U ) 1,75 бит,					1,75 ,	p0				n0				2		4		8		.
	6.9.					n
																		7
												n
																		4 N

6.10. Взаимная информация определяет количество информации, которое событие yi содержит в себе о событии xk :

J (xk ; yi ) log2 p(xk / yi ) log2 p( yi / xk ) p(xk ) p( yi )

p(x y )

log2 p(xk )kp(i yi ) .

Исходные данные представим в формализованном виде

Средство ПВО xk	p(xk )	p( y / xk )
x1	1/4	0
x2	1/2	1/2
x3	1/4	1

При необходимости недостающие условные вероятности могут быть найдены при использовании формулы Байеса

	p(xk / y)	p(xk ) p( y / xk )		p(xk ) p( y / xk )	.
		p( y)		p(xk )p( y / xk )
				X
		278

В результате имеем:

0

J (x ; y) log

бит,

2 1/ 2

1

J (x

; y) log

1/ 2

0

бит,

2

2 1/ 2

J (x

; y) log

1

1

бит,

3

2 1/ 2

J (x

2

; z) log

2

p(z / x2 )

log

2

p( y / x2 ) 3

1,322 бит.

3

p(z)

p(xk ) p( y / xk ) 3

k1

6.11.H (U ) H (U ) 81,131 бит.

7.1.Метод конструирования кодовых слов Шеннона–Фано реализует два принципа:

– в каждой позиции кодового слова символы алфавита должны использоваться с равными вероятностями;

– вероятности появления символов в каждой позиции не должны зависеть от расположения всех предыдущих символов.

В табл. 11.1 приводится схема построения множества кодовых слов, а на рис. 11.17 – соответствующее кодовое дерево.

					Таблица 11.1
Сооб-	Вероятности		Символы разрядов
щения				кодовых слов				Кодшф
xk	p(xk )	1		2	3		4
x1	0,3	0		0	-			00
x2	0,2			1				01
x3	0,2			0	0		-	100
x4	0,1				1			101
x5	0,1	1			0			110
x6	0,05			1	1		0	1110
x7	0,05						1	1111

279

		x1				x2				x3					x4				x5 x6					x7
																		1110						1111
	4
									100					101				110
	3																												Конце-
Порядок	2	00				01																							вой узел
	1
узлов
																											Промежу-
																											точный узел
															1
						0
	Рис. 11.17. Кодовое дерево кода Шеннона - Фано
Эффективность кодирования составила
		ЭШФ					H (U )							2,48 0,955 .
						n log2 D
														2,6

7.2. Процедура кодирования приведена на рис. 11.18. Оптимальный троичный код приведен на рис. 11.19 в виде неполного кодового дерева. Код характеризуется следующими параметрами:

				6
	H ( X ) 2,43 ,							n				nk p(xk ) 1,65 ,
												k 1
			Э				H (X )							0,93 .
				nlog2 D
x1	0,3									0,3					0,45			1
																0
x2	0,25										0,25				0,3
																1
x3	0,13								0,2					0	0,25	2
x4	0,12			0,13
														1
x5	0,11				0,12									2
			0
x6	0,09
			1

Код

1

2

01

02

000

001

Рис. 11.18. Процедура оптимального кодирования для D 3

280