Березкин Основы теории информации и кодирования 2010

			m		m
			( yk x j )2		( yk xi )2
	f (Y / x )		k 1		k 1
ij		e		2 2
	i					.
	f (Y / x j )

В случае аналоговой обработки, когда сигнал принимается непрерывно в течение определенного времени T , проделаем некоторые преобразования. Умножим числитель и знаменатель показате-

ля степени экспоненты на t Tm 21fc и перейдем в числителе

показателя степени от суммирования отсчетов к интегрированию в пределах от 0 до T :

		T	T		T
		[ y(t ) x j ]2 dt [ y(t ) xi ]2 dt			2 y(t )( xi x j )dt Ei E j
		0	0		0
		2	/ fc
ij	e			e				P	,
								0
							2
где Ei и E j – энергии сигналов xi				и x j	, P			– мощность по-
					0		fc

мехи, приходящаяся на единицу полосы спектра.

Пологая энергии сигналов xi				и x j одинаковыми, получаем
				T
			2 y(t )( xi x j )dt
				0
	ij e			P0	.
Наконец, решающее правило можно представить в виде
T y(t)xi dt T y(t)x j dt		1 P0 ln 0 '0 ;				i, j		; i j .
							1, n
0	0	2

Структура решающего устройства представлена на рис. 5.14. Устройство содержит наборы генераторов сигналов x1 ,..., xn (Г),

устройств умножения (УУ), интеграторов (И) и схему сравнения

(СС).

На выходе УУ получаются произведения y(t)xi , которые затем

интегрируются T y(t)xi dt . Схема сравнения СС определяет раз-

0

131

ность между различными сочетаниями выходных сигналов интеграторов, сравнивает полученные результаты с порогом '0 и вы-

носит решение в пользу того xi , для которого выполняется ре-

шающее правило. Величина '0 определяется критерием, положенным в основу синтеза решающего устройства. Например,

'0 12 P0 ln

Г

Г

y(t)

УУ УУ

p(a j ) . p(ai )

xi Г

…

УУ

			И		И		…	И
'0										xi
						СС

Рис. 5.14. Структура решающего устройства

5.6. ВОССТАНОВЛЕНИЕ СИГНАЛА

Восстановление сигналов сводится к оценке некоторого числа неизвестных параметров полезного сигнала. Ограничимся рассмотрением случая оценки одного из параметров сигнала, например амплитуды A , при заданной форме сигнала. При этом помеху будем полагать аддитивной типа гауссова шума.

Представим входной сигнал в виде

y(t) x(t) (t) Af (t) (t) ,

где f (t) – известная функция времени; A – параметр сигнала. Задача состоит в том, чтобы по принятой выборке входного

сигнала Y [ y(t1 ), y(t2 ),..., y(tm )]	определить, каково значение
параметра A в полезном сигнале x(t) .
Произведем оценку параметра	A методом максимума правдо-
132

подобия. Если отсчет принятого сигнала производится в дискретные моменты времени, то функция правдоподобия для параметра A будет равна

						m		m
								k 1	[ y(tk ) Af (tk )]2
			1
									2
L( A)	f (Y / A)					e			2	.
				2

Необходимо найти такое значение параметра A , для которого функция правдоподобия L( A) максимальна. Максимуму функции

правдоподобия соответствует минимальное значение ( A) – части показателя степени в выражении L(A) :

		m
	( A) [ y(tk ) Af (tk )]2
		k 1
	m	m	m
		2A y(tk ) f (tk ) A2
	[ y(tk )]2		[ f (tk )]2 .
	k 1	k 1	k 1

Из условия минимума имеем			0 ,
d ( A) 2 y(tk ) f (tk ) 2 A [ f (tk )]2
	m	m
dA	k 1	k 1

откуда получаем оценочное значение параметра полезного сигнала в случае цифровой обработки сигнала

	m
A*	y(tk ) f (tk )
	k 1	.
	m
	[ f (tk )]2
	k 1

Осуществив переход к непрерывному примеру, т.е. аналоговой обработке, получим

A*	T y(t) f (t)dt		T y(t) f (t)dt
	0		0	,
	T		E0
	[ f (tk )]2 dt
	0

где E0 – энергия полезного сигнала при амплитуде A 1; T – время приема входного сигнала.

133

Решающее устройство, осуществляющее операцию оценки параметра сигнала, представлено на рис. 5.15. Устройство содержит генератор сигнала (Г), устройство умножения (УУ), осуществляю-

щее умножение y(t) на f (t) , и интегратор (И), производящий интегрирование произведения.

				y(t) f (t)
y(t)
		УУ				И
									1	T
						*
				f (t)			A			y(t) f (t)dt
									E
									0	0

Г

Рис. 5.15. Решающее устройство

Для оценки точности восстановления сигнала воспользуемся известным соотношением y(t) Af (t) (t) . Тогда

*		A	T	2	1	T	1	T
A			[ f (t)] dt			(t) f (t)dt A		(t) f (t)dt,
		E			E		E
		0	0		0	0	0	0

A* A 1 T (t) f (t)dt.

E0 0

Наконец, относительную погрешность можно найти в соответствии с известным подходом

									1	T
			A* A							(t) f (t)dt
									E
						100 %			0	0			100 % .
			A*							A*

ЗАДАЧИ

5.1. По каналу связи, в котором действует аддитивная стационарная помеха, передается периодическая последовательность прямоугольных импульсов. Параметры полезного сигнала:

a 2 В, период следования T 100 мс. Помеха имеет нормальное распределение. Среднеквадратическое отклонение помехи

134

5 В , математическое ожидание m 0 . Обработка сигнала

на приемной стороне осуществляется методом синхронного накопления (рис. 5.16). Строб поступает синхронно с полезным сигналом и обеспечивает отпирание приемника на время измерения полезного сигнала (рис. 5.17). Определить время обработки сигналов, необходимое для обеспечения превышения сигнала над помехой в

a		4
4 раза	x		.
a
				Фильтр
			Усилитель	Накопитель
y(t) x(t) (t)

Строб

Рис. 5.16. Синхронный накопитель

y(t)	Строб	x(t)	(t)

t

Рис. 5.17. Схема поступления стробов

5.2. Необходимо обнаружить постоянный сигнал величиной a 2 В на фоне аддитивной помехи (рис. 5.18) с нормальным распределением и средним значением, равным нулю. Метод приема – однократный отсчет. Произвести синтез приемного устройства,

135

работающего на основе критерия максимума правдоподобия, и определить пороговый уровень измерения сигнала X П1 .

5.3. Необходимо обнаружить постоянный сигнал величиной a 2 В на фоне аддитивной помехи (см. рис. 5.18) с нормальным

распределением (m 0,1 , 0,5) . Метод приема – однократный отсчет. Произвести синтез приемного устройства, рабо-

тающего на основе критерия	идеального наблюдателя, и опреде-
лить пороговый уровень измерения сигнала X П2 , если отношение
априорных вероятностей равно		p(a1 )
			10 .
		p(a2 )

y(t) a (t)

t

Рис. 5.18. Смесь полезного сигнала и помехи

5.4. Необходимо обнаружить постоянный сигнал величиной a 2 В на фоне аддитивной помехи (см. рис. 5.18) с нормальным

распределением (m 0,1 , 0,5) . Метод приема – однократ-

ный отсчет. Произвести синтез приемного устройства, работающего на основе критерия минимального риска, и определить по-

	роговый уровень измерения сигнала		X П3 , если известны отноше-
	ния априорных вероятностей	p(a1 )	10 и коэффициентов потерь
		p(a2 )

r21 2 . r12

5.5. Необходимо обнаружить постоянный сигнал величиной a 2 В на фоне аддитивной помехи (см. рис. 5.18) с нормальным

136

распределением (m 0 , 1,25) . Метод приема – однократ-

ный отсчет. Произвести синтез приемного устройства, работающего на основе критерия Неймана – Пирсона, и определить поро-

говый уровень измерения сигнала X П , если вероятность ошибки первого рода не должна превышать величины 0 0,05.

5.6. Необходимо обнаружить постоянный сигнал величиной a 2 В на фоне аддитивной помехи с нормальным распределени-

ем (m 0,1 , 0,5) . Метод приема – двукратный отсчет.

Произвести синтез приемного устройства, работающего на основе критерия минимального риска, если

p(a1) 0,9 , p(a2) 0,1 , r12 5	, r21 2.
5.7. На вход приемника поступает смесь	постоянного сигнала

с амплитудой a и аддитивной помехи (рис. 5.19), распределенной по нормальному закону. Произведены два замера входного сиг-

нала y1(t) , y2 (t) (t2 t1 k ) . Априорные вероятности гипотез равны. Построить условные плотности распределения вероятностей выборки Y {y1 (t), y2 (t)} при разных гипотезах в предпо-

ложении, что отсчеты помех 1 (t) и	2 (t) статистически незави-
симы.

y(t)	(t)	a
		t
t1	t2
Рис. 5.19. Схема отсчетов входного сигнала
5.8. На вход приемника поступает смесь		постоянного сигнала

с амплитудой a 0,4 В и аддитивной помехи (рис. 5.19), распре-

137

деленной по нормальному закону (m 0 , 0,25) . Произведено два замера входного сигнала

y1(t) 0,25 В,

y2(t) 0,3

В (t2 t1 k ) .

Априорные вероятности гипотез равны. Найти апостериорные вероятности гипотез после указанных выше замеров.

138

6. ИЗМЕРЕНИЕ ИНФОРМАЦИИ

Изложение информационных моделей сигналов также начнем с краткого анализа общей модели системы связи (рис. 6.1). Однако теперь от рассмотрения непрерывных источников перейдем к рассмотрению дискретных источников и связанных с ним соответствующих технических средств.

Сообщение

Код

Источник

Кодирующее

Кодирующее

информации

устройство ИИ

устройство канала

Помехи

Сигнал

Канал

Передатчик

Линия связи

Приемник

связи

Декодирующее

Декодирующее

Потребитель

устройство канала

устройство ИИ

информации

Рис. 6.1. Общая модель системы связи

Источник вырабатывает информацию в виде дискретных сообщений, т.е. сообщение – это форма представления информации. Целью кодирования, как правило, является согласование источника информации с каналом связи, обеспечивающее либо максимально возможную скорость передачи информации, либо заданную помехоустойчивость. Кодирующие устройства преобразуют сообщения в сигнал, пригодный для передачи по каналу связи, т.е. сигнал – материальный переносчик сообщения.

Введение двух разных кодирующих и декодирующих устройств вызвано желанием подчеркнуть различие между операциями кодирования и декодирования, зависящими от характеристик пары «источник – адресат», и операциями, которые зависят от характеристик канала.

Задача системы связи состоит в том, чтобы воспроизвести сообщение источника адресату в месте удобном для него. При этом мы не рассчитываем, естественно, на абсолютно точное воспроиз-

139

считаются различными,

ведение, а полагаемся на воспроизведение сообщения, удовлетворяющее некоторым специфическим целям.

Для целей инженерного проектирования необходимо ввести количественную меру информации. При этом постулируется, что сообщение может быть описано должным образом только в терминах теории вероятностей как элемент соответствующим образом определенных множеств [11,12].

В статистической теории связи существенным является лишь то, что посылаемое сообщение принадлежит некоторому множеству сообщений. Если это множество конечно, то число сообщений или любую монотонную функцию от числа сообщений можно рассматривать как меру информации. При этом информация как бы создается случайным выбором одного сообщения из множества возможных.

Семантические аспекты сообщения, т.е. его значение, физическая или умозрительная сущность, не имеют отношения к технической стороне вопроса передачи информации.

6.1. ВЗАИМНАЯ ИНФОРМАЦИЯ

Рассмотрим два дискретных множества X {xk } и Y { yi } .

Декартовое произведение множеств XY определяется, как из-

вестно, как совокупность всех упорядоченных пар (xk , yi ) . При этом пары (xk , yi ) XY и ( yi , xk ) YX

даже если X Y . Элементы xk , yi – компоненты пары (xk , yi ) .

Пусть на множестве X задано распределение вероятностей

p(xk ) , на множестве Y – p( yi ) , а на множестве XY – p(xk yi ) . Естественно, что распределения носят дискретный характер, с учетом дискретности рассматриваемых множеств.

Для всех множеств очевидны соотношения

p(xk ) 1;	p( yi ) 1;	p(xk yi ) 1 .
xk X	yi Y	( xk , yi ) XY
Распределения безусловных p(xk ) ,		p( yi ) , p(xk yi )	и условных
p(xk / yi ) , p( yi / xk )	вероятностей, в свою очередь,		связаны фор-
мулами

140