Методическое пособие Теория информации-2

достаточно длинные последовательности символов. Недостатком в этом случае является неизбежная задержка во времени, поскольку для декодирования требуется принять сообщение целиком.

Пусть в некотором канале имеются шумы. Через канал передаютсяE

сообщения, представляющиеE собой последовательности, состоящие из символов, где – большое число. Количество возможных для передачи последовательностей приблизительно равно:

								(4.14)
Количество различных сообщений, которые могут быть переданы,
приблизительно равно:
				(m)			(H)	(4.15)
В выражениях (4.14) и (4.15) переменные						и		определяются в
соответствии с выражениями:		i′ log i′	= J O m
m	= − J Ki							(4.16)
H	J KI	I log I	J O H ,					(4.17)
среднее число символов в сообщении.
где J –В результате воздействия		шумов	возникает		искажение передаваемой

информации и каждой переданной последовательности символов на приёмном конце могут соответствовать в среднем следующее количество последовательностей:

(4.18)

Пусть количество последовательностей, которое может быть передано составляет:

;			(4.19)
		91

где η мало по

сравнению

с

’ S

(количество ошибок). Если

E

E

по сравнению с единицей.

достаточно велико, то величина

будетI мало,

(m) −

(m)

Если

достаточно

велико,

то

различных

принимаемых

2

последовательностей

является

равновероятными

и,

следовательно,

эргодическими.

Аналогично,

передаваемых

последовательностей также

эргодичны и, следовательно,

равновероятны

.

Пусть

сообщений правильно

выбранные;

кодированные последовательности, случайно

из

возможных

последовательностей. Рассмотрим совокупность

последовательностей, которые

могут быть приняты при передаче с учётом действия шумов (рис. 4.4).

Рис. 4.4. Совокупность последовательностей, которые могут быть приняты с учётом

действия шумов:

– различные возможные принимаемые сообщения; – различные возможные передаваемые сообщения; – сообщения, принимаемые в присутствии шумов;

	которые допускаются в данной системе шумоподавления
;	– передаваемые сообщения,

Некоторые принятые последовательности будут дублировать друг друга.

Поскольку переданных последовательностей эргодичны и, следовательно,

равновероятны, а ; последовательностей выбраны случайно, то процент дублирующих друг друга принятых последовательностей будет равен

приблизительно проценту, которые принятые при передаче ;

92

последовательностей составляют от общего числа последовательностей,

появляющихся у приёмника.

При условии отсутствия дублирующих последовательностей количество различных принимаемых последовательностей было бы максимально и составляло бы

†	;		(4.20)

Тогда процент2’ S ∙ 100продублированных последовательностей будет пропорционален %, т.е. при достаточно большом E он будет мал.

Таким образом, переданы могут быть

;			2’ S		2aL(i)’LT(i)’ bS			(4.21)
В этом случае	количество			символов в последовательности				всегда
				!
можно сделать настолько большим, чтобы процент ошибок был						меньше любой
							E

наперёд заданной величины. При таком количестве сообщений средняя скорость передачи информации приблизительно составляет:

I	I	(4.22)

Таким образом, при соответственно подобранном коде средняя скорость передачи информации по каналу с шумами(m)при− (пренебрежительноm) малом проценте ошибок может быть доведена до I дв.ед./символ. Это вся информация, которая может быть в среднем передана по каналу. Мерой надежности в данном случае будет выступать величина:

< = 1 − процент ошибок100 %при приёме

(4.23)

Правильное кодирование позволяет передавать информацию с высокой степенью надёжности без потери скорости, однако это приводит ко временной задержке на приёмном конце, поскольку требуется для расшифровки принять последовательности определенной длины.

Если пытаться передавать информацию последовательностями из E

93

символов со скоростью превышающей							(m) − I(m)	дв.ед./символ, то в этом
случае будут переданы:
				;				(4.24)
где η – положительная величина.
При этом безошибочно будет передаваться лишь малая часть
информации: один символ из						S.
Величина				характеризует возникающие в канале шумы, поэтому
					!2
обеспечить	(m) − I(m)
максимально		допустимая скорость передачи информации, определяемая
			I(m)
разностью				, связана с порогом шумопонижения, который можно
	в канале связи. Это приводит к тому, что если скорость передачи

сообщений меньше предельной величины, то с увеличением длины

передаваемой последовательности процент ошибок снижается

экспоненциально; при превышении предельной скорости передачи процент ошибок экспоненциально возрастает с увеличением длины передаваемой последовательности.

В отсутствии шумов при условии совпадения множества входных и выходных сообщений скорость передачи информации определяется

выражением:				K I log I =				O m = −		K i′ log i′ ,
Ö =	NI#	O H = −	NI#				Ni#		Ni#		(4.25)
				I	′ ′					i
где NI# = ∑I INI и Ni# = ∑i iNi –						средняя длительность сообщений на входе и

выходе, соответственно.

Если в канале связи возникают шумы, то равенство (4.25) перестаёт быть верным:

NI# O H ≠ Ni# O m

(4.26)

ПоэтомуÖ ,Öприменительно к каналу с шумами используют два значения скорости ( и #):

94

	Ö =			= −		K I log I	(4.27)
		NI#			NI#
						I
где Ö –	Ö# Ni# O m					OI m ,	(4.28)
	средняя скорость, с которой информация может кодироваться для
передачи по каналу связи; Ö# –				средняя скорость, с которой информация может
передаваться по каналу связи.				Ö > Ö#. Однако, как показано
В	каналах с шумами						выше, при

соответствующем кодировании информация может передаваться со скоростью

Ö# при исчезающее малом проценте ошибок. В этом случае, при условии, что множество входных сообщений совпадает со множеством выходных, будет верным равенство:

ÖI′ =	′	= −		#	K′	I′ log I′ = −		#	K′	i′′ log i′′ = Ö# ,	(4.29)
	′		′				′
где H′ и m′ –	NI #		NI		I		Ni		i
	относятся к новому коду, исключающему ошибки.

Равенство (4.29) говорит о том, что передаваемая информация не может кодироваться со скоростью, превышающей максимально допустимую скорость передачи Ö#.

4.3. Передача информации непрерывными сигналами по каналам с

ограниченной полосой частот. Скорость передачи информации

Количество информации, переданное по каналу, в						случае, когда
переданное сообщение было °, а принятое сообщение –						´, определяется
следующим образом:
количество информации полученной при передаче				°
	вероятность у приёмника передачи сообщения					(4.30)
	после приёма сообщения
= log		´
	вероятность у приёмника передачи		сообщения
			´	°
	до приёма сообщения
	95

Учитывая следующие два соотношения:

вероятность того что переданный

<(°) ‘° = —сигнал

имел значение между

°

и

° + ‘°˜

(4.31)

до приёма сигнала

вероятность того что переданный

<È ° ‘° = —сигнал

имел значение между

и

° + ‘°˜,

после приёма сигнала°´

(4.32)

получим:

∆Á→#

<È(°)∆°

<È(°)

количество информации

полученной при передаче

=

lim log ˆ

‰

= log ˆ

‰

(4.33)

примет

° , ° , … , °

´ , ´

, … , ´

и имеет

в них

Если переданный сигнал<(°)содержит∆°

<(°)точек

отсчёта

значения

, а принятый сигнал –

,

то выражение (4.33)

вид:

, … , °

→ ´

, ´ , … , ´

при передаче ° , °

(4.34)

количество информации полученной

= log ˆ

<È',È(,…,È-(° , ° , … , ° )

‰

)

Определим некоторые

вероятности(

:

< ° , ° , … , °

°

° + d°,˜

<(°, ´) d° d´ = —сигнал

а принятый

между

и

(4.35)

априорная вероятность того что переданный

будет иметь значения между и

вероятность того

что значение принятого

<(´) d´ = —

–

´

´

+ d´

(4.36)

сигнала будет лежать между

и

если переданный сигнал

неизвестен

´

´ + d´, ˜

<Á ´ d´ = —

вероятность того что значение принятого

˜

сигнала будет лежать между

и

если

(4.37)

известно, что переданный

сигнал равен

´

´ + d´,

°

Учитывая приведенные ниже три соотношения из теории вероятности:

∞
’• < °, ´ d´ = < °	(4.38)
∞
96

			∞
			’• <(°, ´) d° = <(´)							(4.40)
										(4.39)
			∞	Á
			È
выражение (4.33) перепишем в виде:
	количество информации
	полученной при передаче ° → ´ = log ˆ						<Á ´		‰	(4.41)
Средняя информация, приходящаяся на сигнал, передаваемый по
некоторому каналу связи, равна:
	сигнал		= ï log ˆ <È ° ‰ < °, ´ d° d´ =
	средняя информация
			<Á ´	‰ < °, ´ d° d´ =
	= ï log ˆ < ´
= ï loga<Á ´ b < °, ´ d° d´ − ï loga< ´ b < °, ´ d° d´ =										(4.42)
= ï loga<Á ´ b < °, ´ d° d´ − • loga< ´ b • < °, ´ d° d´ =
= ï loga<Á ´ b < °, ´ d° d´ − • < ´ loga< ´ b d´ =
			= O ´	− OÁ ´
Величина OÁ ´ определяется выражением:								=
	OÁ ´ =		Á	Á
		среднее по ансамблю значение
		по	− • < ´ loga< ´ b d´				°			(4.43)

всем возможным значениям

= − • • <Á ´ loga<Á ´ b d´ < ° d° = = − ï loga<Á ´ b < °, ´ d° d´

Вероятность <Á ´ характеризует детальные шумовые свойства канала, а

OÁ ´ – общий эффект действия шумов. При этом справедливо равенство:

97

Á

È

(4.44)

Правая и левая части выражения (4.44), а следовательно, и средняя

скорость передачи информации, не зависят от

выбора

системы координат.

´ , ´ , … , ´

° , ° , … , °

´ , ´ , … , ´

и

Введём

следующие обозначения: координаты старой системы –

° ,′° ,

′… , °

;

координаты

новой

системы

–

′

′

′

и

′ ;

вероятности

в старой системе координат –

<

; вероятности

в новой

системе

координат –

J

.

<(°, ´) = ÙÇ v

′

′

wÙ J(°′, ´′)

(4.45)

′

°, ´

′

<Á(´) = ÙÇ v

′wÙ JÁ′(´

)

(4.46)

<(´) = ÙÇ v

´

wÙ J(´′)

(4.47)

′

´

′

′

′

(4.48)

¹Ç c

′d¹ ∙

ÙÇ v

wÙ = 1

Следовательно,

′

, ´

°, ´

°

′

(4.49)

° , ´

′

выражение (4.44) можно записать в виде:

O(´) − OÁ(´′ ) = ï′ log′

ˆ

Á

‰ <(°, ´) d° d´ =

= ï log ˆ

JÁ′(´′

)

° , ´

<(´′ )

′

)Ç c

°,′ ´′

d d°

′

d´

′

=

(4.50)

′

‰ Ç v

°,′ ´

w J(° , ´

° , ´′

J(′´ )

′

′

′

′

= ï log ˆ

JÁ

(´′

)

′

(´ )

J(´ )

‰ J(° , ´ ) d° d´ = O(´ ) − OÁ

Введём понятие нормировки единиц измерения

и ´. Предположим, что

имеется усилитель сигнала, работающий без

шумов.

Если

минимальное

°

линейное значение сигнала на входе усилителя °, то соответствующее

минимальное линейное значение выходного сигнала будет равно ‹°,

где ‹

–

коэффициент усиления сигнала. При этом нормировка будет заключаться в том,

98

что единица измерения выходного сигнала будет в ‹ раз больше, чем входного.

В общем случае, нормирующий коэффициент может быть как безразмерной величиной, так и иметь размерность, если входной и выходной сигналы имеют разную физическую природу. Нормировка не изменяет скорости передачи информации. Согласно выражениям (4.43)–(4.50), можем записать:

Á	Á	< °, ´ d° d´ =	(4.51)
	= − ï loga<Á ´ b <Á ´ < ° d° d´

Если шум, описываемый функцией <Á ´ , не зависит от сигнала и
складывается с ним линейно и если принимаемый сигнал нормирован, то <Á ´
представляет собой функцию от ´ − °			и не зависит от ° и ´, рассматриваемых
∞	= ´ − °	∞<Á ´		= ²	заменить
по отдельности. Тогда переменную ´			в	уравнении (4.51) можно
переменной		. Учитывая, что		, можно записать:
•∞ loga<Á ´b <Á ´ d´ = •∞ loga² b ² d = n,					(4.52)
ÈQ’		žQ’
где K – константа, не зависящая ни от ´, ни от °.

Тогда, при независимом от сигнала и линейно с ним складываемом шуме,

а также при нормированном относительно передаваемого принимаемом сигнале выражение (4.43) можно преобразовать:

OÁ ´ = − ï loga<Á ´b <Á ´ < ° d° d´ = −n • < ° d° = −n

(4.53)

В

этом

случае

величина

<Á ´

представляет собой

функцию

распределения вероятностей того, что шум имеет значение

´ − ° и,

следовательно, величина

OÁ ´ является энтропией шума. Тогда среднюю

информацию, приходящуюся на сигнал, можно определить как:

сигнал

= O ´

− OÁ ´ ,

средняя информация

(4.54)

O

´

–

99O

´

– энтропия шума.

где

энтропия принятого сигнала;

Á

4.3.1. Скорость передачи информации для сигналов с ограниченной средней

мощностью

Если присутствующий в канале связи шум является случайным и если он суммируется с сигналом по линейному закону, то энтропию шума для сигнала длительностью , ограниченного полосой частот , можно определить следующим образом:

где 5				Á					(4.55)
	В–	мощность шума.
		этом		случае	средняя информация, приходящаяся на сигнал
длительностью				, составляет:		= O ´ −	log 2π`5
			средняя информация
				сигнал					(4.56)

Тогда, скорость передачи информации в канале со случайным шумом равна:

Ö	= $lim→		a	O	´ ,	, … , $Œ	log 2 `	(4.57)
#	∞

Ранее рассматривалось, что при линейном сложении некогерентных сигналов их квадратичные эффекты аддитивны (см. раздел 2.4). Следовательно,

квадратичный эффект сигнала

равен сумме квадратичных эффектов сигнала

и шума. Распределение

квадратичного эффекта сигнала

будет равно сумме

´

°

распределений

квадратичных

эффектов

передаваемого сигнала

,

´

обозначаемого

, и шума,

обозначаемого ,

т.е.

.

Совпадение

функции

°

входного сигнала с функцией распределения случайного шума

распределения

5

+ 5

является достаточным условием максимума скорости передачи информации .
Распределение сигнала			также будет	совпадать с распределением		шума#,
						Ö
следовательно, для	энтропий сигналов и				можно записать:
		°	°	´
						(4.58)
						(4.59)
			100