Статрадиофизика%202015

( , ) = − ∑ ∑ ( , ) log ( , ) ,

(5.5)

=1 =1

где ( , ) –

вероятность

совместной реализации состояний

(1 ≤ ≤

) и (1 ≤ ≤ ).

4. ( , ) = ( , );

(5.6)

5. ( , ) ≤ ( ) + ( );

(5.7)

6. ( , ) = ( ) + ( / ),

(5.8)

где ( / ) = − ∑ ∑ ( , ) log ( / ) ,

(5.9)

=1 =1

а log ( / )

–

вероятность

реализации

состояния

при

условии, что

реализовалось состояние .

7. ( / ) ≥ 0;

(5.10)

8. Для статистически независимых символов

( / ) = ( );

(5.11)

9. Для статистически зависимых символов

( / ) < ( ).

(5.12)

Относительная (дифференциальная)

энтропия

( )

определяется

выражением:

∞

( ) = − ∫ ( ) log ( ) ,

(5.13)

−∞

где ( ) – плотность распределения вероятностей случайной величины X(x).

Так как в общем случае получение информации связано со снятием неопределенности в знаниях таким образом, что = − , где - энтропия до проведения эксперимента, а – энтропия после проведения эксперимента, то количество информации, имеющееся в y о x, определяется следующим образом:

( , ) = ( ) − ( / )	(5.14)
31

или	( , ) = ( ) − ( / )	(5.15)
или	( , ) = ( ) + ( ) − ( , ).	(5.16)
Основные свойства количества информации:
1.	( , ) = ( , );	(5.17)
2.	( , ) ≥ 0;	(5.18)
3. J ( , ) = ( ).		(5.19)

5.2 Задачи

5.2.1В каком соотношении находятся известные единицы количества информации: двоичная (бит), натуральная (нат), десятичная (дит или «хартли»)?

5.2.2Определить минимальное число взвешиваний, которое необходимо произвести на равноплечих весах, чтобы среди 27 внешне неотличимых монет найти одну фальшивую, более легкую.

Ответ: k = 3.

5.2.3 Пусть в городе 25% студентов. Среди студентов 50% юношей. Всего в городе юношей 35%. Сколько дополнительной информации содержится в сообщении, что встреченный юноша-студент?

Ответ: = 1,486 бит.

5.2.4 Алфавит состоит из букв А, В, С, Д. Вероятности появления букв соответственно А = В = 0,25; С = 0,34; Д = 0,16.

Определить количество информации на символ сообщения, составленного из такого алфавита.

Ответ: H = 1,9522 бит/символ.

5.2.5 Число символов первичного алфавита равно 5.

Определить количество информации на символ сообщения, составленного из этого алфавита:

а) если символы алфавита встречаются с равными вероятностями;

32

б) если символы алфавита встречаются в сообщениях с вероятностями:

1	= 0,8; 2 = 0,15; 3 = 0,03; 4 = 0,015; 5 = 0,005.
	Ответ: а = 2,3219 бит; б = 0,9489 бит.
	5.2.6 Согласно экспериментальным данным безусловные вероятности букв
русского алфавита характеризуются Таблицей 1.
								Таблица 1
		Буква	Вероятность	Буква	Вероятность	Буква		Вероятность
		пробел	0,175	м	0,026		ч	0,012
		о	0,90	д	0,025		т	0,012
		е	0,072	п	0,023		х	0,009
		а	0,062	у	0,021		ж	0,007
		и	0,062	я	0,018		ю	0,006
		т	0,053	ы	0,016		ш	0,006
		н	0,053	з	0,016		ц	0,004
		с	0,045	ь, ъ	0,014		щ	0,003
		р	0,040	б	0,014		э	0,003
		в	0,038	г	0,013		ф	0,002
		л	0,035
		к	0,028

Найти энтропию источника, выдающего текст из этих букв, при отсутствии статистических связей между буквами.

Ответ: H = 4,36 бит/символ.

5.2.7 Определить количество информации в переданном каким-то кодом тексте «Широка страна моя родная».

Ответ: = 104,64 бит.

5.2.8 Выстрел из орудия не поражает цель с вероятностью P. Через какое число выстрелов следует поинтересоваться у разведчика-корректировщика,

33

уничтожена ли цель, чтобы в результате ответа получить максимальное

количество информации?

1 Ответ: = − log2 .

5.2.9Вычислить относительную энтропию случайной величины,

распределенной по гауссовскому закону.

Ответ: = log √2 .

5.2.10 Имеется два источника флуктуирующего напряжения с одинаковой энтропией, но разными законами распределения вероятностей: первый – с

гауссовским законом, второй – с равновероятным. Сравнить их мощности.

Ответ: р = г2 = 1,42 г2 .

34

6.ПЕРЕДАЧА ИНФОРМАЦИИ ПО КАНАЛАМ СВЯЗИ

6.1Основные обозначения и расчетные формулы

Передача элементов сообщения по каналу связи с шумами может рассматриваться как эксперимент, состоящий в отправлении символов сообщения

и получении элементов . Свойства канала при этом полностью описывается матрицей переходных вероятностей (канальной матрицей) ( / ) или ( / ).

Считается, что при передаче n элементов в условиях помех новые элементы не создаются, то есть

∑ (	/ ) = 1;	∑ (	/ ) = 1.	(6.1)
=1		=1

Если влияние помех в канале связи описывается канальной матрицей

( / ), то общая условная энтропия или среднее количество ложной информации, создаваемой шумом при передаче произвольного символа по каналу связи

( / ) = − ∑ ( ) ∑ (		/ ) log (		/ ).	(6,2)

Вэтом случае энтропия приемника H(y) определяется следующей формулой:

	( ) = − ∑ ( ) log ( ) ,				(6.3)
где	( ) = ∑ ( ) (			/ ) .	(6.4)

35

Среднее количество переданной по каналу связи информации на один символ определяется по формуле (5.15).

Если влияние помех в канале связи описывается канальной матрицей

( / ) , то общая условная энтропия или среднее количество информации,

теряемое при передаче произвольного символа по каналу связи

( / ) = − ∑ ( ) ∑ (		/ ) log (		/ ).	(6.5)

Вэтом случае энтропия источника ( ) определяется следующей

формулой:

	( ) = − ∑ ( ) log ( ) ,							(6.6)
где	( ) =		∑ ( ) (			/ ) .		(6.7)
	Среднее количество переданной по каналу связи информации на один
символ определяется по формуле (5.14).
	Если задана канальная матрица ( , ),			то энтропия объединения ( , )
определяется по следующей формуле:
	( , ) = − ∑ ∑		( , ) log ( , ) .					(6.8)

Канальная матрица ( , ) обладает следующими свойствами:

∑ ( , ) = ( ) ;			(6.9)
∑ ( , ) = ( ) .			(6.10)

При этом ∑ ( ) = ∑ ( ) = 1, а условные вероятности определяются следующим образом:

		( ,				)
( / ) =								;	(6.11)
		∑		( , )
	36

		( ,				)
( / ) =								.	(6.12)
		∑		( , )

В этом случае легко могут быть вычислены энтропия источчника,

энтропия приемника и общие условные энтропии. Среднее количество переданной по каналу связи информации определяется по формулам (5.14), (5.15)

и(5.16).

6.2Задачи

6.2.1 Определить общую условную энтропию сообщений, передаваемых по каналу связи, который описывается следующей канальной матрицей:

0,9	0,1	0	0
0,05	0,84	0,01	0
( / ) = (0,03	0,06	0,98	0,1).
0,02	0	0,01	0,9

Символы алфавита, из которых складываются сообщения, равновероятны.

Ответ: ( / ) = 0,508 бит/символ.

6.2.2 Определить энтропию приемника сообщений, если канальная матрица имеет вид:

0,97 0,03 0( / ) = (0,01 0,98 0,01),

00,04 0,96

авероятности появления символов на выходе источника сообщений равны

( 1) = 0,5; ( 2) = 0,3; ( 3) = 0,2.

Ответ: ( ) = 1,4904 бит /символ.

6.2.3 При передаче сообщений по каналу связи с шумами была получена следующая статистика: частота 1 из 100 раз была принята 97 раз, 2 раза была принята частота 2, 1 раз – частота 3; при передаче 2 98 раз была принята 2, 2

раза - 1; при передаче 3 96 раз - 3, 2 раза - 2, 2 раза - 4; при передаче 4 99 раз -4; 1 раз - 3.

37

Составить канальную матрицу, описывающую данный канал связи с точки зрения прохождения частот 1 4 . Определить общую условную энтропию сообщений, алфавитом которых являются частоты 1 4 , если вероятности появления этих частот в передаваемых сообщениях равны: ( 1) = 0,37; ( 2) = 0,3; ( 3) = 0,23; ( 4) = 0,1. Определить энтропию принятых сообщений.

Ответ: ( / ) = 0,196 бит/символ, ( ) = 1,8352 бит/символ.

6.2.4 Чему равна энтропия источника сообщений, энтропия приемника,

энтропия объединения, если канал связи описан следующей канальной матрицей:

0,1	0,1	0
( , ) = ( 0	0,2	0,1)
0	0,2	0,3

Ответ: ( ) = 1,4855 бит/символ, ( ) = 1,3610 бит/символ,( , ) = 2,4465 бит/символ.

6.2.5 Задана матрица вероятностей системы, объединенной в одну из двух подсистем Y и X:

0,3	0	0
( , ) = (0,2	0,3	0,1).
0	0,1	0

Определить полные условные энтропии ( / ) и ( / ).

Ответ: ( / ) = 0,876 бит/состояние, ( / ) = 0,809 бит/состояние.

6.2.6 Чему равны информационные потери в канале связи, описанном при помощи следующей канальной матрицы:

0 0 1( / ) = (0 1 0).

1 0 0

6.2.7 Канал связи описан следующей канальной матрицей

0,98 0,01 0,01( / ) = ( 0,1 0,75 0,15).

0,2 0,3 0,5

Вычислить среднее количество информации, которое передается одним символом сообщения, если вероятности появления символов источника

38

сообщений равны: ( 1) = 0,7; ( 2) = 0,2; ( 3) = 0,1. Чему равно количество принятой информации при передаче сообщений из 400 символов алфавита

1, 2, 3?

Ответ: ( ) = 1,1568 бит/символ, = 248,1 бит.

6.2.8 По каналу связи передается один из двух сигналов 1 или 2 с

одинаковыми вероятностями. На выходе канала сигналы 1 и 2 преобразуются в сигналы 1и 2, причем из-за помех, которым одинаково подвержены сигналы 1

и 2 , в передачу вносятся ошибки, так что в среднем один сигнал из 100

принимается неверно.

Определить среднее количество информации на один сигнал,

передаваемый по такому каналу. Сравнить ее с количеством информации при отсутствии помех.

Ответ: ( , ) = 0,919 бит.

6.2.9 Используя энтропию объединения, определить количество информации при передаче сообщений, построенных из алфавита 1, 2, 3, если априорные вероятности появления символов первичного алфавита равны между собой, а в результате действия помех 5% символов передаваемых сообщений могут с равной вероятностью перейти в любой другой символ данного алфавита.

Ответ: ( , ) = 1,240 бит.

39

7. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКОВ СООБЩЕНИЙ И КАНАЛОВ СВЯЗИ

7.1 Основные понятия и расчетные формулы

	Одной из информационных характеристик дискретного источника
является его избыточность
						( )
			= 1 −						,	(7.1)
								( )
где		( ) – максимально возможная энтропия, а ( ) – энтропия источника.
	Производительность источника сообщений (или поток информации) ( )
определяется следующей формулой:
				=	( )		= и ( ),
			( )							(7.2)

где – средняя длительность одного символа, а и – скорость источника, то есть число символов, выдаваемых источником в среднем в единицу времени.

Скорость передачи информации C определяется средним количеством информации, которое передается по каналу связи в единицу времени:

= ( , ),

(7.3)

где v – техническая скорость передачи, то есть число элементарных сигналов

(символов), передаваемых по каналу в единицу времени.

Пропускная способность канала связи п равна максимальной скорости передачи информации по данному каналу, которой можно достичь при самых совершенных способах передачи и приема:

п = max ( , ).

(7.4)

При заданном алфавите символов и фиксированных характеристиках канала остальные характеристики выбираются такими, чтобы обеспечить максимальное значение технической скорости передачи. Максимум среднего количества

40