ТПИ_Контрольная

1.2.4. Опыт Х имеет три исхода x₁,x₂,x₃ с соответственными вероятностями Р(x₁)=0,2; Р(x₂)=0,5; Р(x₃)=0,3. Вычислить дисперсию D(I) случайной величины I = -log P(x_i) и величину отклонения δ_i.

Решение:

Точные количества информации, несомые исходами x₁, x₂, x₃, равны

I(x₁) = -logP(x₁) = -log 0,2 = 2,3219

I(x₂) = -logP(x₂) = -log 0,5= 1

I(x₃) = -logP(x₃) = -log 0,3 = 1,737

Среднее количество информации по К. Шеннону

I_ср(X) = H(X) = - = 0,4644 + 0,5 + 0,5211 = 1,4855 бит

Дисперсию случайной величины I = -log P(x_i) вычислим из выражения

D(I) = = (2,3219 - 1,4855)²•0,2 + (1 – 1,4855)²•0,5 + + (1,737 -1,4855)²•0,3 = 0,1399 + 0,1179 + 0,019 = 0,2768

Таким образом, случайная величина I(x_i) отклоняется от своего значения I_ср(X) на величину δ_i = = = 0,5261.

2.2.8. Источник вырабатывает с одинаковой вероятностью два символа А и В. Определить количество возможных последовательностей, содержащих n_А символов А, причём n_А + n_В = M = 4. Определить вероятность события, которое заключается в том, что в выработанной источником последовательности длиной М содержится n_А символов А.

Решение:

P(A) = P(B) = 0,5

Количество возможных последовательностей, состоящих из двух букв, по M букв в каждой N = 2^M = 16

Число последовательностей, у которых из M мест n_А мест представлено букве A равно числу сочетаний из M элементов по n_А

=

Вероятность того, что в выработанной источником последовательности длиной M содержится n_А символов A, определяется из биноминального закона

= • •

Выпишем 16 возможных последовательностей символов A и B, вычислив для каждой из них и

Возможные последовательности	nА	nВ
AAAA	4	0	1	0,0625
	3	1	4	0,25
	2	2	6	0,375
	1	3	4	0,25
BBBB	0	4	1	0,0625

Из таблицы видно, что источник чаще вырабатывает последовательности, содержащие одинаковое количество символов A и B.

2. Определить энтропию случайной величины, распределённой по экспоненциальному закону:

W(X) =

Решение:

Определим энтропию, воспользовавшись формулой для дифференциальной энтропии непрерывного источника информации

= + = log

4.2.3. Определить длину магнитной ленты для записи одного изображения, если энтропия изображения H(X)и = 600000 дв.ед./изобр., по ширине ленты записывается 30 дв.ед. информации при плотности записи 10 дв.ед./мм

Решение:

= 20000 дв.ед. записывается по длине ленты.

При плотности записи 10 дв.ед./мм длина ленты L = = 2000 мм.

5.2.10. С контролируемого пункта передаются сообщения об изменении положения объектов. Каждый объект может находиться в одном из двух положений «включен» или «выключен». Наблюдением установлено, что из 50 переданных сообщений 40 относится к первому объекту, 2 – ко второму и 8 – к третьему. Объекты работают независимо друг от друга, а положения объектов равновероятны. Определить скорость передачи информации и пропускную способность дискретного канала, если длительность каждого сообщения 1 мс.

Решение:

Из статистики наблюдений можно записать выражения для определения вероятности того, к какому объекту относится переданное сообщение.

P(x₁) = 0,8; P(x₂) = 0,04; P(x₃) = 0,16

Исходя из того, что положения объектов равновероятны P(x_iв) = P(x_io) = 0,5P(x_i), результаты расчёта вероятностей того, что объекты находятся в отключённом или включённом состоянии сведём в следующую таблицу

xi	x1в	x1о	x2в	x2о	x3в	x3о
P(xi)	0,4	0,4	0,02	0,02	0,08	0,08

Скорость передачи информации будет

R_τ = V_τ•H(x) = •(-0,4•log0,4 -0,02•log0,02 -0,08•log0,08) = 1866,4

Пропускная способность будет C = V_τ•maxH(x) = V_τ•logM = 10³•2,585 = 2585, где M=6 число состояний системы.

6.4.8. По каналу связи передаются четыре сообщения кодовыми комбинациями

x1	x2	x3	x4
001	01	0111	100

Определить, являются ли данные кодовые комбинации комбинациями префиксного кода.

Решение:

Поскольку комбинация сообщения x₂ (01) является началом комбинации 0111 сообщения x₃, то данные кодовые комбинации не являются комбинациями префиксного кода.

1. По каналу связи передаются кодовые комбинации

x₁ = 1001001,

x₂ = 1011011,

x₃ = 0110101.

Определить минимальное кодовое расстояние.

Решение:

Кодовое расстояние – это минимальное число элементов, в которых любая кодовая комбинация отличается от другой (по всем парам кодовых слов). Кодовое расстояние между двумя комбинациями двоичного кода равно числу единиц, полученных при сложении этих комбинаций по модулю два.

Сравнивая x₁ и x₂, получим 0010010 (d=2). Сравнивая x₁ и x₃, получим 1111100 (d=5). Сравнивая x₂ и x₃, получим 1101110 (d=5).

Т.о. d_min = 2

МИНИСТЕРСТВО ОБРАЗОВАНИЯ РЕСПУБЛИКИ

БЕЛАРУСЬ

Учреждение образования

«Белорусский государственный университет

информатики и радиоэлектроники»

Контрольная работа по курсу:

“ Теория передачи информации”

Выполнил:

Студент ФНиДО

ИТиУвТС

группы № 602421

Попов Л.А.

Минск 2010