Решение типовых примеров

Пример 2.1.1. Определить собственную информацию, содержащуюся в изображении, при условии, что оно разлагается на 500 строк по 500 элементов в каждой строке. Яркость каждого элемента передается одним из восьми квантованных уровней. Различные градации яркости равновероятны, а яркости разных элементов статистически независимы.

Решение. Обозначим случайной величиной яркость одного элемента изображения. По условию задачи все 8 градаций яркости одинаково вероятны, т.е. , где и, следовательно, собственная информация одного элемента для любого j по формуле (2.1.1)

.

Изображение содержит элементов.

Так как яркости элементов независимы, то по свойству аддитивности информации

Пример 2.1.2. На экране индикатора РЛС, представляющего поле с 10 вертикальными и 10 горизонтальными полосами, появляется изображение объекта в виде яркостной отметки. Все положения объекта равновероятны.

Определить количество информации, содержащееся в сообщениях:

а) объект находится в 46-м квадрате экрана;

б) объект находится в 5-й горизонтальной строке экрана;

в) объект находится в 6-м вертикальном столбце и 3-й горизонтальной строке экрана.

Решение. а) Пусть - сообщение о том, что объект находится в 46-м квадрате экрана.

Собственная информация в этом сообщении по формуле (2.1.1) равна . Безусловная вероятность сообщения – объект находится в 46-квадрате экрана – равна , где – общее число возможных исходов (квадратов поля), – число исходов, благоприятствующих событию .

По условию задачи квадратов, a . Тогда

и

б) Вероятность события – объект находится в 5-й горизонтальной строке экрана – по аналогии с рассмотренным случаем а) определится и собственная информация

в) Вероятность события – объект находится в 6-м вертикальном столбце и 3-й горизонтальной строке – равна

, следовательно,

Пример 2.1.3. Рассматривается ансамбль сообщений, приведенный в табл. 2.1.1.

Таблица 2.1.1

	1/2	1/4	1/8	1/32	1/32	1/32	1/32
Кодовое слово	001	010	100	011	101	110	111

Сообщение поступает в кодер. Вычислить дополнительную информацию об этом сообщении, доставляемую каждым последующим символом на выходе кодера.

Решение. На вход кодера поступает одно из сообщений ,..., , а кодер порождает соответствующие таблице двоичные символы. Так, сообщению соответствует на выходе кодовое слово 101. Символы на выходе кодера появляются последовательно, т.е. первый символ 1, второй 0 и третий 1. Первый символ кодового слова содержит некоторую информацию относительно того, какое сообщение поступает на вход кодера. Так, первый символ 1 показывает, что на входе могли быть сообщения , , или . Второй символ 0 сужает выбор – теперь на входе возможно одно из двух сообщений: или . И, наконец, последний, третий символ 1 однозначно определяет переданное сообщение.

По формуле (2.1.3) взаимная информация, содержащаяся в первом кодовом символе 1 относительно сообщения , равна

.

Обратная вероятность может быть найдена по формуле Байеса (1.4)

,

где

т.е. условная вероятность для гипотез, при которых первый кодовый символ есть 0, и для гипотез, при которых первый кодовый символ 1. В знаменателе формулы Байеса таким образом учитываются те гипотезы, при которых возможно появление 1 на первом месте.

Итак,

,

, ,

а взаимная информация, содержащаяся в первом кодовом символе 1 относительно сообщения , равна

Информация, содержащаяся во втором кодовом символе 0 при условии, что первый кодовый символ был 1, есть

Информация, содержащаяся в третьем кодовом символе 1 при условии, что ему предшествовали 10, есть

Так как сообщения и кодовые слова однозначно связаны, то

.

Действительно, бит, и это совпадает с приведенной суммой.

П

Таблица 2.1.2

	1/4	1/16	1/8
	1/8	3/16	1/4

ример 2.1.4. По дискретному каналу передаются сообщения или . Вследствие действия шумов на выходе появляется один из сигналов . Вероятности совместного появления заданы табл. 2.1.2

Вычислить взаимные информации , .

Решение. Дискретный канал с шумом удобно изображать в виде графа (рис. 2.1.2).

Определим взаимную информацию по формуле (2.1.3)

Рис. 2.1

или в силу свойства симметрии

.

Условные и безусловные вероятности найдем, воспользовавшись таблицей. По формуле (1.3)

;

; ;

; .

Используя формулы (1.4), найдем условные вероятности:

,

.

Тогда количество взаимной информации по формуле (2.1.3)

Мы получили , так как .

ЗАДАЧИ

2.1.1. На шахматной доске произвольным образом расставлены фигуры. Априори все положения фигур на доске одинаково вероятны. Определить собственную информацию, получаемую от сообщения, что конкретная фигура находится в одной из угловых клеток доски.

2.1.2. Сколько информации содержится в сообщении о том, что сумма очков на двух подброшенных игральных костях есть четное число?

2.1.3. Сколько информации содержится в сообщении том, что сумма очков на двух подброшенных игральных костях равна 7?

2.1.4. Брошены одновременно две игральные кости. Определить количество информации, содержащееся в сообщении о том, что произведение чисел выпавших очков четно.

2.1.5. В цехе работают 7 мужчин и 3 женщины. По табельным номерам наудачу отобраны 3 человека. Найти количество информации, содержащееся в сообщении «все отобранные люди – мужчины».

2.1.6. Из шести букв разрезной азбуки составлено слово «машина». Ребенок, не умеющий читать, рассыпал эти буквы и затем собрал в произвольном порядке. Какое количество информации будет содержаться в утверждении, что у него снова получилось слово «машина»?

2.1.7. Два стрелка, для которых вероятности попадания в мишень равны соответственно 0,6 и 0,7, производят по одному выстрелу. В результате оказалось, что мишень поражена. Какое количество информации содержится в этом сообщении?

2.1.8. Урна содержит 6 черных и 10 белых шаров. Случайно, без возвращения, из урны вынимают 3 шара, и результат опыта передается по системе связи. Пусть шары выбраны в следующей последовательности: черный, черный, белый.

а) Какое количество информации надо передать, если интересоваться только количеством шаров того и другого цвета?

б) Какое количество информации надо передать, если представляет интерес также и порядок, в котором выбраны шары?

2.1.9. В некотором городке четверть женщин — блондинки, половина — брюнетки и четверть — шатенки. Блондинки всегда приходят на свидание вовремя, брюнетки – подбрасывают монету и в зависимости от результата приходят вовремя или опаздывают, а шатенки всегда опаздывают.

1. Определить взаимную информацию между высказыванием «женщина пришла на свидание вовремя» относительно каждого из следующих предположений:

а) она блондинка;

б) брюнетка;

в) шатенка.

2. Сколько информации содержится в высказывании «женщина пришла вовремя на 3 свидания подряд» относительно предположения, что она брюнетка?

2.1.10. При фототелеграфной передаче изображения кадр состоит из 2,5∙10⁶ элементов. Для хорошего воспроизведения необходимы 12 градаций (уровней) яркости. Предполагается, что, все уровни яркости встречаются с одинаковой вероятностью. Элементы изображения независимы. Какое количество информации надо передать по каналу связи, если передача продолжается 5 мин?

2.1.11. По дискретному каналу передается одно из сообщений x₁, х₂, x_3. Вследствие действия шумов на выходе канала появляется сигнал y₁ или y₂. Вероятности совместного появления заданы табл. 2.1.3

Таблица 2.1.3

xj	yk
	y1	y2
x1	0,4	0,1
x2	0,2	0,15
x3	0,1	0,05

Вычислить взаимные информации I(х_1; у₂), I(x₃; y₁), I(x₂; у₂).

2.1.12. По двоичному каналу с шумом передаются сообщения x_1, х₂, х₃ с вероятностями 0,2; 0,3; 0,5. На выходе канала проявляются сигналы y₁, y₂, y₃. Вероятности искажения в канале (условные вероятности переходов):

Найти взаимные информации I (x₁;y₃), I(x₃;y₁).

2.1.13. По двоичному каналу с помехами передаются равновероятные и статистически независимые сообщения x₁ и x_2. В результате действия помех они преобразуются в сигналы у₁, у₂, у₃. Условные вероятности переходов p(y_k/x_j) заданы табл. 2.1.4. Вычислить взаимные информации I(x₁;у₃) и I(x₂;y₂).

Таблица 2.1.4

xj	yk
	y1	y2	y3
x1	5/8	2/8	1/8
x2	1/8	5/8	2/8

2.1.14. Рассматривается ансамбль сообщений X, приведенный в табл. 2.1.5.

Таблица 2.1.5

xj	x0	x1	x2	x3	x4	x5	x6	x7
р(xj)	1/4	1/4	1/8	1/8	1/16	1/16	1/16	1/16
Кодовое слово	000	001	010	011	100	101	110	111

Сообщение х₂ поступает в кодер. Вычислить дополнительную информацию об этом сообщении, доставляемую каждым последующим символом на выходе кодера.

2.1.15. Сообщения источника x₁,...,х₄ для согласования с каналом кодируются в соответствии с табл. 2.1.6.

Таблица 2.1.6

Сообщения xj	x1	x2	x3	x4
р(xj)	1/2	1/4	1/8	1/8
Кодовое слово	000	011	101	100

Пусть на вход кодера поступает сообщение х₃. Вычислить дополнительную информацию об этом сообщении, которую содержит каждый последующий символ на выходе кодера.

2.1.16. Среди студенток некоторого института 25% всех девушек – блондинки, а 75% всех блондинок имеют голубые глаза; всего же голубые глаза имеет половина всех девушек. Пусть мы знаем, что некоторая студентка имеет голубые глаза. Сколько дополнительной информации будет содержаться в сообщении о том, что эта девушка – блондинка?