1.10 Энтропия источника при наличии коррелятивных связей между двумя соседними символами

Полученные ранее выражения для энтропии дискретного источника сообщений справедливы в случае, когда все сообщения независимы.

Рассмотрим источник, у которого имеют место коррелятивные связи между двумя соседними символами. Вероятность появления символа x_i зависит лишь от того, какой символ был выработан до этого.

Для описания такого источника необходимо задать распределение вероятностей p(x_i) и вероятности переходов (условная вероятность) p(x_i|x_k) или вероятности всех возможных пар символов p(x_i, x_k).

Нижеприведенное выражение описывает связь между этими вероятностями

. (1.25)

Если коррелятивные связи имеются между двумя соседними символами, то энтропия источника равна

(1.26)

Сравним энтропии источников с независимыми событиями и с коррелятивными связями между двумя соседними сообщениями.

Вероятности каждого из четырех сообщений равны:

p(x₁)=1/2, p(x₂)=1/4, p(x₃)= p(x₄)=1/8.

Для независимых событий

.

Пусть между двумя соседними символами имеются коррелятивные связи, которые описываются таблицей

xixj	p(xi, xj)	p(xi | xj)	xixj	p(xi, xj)	p(xi | xj)
x1x1	13/32	13/16	x3x1	0	0
x1x2	3/32	3/16	x3x2	0	0
x1x3	0	0	x3x3	0	0
x1x4	0	0	x3x4	1/8	1
x2x1	1/32	1/8	x4x1	1/16	1/2
x2x2	1/8	1/2	x4x2	1/32	1/4
x2x3	3/32	3/8	x4x3	1/32	1/4
x2x4	0	0	x4x4	0	0

По заданным вероятностям появления символов p(x_i) и вероятностям пар импульсов p(x_i, x_j) из (1.25) определяются условные вероятности

, представленные в третьем и шестом столбцах таблицы.

Используя (1.26), получим , т.е. при наличии коррелятивных связей между сообщениями источника энтропия уменьшается.

2_21/09/18

Контрольные вопросы

1. Дайте определение информационной системы и информационного процесса.

2. Приведите понятие об информации.

3. Количественная мера информации для равновозможных событий (сообщений). Мера Р. Хартли.

4. Укажите недостатки меры Р. Хартли.

5. Энтропия источника дискретных сообщений.

6. Приведите пример вычисления энтропии двоичного канала как источника информации.

7. Поясните свойства энтропии.

8. Энтропия совместных сообщений.

9. Что такое условная энтропия?

10. Как определяется количество информации при неполной достоверности результатов опыта?

11. Приведите некоторые свойства количественной меры информации при неполной достоверности результатов опыта.

12. Приведите пример вычисления количественной меры информации для двоичного канала с помехами.

13. Как оценивается избыточность источника сообщений?

14. Укажите достоинства и недостатки избыточности сообщений.

Лк3