Лабораторная работа 2.1а

ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКОВ СООБЩЕНИЙ

1 Цель работы

1.1 Изучение информационных характеристик источников сообщений.

1.2 Приобретение навыков проведения расчетов информационных характеристик дискретных и непрерывных источников сообщений.

2 Ключевые положения

2.1 Информационные характеристики источников дискретных сообщений (дискретных источников сообщений).

Источник дискретных сообщений вырабатывает сообщения, состоящие из отдельных знаков, число которых конечно. Под знаком понимают символы, буквы, слова, отдельные фразы и т.п.

Объем алфавита источника М_А – количество различных знаков, используемых источником для построения сообщений.

Количество информации I(a_k), дв. ед. (или бит), в знаке (сообщении) a_k, вероятность появления которого P(a_k), вычисляется

I(a_k) = – log ₂P(a_k). (1)

Энтропия H(A) источника сообщений A – это среднее количество информации в одном знаке. Если знаки сообщений независимы, то энтропия вычисляется как математическое ожидание

H(A) = – . (2)

Энтропия, как и информация, всегда неотрицательная величина и достигает максимального значения

H_max(А) = log₂ M_А, (3)

если знаки независимые и равновероятные.

Избыточность источника сообщений – это свойство источника выдавать информацию бóльшим числом знаков, нежели можно было бы. Наличие избыточности источника сообщений приводит к уменьшению его энтропии.

Коэффициент избыточности источника сообщений характеризует относительное уменьшение энтропии источника по сравнению с ее максимальным значением

К_изб = . (4)

Производительность источника сообщений, R_и, бит/с, – это среднее количество информации, выдаваемой источником за 1 с

R_и = Н(А)/Т_ср, (5)

где Т_ср – средняя длительность одного знака источника.

2.2 Информационные характеристики источников непрерывных сообщений (непрерывных источников сообщений).

Дифференциальная энтропия h(A) источника непрерывных сообщений A вычисляется по формуле

h(A) = – , (6)

где p(a) – плотность вероятности сообщения a(t).

Дифференциальная энтропия достигает максимального значения, если распределение вероятностей сообщения гауссовское

h_max(A) = log₂ , (7)

где σ² – дисперсия сообщения a(t).

Эпсилон-энтропия H_ε(A), дв.ед./отсчет, – это минимальное среднее количество информации в одном отсчете сообщения при заданной допустимой погрешности его приближенного представления ,

где ;

– приближенное представление сообщения.

По определению эпсилон-энтропия определяется

H_ε(A) = h(A) – max h(ε), (8)

где h(ε) – дифференциальная энтропия погрешности ε(t).

Максимальное значение h(ε) имеет место при гауссовском распределении ε(t), и расчетная формула для эпсилон-энтропии имеет вид

, (9)

где – дисперсия погрешности ε(t).

Коэффициент избыточности источника непрерывных сообщений вычисляется по формуле (4) при подстановке соответствующих значений дифференциальных энтропий h(A) и h_max(A).

Эпсилон-производительность R_и  источника непрерывных сообщений вычисляется по формуле (5), в которую необходимо подставить значение эпсилон-энтропии H_ε(A), а Т_ср принять равным интервалу дискретизации по Котельникову.