3.Энтропия и информационные характеристики дискретного источника(зависимые сообщения)

Источники независимых сообщений являются простейшим типом источников. В реальных условиях картина значительно усложняется из-за наличия статистических связей между сообщениями. Примером может быть обычный текст, где появление той или иной буквы завиит от предыдущих буквенных сочетаний. Так, например, после сочетания ЧТ вероятность следования гласных букв О, Е, И больше, чем согласных.

Статистическая связь ожидаемого сообщения с предыдущим сообщением количественно оценивается совместной вероятностью Р(а_k,а_I)или условной вероятностью P(a_L/a_k),которая выражает вероятность появления сообщения a_k при условии, что известно предыдущее сообщение а_k. Количество информации, содержащейся в сообщении при условии, что известно предыдущее сообщение а_k согласно (6.1), будет равно:

Среднее количество информации при этом определяется условной энтропией

H(a_L /a_k), которая вычисляется как математическое ожидание информации J(a_L/a_k) no всем возможным сообщениям а_k и a_L.

Важным свойством условной энтропии источника зависимых сообщений является то, что при неизменном количестве сообщений в ансамбле источника его энтропия уменьшается с увеличением числа сообщений, между которыми существует статистическая взаимосвязь. В соответствии с этим свойством, а также свойством энтропии источника независимых сообщений можно записать неравенства:

Таким образом, наличие статистических связей между сообщениями всегда приводит к уменьшению количества информации, приходящейся в среднем на одно сообщение.

Билет 20

1.Понятия, характеризующие строения и функционирование систем:связь , состояние, поведение.

Связь описывает и строение (статику), и функционирование (динамику) системы, хар-ся направлением, силой и характером (или видом). можно делить на направленные и ненаправленные, сильные и слабые, а по характеру - на связи подчинения, генетические, равноправные, связи управления, по месту приложения (внутренние и внешние), по направленности процессов в системе в целом или в отдельных ее подсистемах (прямые и обратные).

Состояние - это множество существенных свойств, которыми система обладает в данный момент времени. Характеризует срез системы или остановка в ее развитии. Определяется входными и выходными сигналами. Определяться может через макропараметры, макросвойства системы.

Поведение. Если система способна переходить из одного состояния в другое (например, z₁z₂z₃), то говорят, что она обладает поведением. Этим понятием пользуются, когда неизвестны закономерности переходов из одного состояния в другое. Тогда говорят, что система обладает каким-то поведением и выясняют его закономерности

Функция поведения: