2. Энтропия источника независимых сообщений.

общая энтропия дискретных источников сообщений Х и У равна сумме энтропий источников.

H_нз(X,Y) = H(X) + H(Y), где H_нз(X,Y) – суммарная энтропия независимых систем, H(X) – энтропия системы X, H(Y) – энтропия системы Y.

2. Энтропия источника зависимых сообщений.

количество информации об источнике X определяют как уменьшение энтропии источника X в результате получения сведений об источнике Y.

H_з(X,Y) = H(X) + H(Y|X), где H_з(X,Y) – суммарная энтропия зависимых систем, H(X) – энтропия системы X, H(Y|X) – условная энтропия системы Y относительно X.

Энтропия зависимых систем меньше, чем энтропия независимых систем. Если энтропии равны, то имеет место частный случай зависимых систем – системы независимы.

H_з(X,Y) <= H_нз(X,Y) (<= – меньше или равно).

2. Свойства энтропии. Мера Хартли.

Энтропия - величина всегда положительная и конечная, поотому что значение вероятности находится в интервале от 0 до 1. Н(а) = -Logk P(a) 2. Аддитивность - свойство, согласно которому количество информации, содержащееся в нескольких независимых сообщений равно сумме количества информации, содержащейся в каждом из них. 3. Энтропия равна 0, если вероятность одного из состояний источника информации равна 1, и тем самым состояние источника полностью определено (вероятности остальных состояний источника равны нулю, т.к. сумма вероятностей должна быть равна 1). Формула Хартли определяется: где I — количество информации, бит.

2. Понятие о производительности источника и скорости передачи информации.

ПРОИЗВОДИТЕЛЬНОСТЬ ИСТОЧНИКА ИНФОРМАЦИИ

При работе источника сообщений отдельные сигналы появляются через интервалы времени, которые в общем случае могут быть не постоянными. Однако, если существует некоторая средняя длительность создания источником одного сигнала, то энтропия источника, приходящаяся на единицу времени, называется производительностью источника информации.

СКОРОСТЬ ПЕРЕДАЧИ ИНФОРМАЦИИ

Это скорость передачи данных, выраженная в количестве бит, символов или блоков, передаваемых за единицу времени.

Теоретическая верхняя граница скорости передачи информации определяется теоремой Шеннона-Хартли.

ТЕОРЕМА ШЕННОНА-ХАРТЛИ

пропускная способность канала C, означающая теоретическую верхнюю границу скорости передачи данных, которые можно передать с данной средней мощностью сигнала S через аналоговый канал связи, подверженный аддитивному белому гауссовскому шуму мощности N равна:

C=B∙log₂(1+S/N),

где C – пропускная способность канала, бит/с; B – полоса пропускания канала, Гц; S – полная мощность сигнала, Вт; N – шумовая мощность, Вт.