1.3. Условная энтропия. Объединение зависимых систем
Пусть имеются две зависимые системы X и Y. Обозначим p(yj|xi) условную вероятность того, что система Y примет состояние yj при условии, что система X находится в состоянии xi.
Частная условная энтропия системы Y при условии, что система X находится в состоянии xi определяется следующим образом
. (2)
Для нахождения полной энтропии системы каждая частная энтропия умножается на вероятность соответствующего состояния рi и все произведения складываются
,
где рi – вероятность наступления события хi.
Или
(3)
После преобразований получаем
,
где рij=рip(yj|xi).
Выражению также можно придать форму математического ожидания
.
Таким образом, полная энтропия характеризует степень неопределенности системы Y, остающейся после того, как состояние системы X полностью определилось.
Пользуясь понятием условной энтропии, можно определить энтропию объединенной системы через энтропию ее составных частей В этом случае теорема сложения энтропий для зависимых систем выглядит следующим образом.
Если две системы X и Y объединяются в одну, то энтропия объединенной системы равна энтропии первой ее составной части плюс условная энтропия второй части относительно первой
.
В частном случае, когда системы X и Y независимы, H(X|Y) = H(Y), и мы получаем рассмотренную ранее теорему сложения энтропий
.
В другом крайнем частном случае, когда состояние одной из систем полностью определяет собой состояние другой (или, как говорят, системы эквивалентны), получаем:
.
1.4. Определение информационных потерь в каналах связи
Понятие общей и частной условной энтропии широко используется при вычислении информационных потерь в каналах связи с шумами.
Пусть по каналу связи источником информации передается m сигналов х1, х2, ... хm. На другом конце канала есть приемник, который принимает сигналы y1, y2, ... ym. В канале существуют помехи. При правильном приеме при посылке сигнала x1 принимается сигнал y1 и т.д. Если при посылке сигнала x1 принят yj – это ошибка приема.
Влияние помех в канале связи описывается с помощью канальной матрицы.
|
|
y1 |
y2 |
... |
yj |
... |
ym |
|
x1 |
p(y1|x1) |
p(y2|x1) |
... |
p(yj|x1) |
... |
p(ym|x1) |
|
x2 |
p(y1|x2) |
p(y2|x2) |
... |
p(yj|x2) |
... |
p(ym|x2) |
|
... |
... |
... |
... |
... |
... |
... |
|
xi |
p(y1|xi) |
p(y2|xi) |
... |
p(yj|xi) |
... |
p(ym|xi) |
|
... |
... |
... |
... |
... |
... |
... |
|
xm |
p(y1|xm) |
p(y2|xm) |
... |
p(yj|xm) |
... |
p(ym|xm) |
Вероятности, которые расположены по главной диагонали, определяют правильный прием, остальные — ложный. Значения цифр, заполняющих колонки или строки канальной матрицы, обычно уменьшаются по мере удаления от главной диагонали и при полном отсутствии помех все, кроме цифр, расположенных на главной диагонали, равны нулю.
Данная канальная матрица описывает влияние помех со стороны источника сообщений. Прохождение сигнала в канале связи описывается распределением условных вероятностей
Вероятности, расположенные в одной строке таблицы, составляют полную группу событий.
Потери информации, которые приходятся на сигнал xi можно определить через частную условную энтропию, вычисляемую по формуле (2). Чтобы учесть потери при передаче всех сигналов по каналу связи необходимо вычислить полную условную энтропию по формуле (3)
Если исследуется канал со стороны приемника, то существует вероятность, что при получении сигнала yj был послан какой-то из сигналов x1, x2 ... xm (т. е. yj – известен, xi - неопределен).
При этом канальная матрица имеет вид:
|
|
y1 |
y2 |
... |
yj |
... |
ym |
|
x1 |
p(x1|y1) |
p(x1|y2) |
... |
p(x1|yj) |
... |
p(x1|ym) |
|
x2 |
p(x2|y1) |
p(x2|y2) |
... |
p(x2|yj) |
... |
p(x2|ym) |
|
... |
... |
... |
... |
... |
... |
... |
|
xi |
p(xi|y1) |
p(xi|y2) |
... |
p(xi|yj) |
... |
p(xi|ym) |
|
... |
... |
... |
... |
... |
... |
... |
|
xm |
p(xm|y1) |
p(xm|y2) |
... |
p(xm|yj) |
... |
p(xm|ym) |
В этом случае вероятности, расположенные в одном столбце, составляют полную группу событий, и их сумма должна равняться единицы.
Канальная матрица может быть использована для расчета потерь при приеме сигналов yj, как частная энтропия и полная условная энтропия, вычисляемые по формулам:
