Понятие о канальной матрице

Ситуацию с передачей информации по каналу связи с помехами можно описать, используя аппарат марковских цепей.

Посылку в канал в момент времени t_kодного из символовu_iпредставим как нахождение системы в состоянииi. Всего таких состояний –Nu. Прием из канала в следующий момент времениt_k+1одного из символовv_jпредставим как переход системы из состоянияi в состояниеj. Интервал времениt_k+1-t_kравен средней длительности передачи одного символаτ. Вероятности нахождения системы в состоянииiравны вероятности генерации источником символаu_i. Вероятности перехода за время из состоянияiв состояниеj равны условной вероятностиp(v_j|u_i) принятия символаv_jпри условии, что послан символu_i.Таким образом, функционирование системы на одном шаге описывается вектором начальных вероятностейp(u_i), (i=),представляющим собой распределение вероятностей символов первичного алфавита, и матрицей переходных вероятностейp(v_j|u_i) размеромNu×Nv.

Матрица переходных вероятностей называется канальной матрицей.

Пропускная способность бинарного симметричного канала с помехами типа «инверсия»

Рассмотрим работу достаточно типичной системы связи, в которой информация передается двоичными сигналами «0» и «1», имеющими разные уровни квантования. Приемное устройство анализирует выход канала в течение промежутка времени, соответствующего длительности элементарного сигнала и вычисляет некоторую скалярную величинуµ(уровень принятого сигнала). Решение принимается сравнениемµс некоторым порогомρ. Приµ > ρпринимается решение в пользу «1», в противном случае, приµ < ρ, решением будет «0». При правильном выборе порогаρвероятности ошибок при передаче сигналов будут одинаковыми, и мы приходим к моделибинарного симметричного канала с инверсией(Б.С.К.И.) Недостаток такой простейшей схемы приема состоит в том, что демодулятор теряет информацию о надежности принимаемых сигналов. Очевидно, значениямµ ≈ ρсоответствуют ненадежные решения, и эти сведения могут быть полезными при последующей обработке информации.

Сформулируем модель Б.С.К.И. Пусть на вход канала подаются сигналы двух типов (u₁иu₂– например, импульс и пауза) и они же принимаются на выходе, т.е.{u} = {v}, Nu = Nv. Безошибочный прием сигнала означает, что при посылкеu₁принимаетсяv₁, а при посылкеu₂принимаетсяv₂.

Пусть, далее, вероятность ошибки передачи для обоих типов сигналов одинакова и равна p; тогда, вероятность безошибочной передачи равна1 - p. То есть можно записать:

P(v₁|u₁) = P(v₂|u₂) = 1 – p; P(v₂|u₁) = P(v₁|u₂) = p,

В виде графа такой канал можно представить так:

1-p

u₁ v₁

p

p

u₂ v₂

1-p

Рис.4.5. Граф передачи сигнала в бинарном симметричном канале с инверсией

Линии со стрелками указывают, в какие принимаемые сигналы могут перейти те, что отправлены на входе; рядом со стрелками указаны вероятности соответствующих переходов. Эту же систему можно представить в виде матрицы переходов марковской цепи с переходными вероятностями:

P(v|u)	v1	v2
u1	1-p	p
u2	p	1-p

Такой канал называется двоичным симметричным.

Найдем пропускную способность канала. Потребуется вычислить I(u,v), найти скорость передачи информации и установить ее максимум как функции от вероятности ошибкир.

I(u,v) = H(v) – H(v|u)

Вычислим энтропию принятого сигнала:

H(v) = - P(v₁)∙log₂P(v₁) – P(v₂)∙log₂P(v₂)

и энтропию шума:

H(v|u) = -P(u₁)∙(P(v₁|u₁)∙log₂P(v₁|u₁) + P(v₂|u₁)∙log₂P(v₂|u₁)) –  P(u₂)∙(P(v₁|u₂)∙log₂P(v₁|u₂) + P(v₂|u₂)∙log₂P(v₂|u₂)).

Подставляя вероятности из матрицы перехода, получим:

H(v|u)=-P(u₁)∙((1-p)∙log₂(1-p)+p∙log₂p)-P(u₂)∙(p∙log₂p+(1-p)∙log₂(1-p)) =

= -(P(u₁)+P(u₂))∙((1-p)∙log₂(1-p)+p log₂p))= -(1-p)∙log₂(1-p)–p∙log₂p)

При заданных вероятностях ошибок энтропия H(v|u)– величина постоянная. Максимум скорости передачи информации можно искать, варьируя вероятностями P(v_i). Известно, что для бинарной системы энтропия будет максимальна, если сигналы равновероятны, и равна при этом 1, то есть H(v) = 1. Значит, пропускная способность будет равна

(4.14)

График функции С(р)изображен на рисунке 4.6.

Рис. 4.6. Зависимость пропускной способности от вероятности ошибок.

Максимального значения равного 1/τфункцияCдостигает приp = 0(очевидно, это означает отсутствие помех) и приp = 1, что соответствует ситуации, когда канал полностью инвертирует входные сигналы (т.е. заменяет0на1, а1на0) - это не служит препятствием для однозначной идентификации посланного сигнала по принятому и, следовательно, не снижает пропускной способности канала. Во всех остальных ситуациях (т.е. при0 < p < 1) верно неравенствоC < 1/τ. Наконец, приp = 0.5пропускная способность становится равной0– это вполне естественно, поскольку вероятность искажения0.5означает, что независимо от того, какой сигнал был послан, на приемном конце с равной вероятностью может появиться любой из двух допустимых сигналов. Ясно, что передача в таких условиях оказывается невозможной.

Поскольку канал двоичный, 1/τ = 1/τ₀ = C₀(так обозначимидеальную пропускную способность, то есть пропускную способность двоичного канала без помех). Произведя соответствующую замену, получим:

(4.15)

Выражение в скобках не превышает 1, следовательно, справедливо соотношение:С ≤ C₀, т.е. можно считать доказанным, что наличие помех снижает пропускную способность (и даже может сделать ее равной0).