Вопрос 23.

Пропускная способность (цифровых) каналов

с шумами

Для дискретного канала с шумами (рис. 3.1) количество информации, содержащейся в последовательности выходных сигналов Z_T о входных сигналах Y_T, cоставит:

I(Z_T,Y_T) = H(Z_T) – H(Z_T /Y_T) = H(Y_T) – H(Y_T /Z_T) , (3.5)

где H(Z_T /Y_T) и H(Y_T /Z_T) – условные энтропии.

Для последовательности сообщений длительностью Т, содержащей m сигналов источника, имеем

H(Z_T)= mH(Z), (3.6)

где H(Z) – энтропия выходного сигнала или энтропия выхода канала, рассматриваемого как эргодический источник.

Аналогично для условной энтропии выхода канала запишем:

H(Z_T /Y_T) = mH(Z/Y). (3.7)

Тогда из (3.5)  (3.7) находим

I(Z_T,Y_T) = mH(Z) – mH(Z/Y) . (3.8)

Скорость передачи в дискретном канале с шумами с учетом (3.8) составит

, (3.9)

где – средняя длительность сигнала одного сообщения.

Аналогично с учетом (3.5) найдем

. (3.10)

В равенстве (3.10) – поток информации на выходе кодирующего устройства, характеризует потерю информации, обусловленную действием помех.

Из соотношений (3.9) и (3.10) пропускная способность канала может быть определена из условия

.

Вопрос 24. Приведите модель двоичного канала с шумами

В качестве примера рассмотрим двоичный канал связи без памяти. Каналами без памяти называются такие каналы, у которых на каждый передаваемый сигнал (символ) шум действует независимо от того, какие символы передавались ранее. Длительности передаваемых символов двоичного кода у₀ и у₁ («0» и «1») примем одинаковыми и равными , следовательно, _с=.

На выходе канала используется решающее устройство (РУ), с помощью которого принимаемые сигналы разделяются на две области z₀ и z₁ так, что если сигнал попадает в область z₀, то считается (принимается решение), что был передан сигнал y₀, а если в z₁, то – у₁.

Решающее устройство допускает принятие и ошибочных решений. Например, сигнал у₁ может быть искажен помехой так, что он окажется в области z₀, в результате чего РУ принимает ошибочное решение, вероятность которого обозначим P(z₀/y₁) = P_I. Аналогичное ошибочное решение может быть принято и для сигнала у₀. Вероятность этого решения составит P(z₁/y₀)=P_II.

Очевидно, что при данных обозначениях вероятности правильного решения будут P(z₀/y₀)=1–P_II и P(z₁/y₁)=1–P_I. Для краткости записи обозначим априорные вероятности передачи сигналов P(y₀)=P₀ и P(y₁)=P₁=1–P₀. Для рассматриваемого двоичного канала введенные обозначения схематично показаны на рис. 3.2 в виде следующей модели.

Используя правила теории вероятностей, можно найти значения априорных вероятностей различных решений, принимаемых на выходе канала:

3.12)

Рис. 3.2. Модель двоичного канала

Для вычисления пропускной способности рассматриваемого канала находим

, (3.13)

или в принятых обозначениях вероятностей с учетом (3.12):

(3.14)

Подставив найденные значения и в формулу (3.9), получим соотношение, определяющее скорость передачи информации , из которого может быть найдено оптимальное значение априорной вероятности (Р_0опт) передачи сигнала у₀, при котором принимает максимальное значение, равное пропускной способности канала С_с.

Для иллюстрации изложенного рассмотрим в качестве примера симметричный двоичный канал без памяти. В этом канале P_I = P_II = P_ош, т.е. вероятности ошибочного приема сигналов (символов) у₀ и у₁ одинаковы. Тогда из (3.14) находим

.

Очевидно, не зависит от Р₀. В таком случае скорость передачи информации (3.9) будет максимальной, когда величина примет наибольшее значение. Из свойств энтропии следует, что это условие выполняется, когда P(z₀)=P(z₁)=0,5, и в этом случае .

Таким образом, для симметричного двоичного канала пропускная способность

. (3.15)

Как отмечалось ранее, для достижения максимальной скорости передачи информации необходимо в кодирующем устройстве обеспечить такое формирование символов кода, при котором Р₀=Р_0опт. Значение Р_0опт можно вычислить из выражений (3.12), приняв во внимание P_I=P_II=P_ош и P(z₀)=P(z₁). Путем вычитания из (3.12) находим:

Р_0опт(1–Р_ош)+(1–Р_0опт)Р_ош – (1–Р_0опт)(1–Р_ош) –Р_0оптР_ош = 0.

Далее можем получить 1 – 2Р_0опт = 2Р_ош (1 – 2Р_0опт), откуда Р_0опт = 0,5.

Таким образом, условие обеспечения максимальной скорости передачи информации в симметричном канале с шумами такое же, как и в канале без шумов. Однако наличие шумов, приводящих к ошибкам, снижает пропускную способность каналов.

На рис. 3.3 приведен график зависимости С_с от Р_ош, полученный из формулы (3.15).

Как видно из этого графика, при Р_ош= 0,5 пропускная способность канала С_с= 0. Этот результат станет очевидным, если учесть, что для значения Р_ош= 0,5 при передаче каждого из символов на выходе канала с равной вероятностью может быть принято решение z₀ и z₁.

Эти решения могут иметь такую же ценность, как если бы передача сигналов прекратилась, и на выходе канала принималось бы решение по результатам бросания монеты (цифра или герб). Интересно также отметить, что если Р_ош  0,5, то с увеличением Р_ош пропускная способность канала возрастает. Этот, на первый взгляд, парадоксальный вывод становится очевидным, если принять во внимание, что мы всегда можем изменить правило распознавания символов на обратное, т.е. считать, что решение z₁ соответствует передаче символов у₀, а решение z₀ – передаче символа у₁. Тогда вероятность принятия ошибочного решения станет равной 1 – Р_ош.

Рис. 3.3. График зависимости С_с от Р_ош