Рассмотрение полученных результатов.
Применение приближения к идеальному методу передачи основывается на положении о том, что при изменении сигнала шумом в умеренных пределах оригинал все еще может быть восстановлен. Т. е. изменение не делает (в общем случае) принимаемый сигнал ближе к другим возможным сигналам, чем к оригиналу. Это достигается введением избыточности в кодировании, которая должна быть введена способом, приспособленным для борьбы с шумами определенной структуры, действующими на канал. Любая избыточность источника, используемая в точке приема, будет помогать борьбе с искажениями сигнала. В практике телекоммуникаций избыточность алфавита языка (русский, английский и др.) не устраняется, что помогает в борьбе с шумом.
Как и в случае отсутствия шума, для приближения е идеальному кодированию требуется некоторая временная задержка. Теперь она приобретает новую функцию, позволяя воздействовать на сигнал большой выборкой шума до того, как будет сделано какое – либо суждение в точке приема относительно исходного сообщения. Увеличение объема выборки всегда уточняет возможные статистические утверждения.
Содержание предыдущей теоремы и её доказательство могут быть сформулированы несколько иным способом, который яснее выявляет связь со случаем отсутствия шума. Рассмотрим возможные сигналы длительности Т и предположим, что из них выбирается для использования некоторое подмножество. Пусть все сигналы этого подмножества используются с одинаковой вероятностью, и предположим, что приемник сконструирован так, что он выбирает в качестве исходного сигнала тот элемент из нашего подмножества, для которого наиболее вероятно перейти в искаженный сигнал. Обозначим через N(T, q) максимальное число сигналов, которые можно выбрать для нашего подмножества так, чтобы вероятность неправильной интерпретации была бы меньше или равна q.
ТЕОРЕМА. Если q не равно 0 или1, то
где С – пропускная способность канала.
То есть, независимо от требований надежности можно за время Т уверенно различить достаточное количество сообщений, соответствующее примерно СТ битам. если Т достаточно велико. Приведенное выражение можно сравнить с определением пропускной способности канала без шума, приведенным в первой части лекции.
Пример дискретного канала и его пропускной способности.
И
принятые символы p p q q
переданные символы
Рис. 3 Пример дискретного канала.
Первый символ не подвергается воздействию шума. Второй и третий символы имеют вероятность р пройти неискаженными и вероятность q превратиться в другой символ той же пары. Пусть
α = - [p log p – q log q] [10]
и P,Q и Q – вероятности передачи соответственно первого, второго и третьего символов (Q = Q из очевидной симметрии). Тогда, с учетом [10], имеем
H(x) = -P log P – 2Q log Q,
H y(x) = 2Qα. [11]
Требуется выбрать Р и Q так, чтобы максимизировать разность H(x) – H y (x), обеспечив наиболее эффективное использование пропускной способности канала и соблюдая при этом условие P + 2Q = 1. Рассмотрим выражение
U = - P log P -2Q log Q – 2Qα + λ(P = 2Q),
которое получено подстановкой значений [11] в разность, причем введен фактор шума λ. Продифференцировав по Р и Q, получим
Исключив λ, имеем
log P = log Q + α,
P = Q x 2α = Qβ,
Пропускная способность канала равна
[12]
Полученные выражения дают очевидные ответы в случаях р = 1 и р = 1/2. В первом случае β = 1 и С = log 3, что соответствует действительности, так как имеем дело с каналом без шума с тремя возможными символами. Если р = 1/2, то β = 2 и, следовательно, С = log 2. Здесь второй и третий символы не могут быть отличены друг от друга и воспринимаются как один символ. Первый символ передается с вероятностью Р = 1/2 и второй с третьим вместе – с вероятностью 1/2. Эта вероятность может быть распределена между вторым и третьим символами произвольным образом, и при этом всегда будет достигаться максимальная пропускная способность.
При промежуточных значениях р пропускная способность канала будет заключена между log 2 и log 3.Различие между вторым и третьим символами несет некоторое количество информации, но не так много , как в случае отсутствия шума.