Теорема Шеннона для каналов без помех и с ними Теорема Шеннона для канала без помех

Пусть источник сообщений имеет производительность H (U) =  _CH(U), а канал имеет пропускную способность C = _K log M. Тогда можно закодировать сообщения на выходе источника таким образом, чтобы получить среднее число кодовых символов приходящихся на элемент сообщения  = _K _C = (H(U) log M)+ (2.2), где  - сколь угодно мало (прямая теорема).

Получить меньшее значение  невозможно (обратная теорема). Обратная часть теоремы утверждающая, что невозможно получить значение  = _K / _C  H(U)/ log M (2.3), может быть доказана если учесть, что неравенство (2.3) эквивалентно неравенству  _C H(U)   _K log M, H (U)  C. Последнее неравенство не может быть выполнено т.к. рассматриваемое кодирование должно быть обратимым преобразованием (т.е. без потерь информации). Энтропия в секунду на входе канала или производительность кодера не может превышать пропускную способность канал.

В любом реальном канале всегда присутствуют помехи. Однако, если их уровень настолько мал, что вероятность искажения практически равна нулю, можно условно считать, что все сигналы передаются неискаженными. В этом случае среднее количество информации, переносимое одним символом равно I(U,Z)=I(U,U)=H(U).

Реальные каналы характеризуются тем, что на каналы всегда воздействуют помехи. Пропускная способность дискретного канала с помехами вычисляется по формуле (*).

Где средняя, условная энтропия со стороны приемника сигналов

А энтропия принимаемых сигналов определяется из условия максимального значения H’(y)= log m.

Теорема Шеннона для дискретного канала с шумом

Данная теорема является фундаментальным положением Теории Информации и называется так же основной теоремой кодирования Шеннона. Она может быть сформулирована следующим образом: если производительность источника сообщений H (U) меньше пропускной способности канала С т.е. H(U) C, то существует такая система кодирования которая обеспечивает возможность передачи сообщений источника со сколь угодно малой вероятностью ошибки (или со сколь угодно малой ненадежностью).

Если H(U)  C, то можно закодировать сообщение таким образом, что ненадежность в единицу времени будет меньше чем H(U)-C+ , где  0 (прямая теорема).

Не существует способа кодирования обеспечивающего ненадежность в единицу времени меньшую, чем H(U)-C (обратная теорема).

В такой формулировке эта теорема была дана самим Шенноном. В литературе часто вторая часть прямой теоремы и обратная теорема объединяются в виде обратной теоремы сформулированной так: если H(U)  C, то такого способа кодирования не существует.

Физический смысл эффекта повышения вероятности при увеличении длительности кодируемых сообщений вытекающего из доказательства прямой теоремы заключается в том, что с ростом Т увеличивается степень усреднения шума действующего в канале и, следовательно, уменьшается степень его мешающего воздействия. Кодирование сообщений длительности Т способом, предполагаемым при доказательстве теоремы Шеннона может начаться лишь тогда, когда сообщение целиком поступило на кодирующее устройство. Декодирование может начаться, когда вся принятая последовательность поступила на декодирующее устройство. Поэтому задержка сообщений во времени между пунктами связи t_зад=2T+t₀, где t₀ - время затрачиваемое на кодирование. Декодирование и прохождение по каналу. При большом Т можно принять, что t_зад=2Т. Из доказательства теоремы ( , где Z – ансамбль входных сигналов дискретного канала) следует важный результат: верность связи тем выше (меньше вероятность ошибки), чем длиннее блок кодированной последовательности (т.е. тем больше разность С-H(U) определяющей запас пропускной способности канала). Итак, следует принципиальная возможность обмена между вероятностью, задержкой и скоростью передачи информации. На практике сложность кодирования и декодирования существенно возрастают с ростом Т поэтому в современных условиях чаще предпочитают иметь умеренное значение Т и добиваться увеличения вероятности за счет менее полного использования пропускной способности канала.