4.4. Основные теоремы кодирования для канала с помехами.

Информационная емкость дискретного (4.4) и пропускная способность непрерывного (4.7) каналов характеризует их предельные возможности как средств передачи информации. Они раскрываются в фундаментальных теоремах теории информации, которые известны как основные теоремы кодирования Шеннона. Применительно к дискретному каналу она гласит:

Теорема 4.4.1. (Прямая теорема кодирования для ДКБП.) Для дискретного канала без памяти при скоростях кода R, меньших информационной емкости , всегда существует код, для которого средняя вероятность ошибки стремится к нулю с ростом длины кодового слова.

В случае же непрерывного канала она формулируется как

Теорема 4.4.2. (Прямая теорема кодирования для АБГШ-канала). По АБГШ–каналу с неограниченной полосой информация может передаваться со сколь угодно малой вероятностью ошибки, если скорость передачи меньше пропускной способности.

Обратная же теорема утверждает:

Теорема 4.4.3. При скорости передачи , большей пропускной способности канала связиC, никакой код не обеспечит произвольно малой вероятности ошибки декодирования, т.е. абсолютно надежной передачи сообщений.

Следует отметить, что если обратная теорема доказывается для произвольной модели канала связи, то прямая только лишь для конкретных типов каналов.

Результаты теорем кодирования для канала с шумами в определенной степени неожиданны. В самом деле, на первый взгляд кажется, что уменьшение вероятности ошибок в передаче сообщений требует соответствующего уменьшения скорости передачи и что последняя должна стремиться к нулю вместе с вероятностью ошибок. Такой вывод, в частности, вытекает из рассмотрения многократной повторной передачи символов по каналу как способа уменьшения вероятности ошибок в передаче сообщений. В этом случае при наличии помех в канале связи обеспечить стремление к нулю вероятности ошибки в передаче сообщения можно только при стремлении скорости передачи к нулю.

Однако теорема кодирования показывает, что в принципе можно вести передачу со скоростью, сколь угодно близкой к C, достигая при этом сколь угодно малой вероятности ошибки. К сожалению, теоремы, указывая на принципиальное существование помехоустойчивого кода, не дают рецепта его нахождения. Можно лишь отметить, что для этого необходимо применять коды большой длины. При этом по мере приближения скорости передачи к пропускной способности и уменьшения вероятности ошибок код усложняется вследствие увеличения длины блоков, что приводит к резкому усложнению кодирующего и декодирующего устройств, а также запаздыванию выдачи информации при декодировании. Применяемые в настоящее время способы кодирования, которые будут рассмотрены в дальнейшем, не реализуют потенциальных возможностей системы связи. Единственным исключением служат открытые в последнее время турбо-коды.

1Этот результат справедлив для любых симметричных каналов.

37