Методика построения помехоустойчивых кодов. Информационный предел избыточности

Кодирование позволяющее устранять избыточность источников сообщений называется эффективным или статистическим. Коды, получаемые в результате такого кодирования, называются эффективными или статистическими

Кодирование с помощью которого можно устранять ошибки обусловленные наличием шума в канале называется помехоустойчивым. Коды способные исправлять и обнаруживать ошибки называется помехоустойчивым кодом. К сожалению основная теорема кодирования Шеннона не конструктивна, она не указывает способ построения конкретного оптимального помехоустойчивого кода, обеспечивающего предельное согласование сигнала с каналом, существование которого доказывает. Вместе с тем обосновав принципиальную возможность построения помехоустойчивых кодов, обеспечивающих идеальную передачу. Теория Шеннона мобилизовала усилия ученых на разработку конкретных кодов. В результате в настоящее время теория помехоустойчивого кодирования превратилась в самостоятельную науку в развитии которой достигнуты большие успехи.Рассмотрим основополагающие принципы заложенные в основу построения помехоустойчивых кодов.

Рассмотрим принцип построения помехоустойчивых блочных кодов. Избыточность обуславливающая корректирующие свойства равномерного блочного кода обычно вводится за счет выполнения неравенства mⁿ>M (2.29), где m-основание кода т.е. объем алфавита используемых кодовых символов, n-длина или количество разрядов кодовой комбинации, М-количество сообщений подлежащих кодированию. Выполнение этого неравенства означает, что для передачи знаков сообщения используют лишь часть М возможных кодовых комбинаций. Используемые кодовые комбинации называют разрешенными. Неиспользуемые mⁿ -M комбинации являются запрещенными. На вход канала подаются только разрешенные комбинации. Если вследствие помех один или несколько символов приняты ошибочно, то на выходе канала появляется запрещенная комбинация, что и говорит о наличии ошибки. R=n-K разрядов кодовой комбинации необходимых для передачи полезной информации называются проверочными. Количество их и определяет избыточность помехоустойчивого кода.Максимальные числа ошибок в кодовой комбинации q и S, которые могут быть обнаружены (q) или исправлены (S) с помощью данного кода называются соответственно обнаруживающей или исправляющей способностью кода. В значении q и S определяются величиной d_min минимальным кодовым расстоянием между ближайшими разрешенными комбинациями. Под кодовым расстоянием понимают количество неодинаковых разрядов в кодовых комбинациях. Величина d_min в помехоустойчивом коде зависит от соотношения n и К т.е. от числа r проверочных разрядов кода.

В безызбыточном коде все комбинации являются разрешенными, d_min =1. Дост-но только иск-ся одному символу, и будет ош. в сооб-и.

Для решения поставленной задачи определим минимальное количество информации, которой может быть описана совокупность событий, включающая появление одной из конкретных ошибок и отсутствие ошибок или появление некорректных ошибок. Зная эту величину и максимальное количество информации, которое может содержать один проверочный символ кода можно определить минимальное число проверочных символов. Количество информации необходимо для описания указанных событий (2.31) (в случае отсутствия ошибки учтем включением нуля в предел суммирования). Максимальное количество информации, которое может содержать символ кода с основанием m в соответствии с (1.6) равно log₂m. Следовательно, число проверочных разрядов в комбинации кода не может быть меньше, чем (2.32). Определенную таким образом величину r_min называют информационным пределом избыточности.