- •Проблемы теории информации
- •Вклад ученых в теорию информации
- •Система передачи сообщений
- •Информация
- •Источник сообщений
- •Сигналы
- •Меры информации
- •Аддитивная мера Хартли
- •Статистическая мера информации
- •Канал передачи данных
- •Пропускная способность
- •Канал с помехами
- •Кодирование данных
- •Принцип взаимоодназночности.
- •Характеристики кода.
- •Основные проблемы спс
- •Канал без шума (идеальный канал)
- •Теорема Шеннона
- •Кодирование коррелированной последовательности знаков
- •Недостатки систем эффективного кодирования
Принцип взаимоодназночности.
Д воичные коды
Неизбыточные Избыточные
Равномерные Неравномерные Равномерные
2-10 Простые (бодо) Отраженные Шеннона-Фано Хаффмена Блочные Непрерывные
Разделяемые Неразделяемые Сверточные Цельные
Систематические Несистематические
Характеристики кода.
Код – это множество кодовых комбинаций, которые обозначают дискретные сообщения.
1) Длина кода n – это количество разрядов кодовой комбинации.
2) Основание кода – это количество символов, используемых для образования кодовых комбинаций или алфавита.
3) Мощность кода – это число кодовых комбинаций, которые используются для передачи сообщений.
4) Полное число кодов комбинации N.
5) Количество проверочных символов в кодовой комбинации.
6) Избыточность кода как отношение R=r/n – это количество, где r – количество проверочных символов.
7) Скорость передачи кодовых комбинаций.
8) Вес кода – это количество единиц в кодовой комбинации.
9) Кодовое расстояние между кодовыми комбинациями – это число одноименных разрядов, у которых не совпадают биты.
А = 1 0 1
В = 1 0 0
d (A - B) = 1
10) Вероятность необнаруженной ошибки – это вероятность такого события, при котором принятая кодовая комбинация отличается от переданной, а свойства данного кода не позволяют определить факта ошибки.
Избыточные отличаются от неизбыточных тем, что в них кроме битов, которые несут основное сообщение, имеются дополнительные корректирующие биты определенной длины и приписанные в конец сообщения.
Равномерные отличаются от неравномерных тем, что все кодовые комбинации имеют одинаковую длину в то время как неравномерные не придерживаются этого правила.
Отраженные коды характерны тем, что они используются в аналогово-цифровых преобразователях.
Неравномерные коды – имеют разную длину и относятся к оптимальным кодам.
Избыточные коды – это коды, комбинации которых разбивают на информационные разряды и проверочные разряды. Эти коды называются разделенными (n, k)
Блочные коды имеют постоянную длину и образуются, как правило, разбиением потока бит на куски, называемые блоками. Длина блока может быть разной.
Неразделяемые коды нельзя разделить.
В несистемных блоках проверочные символы представляют собой суммы подблоков с l разрядами, на которые разделена информационная часть кода.
Самый большой класс, используемый на практике – систематические коды. Они отличаются тем, что у них проверочные символы определяются в результате проведения линейных операций над определенными группами информационных символов. Это класс линейных кодов.
К систематическим относятся:
1) код проверки на четность;
2) коды с повторениями;
3) инверсные;
4) коды Хэвинга;
5) коды Голлея;
6) коды Риды-Саламона;
7) коды циклические.