- •Лекция №1. Теория информации.
- •1.2 Основные понятия комбинаторики.
- •1.3 Случайные модели в теории информации.
- •1.4 Основные понятия теории информации
- •Этапы обращения информации:
- •Практическое занятие
- •Лекция №2. Меры информации
- •1.Энтропия всегда неотрицательна.
- •3.Энтропия сообщения максимальна, если события равновероятны.
- •4.Энтропия аддитивна.
- •Аксиомы Хинчена
- •Аксиомы Фадеева
- •2.4 Понятие совместной энтропии.
- •Лекция №3 .Источники информации и их энтропия.
- •Лекция №4 оптимальное и эффективное кодирование
- •4.3.3. Арифметическое кодирование.
- •Лекция № 5 помехоустойчивое кодирование
- •5.1 Классификация помехоустойчивых кодов.
- •5.2 Параметры (характеристики) помехоустойчивых кодов и их границы. Корректирующие свойства кодов.
- •0 Запрещенные кодовые комбинации00
- •5.3.Линейные (систематические) коды.
- •5.3.1.Механизмы кодирования и синдромного декодирования.
- •100 → Ошибка в b1,
- •5.3.2. Матричное представление линейных (систематических) кодов.
5.2 Параметры (характеристики) помехоустойчивых кодов и их границы. Корректирующие свойства кодов.
Основными характеристиками помехоустойчивых кодов являются:
Длина кода n;
Основание кода m;
Общее число кодовых комбинаций N;
Число разрешенных кодовых комбинаций Nр;
Избыточность кода ;
Кодовое расстояние d.
Длина кода - число символов в кодовой комбинации n. Если кодовые комбинации содержат одинаковое число символов, то они называются равномерными.
Основание кода - это число различных символов кода, т.е это основание системы счисления, которую используют для кодирования.
Если коды двоичные, то .
Число разрешенных кодовых комбинаций Nр для разделимых определяется из общего числа выходных последовательностей только последовательностями, соответствующими входным.
Главное, что запрещенные кодовые комбинации для передачи информации не используются.
Избыточность кода в общем случае определяется выражением:
Избыточность кода показывает, какая доля кодовых комбинаций не используется для передачи информации, а используется для повышения помехоустойчивости.
Для двоичных кодов соответственно можно выразить через:
- относительная скорость кода
Кодовое расстояние d - число позиций, в которых две кодовые комбинации отличаются друг от друга. Кодовое расстояние можно найти в результате сложения по модулю 2 одноименных разрядов кодовой комбинации.
Например. A=01101
B=10111
11010 → d=3
Кодовое расстояние часто называют кодом Хемминга. Кодовое расстояние между различными комбинациями конкретного кода может быть различным.
Минимальное кодовое расстояние - это минимальное расстояние между разрешенными кодовыми комбинациями данного кода. является основной характеристикой корректирующей способности кода.
Декодирование после приема может производиться таким образом, что принятая комбинация отождествляется с той разрешенной, которая находится от нее на наименьшем кодовом расстоянии. Такое декодирование называется декодированием по методу максимального правдоподобия.
Например, при d=1 все кодовые комбинации называют разрешенными. Пусть n=3 , кодовые комбинации: 000, 001, 010, 100, 110, 111, 101. Любая одиночная ошибка в таком коде переводит заданную разрешенную комбинацию в другую разрешенную комбинацию. Это случай без избыточного кода, не обладающего корректирующей способностью.
Если предположить, что d=2, и для n=3 сформируем набор разрешенных комбинаций:
000, 011, 101, 110 - разрешенные комбинации;
001, 010, 100, 111 - запрещенные комбинации.
При этом однократная ошибка переведет кодовую комбинацию из категории разрешенных в категорию запрещенных. Этот факт позволяет обнаружить наличие ошибки. Эти ошибки будут обнаружены, если кратность их нечетная. При d=2 и более в кодах появляется корректирующее свойство.
В общем случае при необходимости обнаружения ошибки с кратностью s очевидно, что (граница обнаружения ошибки кратностью s).
Для исправления одиночной ошибки в разрешенной кодовой комбинации необходимо составить подмножества кодовых комбинаций, зная, в каком подмножестве запрещенных кодовых комбинаций окажется принятая, можно точно восстановить переданную комбинацию, т.е. исправить ошибки.
Рассмотрим случай, когда d=3 и n=3.
001
010
100
Разрешенные
кодовые комбинации