- •Проблемы теории информации
- •Вклад ученых в теорию информации
- •Система передачи сообщений
- •Информация
- •Источник сообщений
- •Сигналы
- •Меры информации
- •Аддитивная мера Хартли
- •Статистическая мера информации
- •Канал передачи данных
- •Пропускная способность
- •Канал с помехами
- •Кодирование данных
- •Принцип взаимоодназночности.
- •Характеристики кода.
- •Основные проблемы спс
- •Канал без шума (идеальный канал)
- •Теорема Шеннона
- •Кодирование коррелированной последовательности знаков
- •Недостатки систем эффективного кодирования
Кодирование коррелированной последовательности знаков
Корреляция – это статистическая взаимосвязь двух или нескольких величин.
Декорреляция исходной последовательности, то есть в этом методе производится укрепление алфавитных знаков. В первичный алфавит заносятся сочетание из двух, трех или n знаков, вероятность появления которых известна. Кодирование таких сочетаний производится точно также как и обычных букв первичного алфавита. Для этого нужно приенить метод Шеннона-Фано или Хаффмена.
Недостаток такого кодирования является отсутствие учета корреляции знаков между знаками, входящими в следующие друг за другом сочетания.
Этот недостаток особенно заметен при малой длине сочетания. При использовании длинных сочетаний он малозаметен.
Метод использования диаграмм, триграмм, l-грамм.
l-грамм это сочетание из l смежных знаков сообщения ди – 2, три – 3 знаков.
l-граммы кодируются также с помощью метода Шеннона-Фано или Хаффмена, но в этом коде код знака l зависит от l-1 предшествующих знаков и определяются по вероятностям различных l–грамм.
Величина l зависит и выбирается в зависимости от степени корреляции знаков сообщения.
Недостатки систем эффективного кодирования
Причина недостатков кроется в разной длине кодового сообщения.
1) Линии связи эффективно используются, когда символы поступают в нее равномерно с постоянной скоростью. Чтобы добиться этого использования метода эффективного кодирования необходимо на источнике сообщения и приемнике установить некоторое буферное устройство (“упругое”) задержки.
2) Появление задержки в передачи информации ещё один недостаток. При кодировании максимальная эффективность достигается при кодировании больших блоков, что при водит к тому, что символы необходимо накапливать для присвоения коду блока символов и также на стороне приемника накапливать символы, чтобы их декодировать и выдавать равномерно. Сумма задержки может быть достаточно большой, особенно если появляется блок с низкой вероятностью.
3) Одиночная ошибка может привести к появлению так называемого трека ошибки, то есть все последующие символы после этой ошибки будут декодированы неправильно так как нет фиксированной длины для кода одной буквы. Существует специальные методы для борьбы с треком ошибок.
4) Относительная техническая сложность систем эффективного кодирования.