- •В.Г. Ланских теория информации
- •Предисловие
- •Содержание
- •Лекция 1 введение
- •Глава 1.
- •1.1. Случайные события и их вероятности
- •Случайные величины и процессы
- •1.2.1. Дискретные случайные величины и процессы
- •1.2.2. Непрерывные случайные величины и процессы
- •1.3. Методы спектрального описания случайных процессов
- •1.3.1. Понятие спектра детерминированного процесса
- •1.3.2. Спектральное описание случайных процессов
- •1.4. Дискретизация и квантование
- •1.4.1. Дискретизация
- •1.4.2. Квантование
- •1.5. Классификация помех
- •1.6. Модели каналов
- •1.6.1. Модели дискретных каналов
- •1.6.2. Модели непрерывных каналов
- •1.7. Методы модуляции
- •1.7.1. Непрерывные методы модуляции и манипуляции
- •1.7.2. Методы импульсной модуляции
- •1.7.3. Методы цифровой модуляции
- •1.8. Согласование характеристик сигнала и канала
- •Глава 2 количественные оценки информационных объектов и процессов
- •2.1. Подходы к определению количества информации
- •Основы статистического подхода к определению количества информации
- •2.3. Энтропия объединения (ансамбля)
- •2.4. Основная теорема Шеннона для дискретного канала
- •2.5. Энтропийные характеристики непрерывных информационных
- •Глава 3 основы теории кодирования
- •3.1. Назначение и классификация кодов
- •3.2. Эффективное кодирование
- •3.3. Помехоустойчивое кодирование
- •3.3.2. Классификация избыточных двоичных кодов
- •3.3.3 Простейшие блоковые коды с обнаружением ошибок
- •3.3.4. Групповые коды с обнаружением и исправлением ошибок
- •Важнейшие классы полиномиальных кодов
- •3.3.5. Сверточные коды
- •3.3.6. Каскадные коды
- •3.3.7. Оценка эффективности применения корректирующих кодов
Глава 2 количественные оценки информационных объектов и процессов
2.1. Подходы к определению количества информации
Одним из фундаментальных понятий теории информации является понятие количества информации. В связи с этим возникает вопрос об установлении меры количества информации.
Существует множество различных подходов и, следовательно, различных мер количества информации. Основными из этих подходов являются структурный, статистический и семантический подходы.
При структурном походе рассматривается строение и структура массивов информации и их измерение простым подсчетом максимально возможного количества информационных элементов, которое определяется этой структурой. Под информационными элементами понимаются неделимые частицы – кванты информации в дискретных моделях реальных информационных комплексов, а также элементы алфавитов в числовых системах. При структурном подходе различают геометрическую, комбинаторную и аддитивную меры информации.
Геометрической мерой определяется потенциальное, т.е. максимально возможное количество информации в заданных структурных габаритах, называемое информационной емкостью информационной системы. Информационная емкость может быть представлена числом, показывающим, какое количество квантов содержится в массиве информации.
К комбинаторной мере целесообразно прибегать тогда, когда требуется оценить возможность передачи информации при помощи различных комбинаций информационных элементов. Образование комбинаций есть одна из форм кодирования информации. Количество информации в комбинаторной мере вычисляется как количество комбинаций элементов. Таким образом, оценке подвергается комбинаторное свойство потенциального структурного разнообразия информационных систем. Комбинирование возможно в системах с неодинаковыми элементами, переменными связями или разнообразными позициями.
Наибольшее распространение получила аддитивная мера, так называемая мера Хартли, измеряющая количество информации в двоичных единицах. Таким образом, структурный подход применяется для оценки потенциальных возможностей информационной системы вне зависимости от условий ее применения.
При статистическом подходе учитывается вероятностный характер появления того или иного сообщения и устанавливается зависимость количества информации, содержащегося в сообщении, от вероятности появления этого сообщения. Таким образом, статистический подход учитывает конкретные условия применения информационных систем.
С другой стороны, при статистическом подходе совершенно не учитывается смысловое содержание и субъективная ценность сообщения.
Для оценки этих и других подобных характеристик используется семантический подход к установлению количественной меры информации. Семантический подход вводит меры содержательности, целесообразности и существенности информации.
Оценка содержательности информации требует формализации смысла. За основу описания объекта берется атомарное, т.е неделимое предложение или квант сообщения. Мерой измерения смысла являются функции истинности и ложности логических высказываний. Эти функции имеют формальное сходство с функциями вероятности события и его отрицания в теории вероятностей. Отличие вероятностной оценки от логической состоит в том, что в первом случае учитывается вероятность реализации тех или иных событий, а во втором – меры истинности или ложности событий, что приближает их к оценке смысла информации.
В качестве меры целесообразности информации предлагается использовать изменение вероятности достижения цели при получении информации. Полученная информация может не изменять вероятность достижения цели, и в этом случае мера ее целесообразности равна нулю, она может уменьшать вероятность достижения цели и тогда будет равна отрицательной величине, или увеличивать вероятность достижения цели и принимать положительное значение.
Функция существенности отражает степень важности информации о том или ином значении параметра события с учетом времени и пространства.
В настоящем курсе будет рассматриваться только статистический подход к установлению количественной меры информации. Это объясняется тем, что статистический подход так или иначе включает в себя структурный подход в качестве частного предельного случая, а основы семантического подхода являются предметом изучения в последующих дисциплинах учебного плана специальности.