- •1. Понятие информатики
- •2. Понятие и характерные черты информации
- •Свойства информации
- •3. Виды сигнала как материального носителя информации
- •Преобразования сигнала
- •4. Системы счисления
- •5. Правила перевода чисел
- •Правила перевода целых чисел
- •Правила перевода правильных дробей
- •Правило перевода неправильных дробей
- •6. Кодирование по образцу
- •0001011101000011
- •0010 0000 0001 0010
- •2 0 1 2
- •00010100
- •Ascii-коды
- •Коды, учитывающие частоту информационных элементов
- •Коды Грея
- •7. Криптографическое кодирование
- •Метод простой подстановки
- •Метод Виженера
- •8. Эффективное кодирование
- •Универсальные методы
- •Метод Шеннона-Фано
- •Метод Хаффмена
- •9. Повышение эффективности кодирования универсальными кодами
- •Декодирование эффективных кодов
- •10. Специальные методы эффективного кодирования
- •Методы эффективного кодирования числовых последовательностей
- •2 14 18 27 34
- •2 12 4 9 7.
- •55556666888888
- •5(4)6(4)8(6),
- •Методы эффективного кодирования словарей
- •Методы эффективного кодирования естественно-языковых текстов
- •11. Помехозащитное кодирование
- •Искажение кодовых комбинаций
- •Кодовое расстояние и корректирующая способность кода
- •12. Коды, исправляющие ошибки
- •13. Измерение дискретного сигнала
- •Структурный подход к измерению информации
- •Геометрическая мера
- •Комбинаторная мера
- •Аддитивная мера
- •14. Статистический подход к измерению информации
- •Семантический подход к измерению информации
- •Полезность информации
- •Истинность информации
- •15. Структура компьютера и принципы его функционирования
- •16. Устройство управления
- •17. Арифметико-логическое устройство
- •18.Формы представления целых чисел
- •Формы представления вещественных чисел
- •Коды представления числовых данных
- •19.При сложении целых чисел последовательность шагов следующая:
- •20.Правило сложения вещественных чисел.
Комбинаторная мера
Оценивает возможность представления информации при помощи различных комбинаций информационных элементов в заданном объеме. Использует типы комбинаций элементов и соответствующие математические соотношения, которые приводятся в одном из разделов дискретной математики – комбинаторике.
Комбинаторная мера может использоваться для оценки информационных возможностей некоторого автомата, который способен генерировать дискретные сигналы (сообщения) в соответствии с определенным правилом комбинаторики.
Комбинаторная мера используется для определения возможностей кодирующих систем, которые широко используются в информационной технике.
Следует отметить, что все коды постоянной длины формируются по правилам комбинаторики или их комбинациям.
Комбинаторная мера является развитием геометрической меры, так как помимо длины сообщения учитывает объем исходного алфавита и правила, по которым из его символов строятся сообщения.
Особенностью комбинаторной меры является то, что ею измеряется информация не конкретного сообщения, а всего множества сообщений, которые могут быть получены.
Единицей измерения информации в комбинаторной мере является число комбинаций информационных элементов.
Аддитивная мера
Эта мера предложена в 1928 году американским ученым Хартли, поэтому имеет второе название – мера Хартли. Хартли впервые ввел специальное обозначение для количества информации – I и предложил следующую логарифмическую зависимость между количеством информации и мощностью исходного алфавита:
I = l log h,
где I – количество информации, содержащейся в сообщении;
l – длина сообщения;
h – мощность исходного алфавита.
Данная формула даёт аналитическое определение бита (BIT - BInary digiT) по Хартли: это количество информации, которое содержится в двоичной цифре.
Единицей измерения информации в аддитивной мере является бит.
14. Статистический подход к измерению информации
В 30-х годах ХХ века американский ученый Клод Шеннон предложил связать количество информации, которое несет в себе некоторое сообщение, с вероятностью получения этого сообщения.
Вероятность p – количественная априорная (т.е. известная до проведения опыта) характеристика одного из исходов (событий) некоторого опыта. Измеряется в пределах от 0 до 1. Если заранее известны все исходы опыта, сумма их вероятностей равна 1, а сами исходы составляют полную группу событий. Если все исходы могут свершиться с одинаковой долей вероятности, они называются равновероятными.
Пусть можно получить n сообщений по результатам некоторого опыта (т.е. у опыта есть n исходов), причем известны вероятности получения каждого сообщения (исхода) - pi. Тогда в соответствии с идеей Шеннона, количество информации I в сообщении i определяется по формуле:
I=-log2 pi,
где pi – вероятность i-го сообщения (исхода).
Количество получаемой с сообщением информации тем больше, чем неожиданней данное сообщение.
Этот тезис использован при эффективном кодировании кодами переменной длины (т.е. имеющими разную геометрическую меру): исходные символы, имеющие большую частоту (или вероятность), имеют код меньшей длины, т.е. несут меньше информации в геометрической мере, и наоборот.
Соотношение I=-log2 pi позволяет определять также размер двоичного эффективного кода, требуемого для представления того или иного сообщения, имеющего определенную вероятность появления. Поскольку размер кодовой комбинации – целое число модифицируем формулу: l=[-log2 pi], где l – число разрядов кода, скобки [] означают округление в сторону ближайшего большего числа.
Помимо информационной оценки одного сообщения, Шеннон предложил количественную информационную оценку всех сообщений, которые можно получить по результатам проведения некоторого опыта. Так, среднее количество информации Iср, получаемой со всеми n сообщениями, определяется по формуле:
где pi – вероятность i-го сообщения.
Аналитическое определение бита по Шеннону: это среднее количество информации, которое содержится в двух равновероятных исходах некоторого опыта, составляющих полную группу событий.
Единица измерения информации при статистическом подходе – бит.
На практике часто вместо вероятностей используются частоты исходов. Это возможно, если опыты проводились ранее и существует определенная статистика их исходов. Так, строго говоря, в построении эффективных кодов участвуют не частоты символов, а их вероятности.