- •Информатика Информация, сигнал, сообщение
- •Собственная информация
- •Формула Шеннона
- •Формула Хартли
- •Единицы измерения информации
- •Свойства энтропии
- •Пример.
- •Пропускная способность канала связи
- •Дискретный канал без помех
- •Дискретный канал с помехами
- •Избыточность источника сообщений
- •Пример.
- •Кодирование информации
- •Равномерное кодирование
- •Эффективное кодирование
- •Основные принципы эффективного кодирования:
- •Метод Шеннона - Фано
- •Метод Хаффмана
- •Кодирование информации для канала с помехами
- •Контроль по четности
- •Элементы, образующие логический базис
- •Элемент «не»реализует операцию «логическое отрицание». Элемент имеет один вход и один выход. На выходе сигнал «1» имеет место в случае, если на входе будет сигнал «0».
Информатика Информация, сигнал, сообщение
Информация - это совокупность сведений, подлежащих хранению, передаче, обработке и использованию в человеческой деятельности.
Изменение характеристики носителя, которое используется для представления информации, называется сигналом, а значение этой характеристики, отнесенное к некоторой шкале измерений, называется параметром сигнала.
Различают два типа сигналов (а значит и два типа сообщений): непрерывные и дискретные.
Для обеспечения простоты и надежности распознавания сигналов дискретного вида (знаков), их число целесообразно свести до минимума. Как правило, прибегают к операции представления исходных знаков в другом алфавите с меньшим числом знаков, называемых символами. При обозначении этой операции используется тот же термин – «кодирование».
Собственная информация
Количество информации, которое несет в себе буква xiалфавита, назовемсобственной информацией, содержащаяся вxiи обозначим.
.
Формула Шеннона
Усредним собственную информацию, т.е. рассчитаем, какое среднее количество информации несет в себе один символ алфавита : .
Среднее количество информации, приходящееся на одну букву, называется энтропией алфавита (или источника) и обозначается H:
- формула Шеннона.
Очевидно, что среднее1 количество информации в сообщении длины n вычисляется по формуле:
.
Замечание. Количество информации приписывается самому сообщению.
Замечание. Энтропия является характеристикой источника сообщений (алфавита).
Формула Хартли
При равновероятности знаков алфавита , из формулы Шеннона получаем: .
- формула Хартли.
Единицы измерения информации
Единицу количества информации на один элемент сообщения (единицу измерения энтропии) называют битом.
Рассмотрим алфавит равновероятных символов, энтропия которого равна 1: . Так как отсюда следует , то ясно, что 1 бит - это количество информации, которое содержится в двоичном сообщении (алфавит {0,1}) длины 1.
В дальнейшем в выражениях для I и H всегда будем использовать логарифмы с основанием 2.
Свойства энтропии
1. Энтропия Н - величина
- неотрицательная (Н 0),
- ограниченная, Эти свойства следуют из того, что такими же качествами обладают все ее слагаемые .
2. Энтропия равна нулю, если вероятность одного из символов равна 1. В этом случае говорят о полностью детерминированном источнике и об отсутствии неопределенности в нем, так как наблюдатель знает о сообщении источника до момента его наблюдения.
3. Можно также показать, что энтропия максимальна, если все знаки алфавита равновероятны, т.е. Нmax = log m. Таким образом, для поиска максимально возможного значения энтропии (для фиксированного числа символов) используется формула Хартли.
4. Особый интерес представляют бинарные сообщения, использующие бинарный алфавит {0,1}. Так как при m = 2 вероятности знаков алфавита p1 1 и p2 1, то можно положить p1 = p и p2 = 1-p. Тогда энтропия определяется соотношением
.