Меры информации

Различают структурные, аналитические и семантические меры.

Структурные меры – это такие измерители информации, которые учитывают дискретное строение информационных комплексов и, в особенности, количество содержащихся в них информационных элементов или связей между ними и комбинаций из них.

Под информационными элементами понимаются неделимые части, кванты информации в дискретных строениях объектов реального мира, а так же элементы алфавита в числовых системах.

В геометрических мерах определение количества информации сводится к измерениям длины, площади, объема комплекса (текст, изображение, речь и др.).

Геометрическим методом определяется потенциальное или максимально возможное количество информации в заданных структурных алфавитах. Это количество называется информационной емкостью информационной системы.

Информационная емкость измеряется как сумма дискретных значений по всем измерителям (x, y, z).

Информационная емкость выражается числом, которое показывает, какое количество информации (квантов информации) содержится в данном информационном комплексе.

Геометрическую меру можно применить и для оценки количества информации в отдельных сообщениях.

К комбинаторной мере прибегают тогда, когда требуется оценить возможность передачи (хранения) информации при помощи различных комбинаций информационных элементов.

Образование комбинации – один из способов кодирования данных.

Количество информации в комбинаторной мере вычисляется как количество комбинационных элементов. Таким образом, подвергается оценке комбинаторное свойство потенциального структурного разнообразия информационных элементов.

Комбинирование возможно в информационных комплексах с неодинаковыми элементами, переменными связями и разнообразными порциями.

Элементы считаются неодинаковыми, если они отличаются один от другого любым признаком: размером, формой, цветом и т.д.

Одинаковые по всем своим признакам элементы могут стать неодинаковыми, если учесть их местоположение, позицию. Тогда их местоположение оказывает на весь в целом информационный объект.

В комбинаторике рассматриваются различного рода соединения элементов: сочетание, размещение, перестановки.

1) Сочетания:

2) Перестановки:

3) Размещения:

Аддитивная мера Хартли

В 1928 году американский ученый-связист Р. Хартли предложил меру информации, которая не зависит от способа передачи и формы сигналов в каналах, а так же от содержания передаваемых сообщений.

Подход Хартли основан на фундаменте теоретико-множественных комбинаторных основаниях, а так же интуитивно ясных и вполне очевидных предложениях.

Рассмотрим эти предложения. Будем считать, что если существует множество элементов и осуществляется выбор одного из тысячи, то этим самым сообщается или генерируется определенное количество информации.

Эта информация состоит в том, что если до выбора не было известно, какой элемент будет выбран, то после выбора это становится известным.

Чем больше элементов в множестве, тем больше неопределенного выбора, тем больше информации мы получим, узнав о том, какой элемент выбран.

Из этого требования вытекает, что информация – это монотонная функция от мощности искомого множества.

Пусть l – длина сообщения, n – мощность алфавита. Тогда количество комбинаций:

Мера конечного объединения событий равна сумме мер каждого отдельно взятого события.

Таким образом, количество информации в событии находится по формуле:

Мера свидетельствует о том, что если длина сообщения увеличивается в 2 раза, то и количество информации в этом сообщении должно возрасти в 2 раза.

Это требование называется требование аддитивности.

Таким образом, мера Хартли удовлетворяет двум требованиям: монотонности и аддитивности.

Формула Хартли справедлива при следующих ограничениях:

1) отсутствие смысловой ценности сообщения;

2) если М – множество возможных равновероятных состояний, то вероятность появления одного из М событий: