Единицы измерения информации

В настоящее время наиболее известны следующие способы измерения информации: объемный, энтропийный, алгоритмический.

Объемный способ измерения информации является простым и грубым способом измерения информации. Соответствующую количественную оценку информации естественно назвать объемом информации.

Объем информации в сообщении — это количество символов в сообщении. Поскольку, например, одно и то же число может быть записано многими разными способами (с использованием разных алфавитов):

"двадцать один"; 21; 11001; XXI, то этот способ чувствителен к форме представления (записи) сообщения.

В вычислительной технике обрабатываемая и хранимая информация вне зависимости от ее природы (число, текст, отображение) представлена в двоичной форме (с использованием алфавита, состоящего всего из двух символов-0 и 1). Такая стандартизация позволила ввести две стандартные единицы измерения: бит и байт. Байт — это восемь бит. Далее: 1 Кб=1024 б ; 1 МГб=1024 Кб ; 1 Гб=1024 МГб.

В теории информации и кодирования принят энтропийный подход к измерению информации. Этот способ исходит из следующей модели. Получатель информации (сообщения) имеет определенные представления о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределенности (энтропия) характеризуется некоторой математической зависимостью от совокупности этих вероятностей. Количество информации в сообщении определяется тем, насколько уменьшится эта мера после получения сообщения.

В алгоритмической теории информации (раздел теории алгоритмов) предлагается алгоритмический метод оценки информации в сообщении. Этот метод заключается в том, что любому сообщению можно приписать коли­чественную характеристику, отражающую сложность (раз­мер) программы, которая позволяет ее произвести.

Существует много разных вычислительных машин и разных языков программирования (разных способов задания алгоритма), и поэтому для определенности задают­ся некоторой конкретной вычислительной машиной. Пред­полагаемая количественная характеристика — сложность слова (сообщения) определяется как минимальное число внутренних состояний вычислительной машины, требующихся для его воспроизведения. В алгоритмической теории информации также используются и другие спосо­бы задания сложности.

Для измерения информации вводятся два параметра:

количество информации I и объем данных Vд.

Эти параметры имеют разные выражения и интерпретацию в зависимости от рассматриваемой формы адекватности. Каждой форме адекватности соответствует своя мера количества информации и объема данных (рисунок 4).

Рисунок 4. Меры информации

Семантическая мера информации

Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства со способностью пользователя принимать поступившие сообщения. Для этого используется понятие тезаурус пользователя.

Тезаурус – это совокупность сведений, которыми располагает пользователь или система.

В зависимости от соотношений между смысловым содержанием информации S и тезаурусом пользователя S_p изменяется количество семантической информации I_c воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус. Характер такой зависимости показан на рисунке 5. Рассмотрим два предельных случая, когда количество семантической информации I_c равно 0:

• При S_p  0 пользователь не воспринимает, не понимает поступающую информацию;

• При S_p   пользователь все знает, и поступающая информация ему не нужна.

I_c

S_{p opt} S_p

Рисунок 5.

Зависимость количества семантической информации, воспринимаемой

потребителем, от его тезауруса I_c = f(S_P)

Максимальное количество семантической информации I_c потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом S_P (S_P = S_{P opt}), когда поступающая информация понятна пользователю и несет ему ранее не известные (отсутствующие в его тезаурусе) сведения.

Следовательно, количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной. Одно и тоже сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным (семантический шум) для пользователя некомпетентного.

Относительной мерой количества семантической информации может служить коэффициент содержательности С, который определяется как отношение количества семантической информации к ее объему: