5. Количество информации

Понятие количества информации естественно возникает, например, в следующих типовых случаях:

1. Равенство вещественных переменных a = b, заключает в себе информацию о том, что a равно b. Про равенство a² = b² можно сказать, что оно несет меньшую информацию, чем первое, т.к. из первого следует второе, но не наоборот.

Равенство a³ = b³ несет в себе информацию по объему такую же, как и первое;

2. Пусть происходят некоторые измерения с некоторой погрешностью. Тогда чем больше будет проведено измерений, тем больше информации об измеряемой сущности будет получено;

Рассмотрим схему передачи информации. Пусть передатчик описывается сл.в. X, тогда из-за помех в канале связи на приемник будет приходить сл.в. Y = X + Z, где Z – это сл.в., описывающая помехи. В этой схеме можно говорить о количестве информации, содержащейся в сл.в. Y , относительно X. Чем ниже уровень помех (дисперсия Z мала), тем больше информации можно получить из Y . При отсутствии помех Y содержит в себе всю информацию об X.

Попытки количественного измерения информации предпринимались неоднократно. Первые важные достижения были получены американцами Х. Найквистом (1924 г.) и Р. Хартли (1928 г.). Они определили логарифмическую меру информации для сообщений, состоящих из последовательности любого числа символов. В 1921 г. английский математик Рональд Фишер впервые ввел термин «информация» в математическую статистику, но полученные им формулы носят очень специальный характер. Однако наиболее важный шаг в разработке основ теории информации был сделан выдающимся американским инженером и математиком Клодом Шенноном. В 1948 г. Клод Шеннон в своей работе «Математическая теория связи» использовал теоретико-вероятностный подход. Понятие информации он определял формально через энтропию, содержащуюся в передаваемых сообщениях. Учет вероятностей символов позволил ему получить более точную формулу для количества информации в реальных сообщениях, примерно вдвое сокращавшую время их передачи.

Подходы к определению количества информации.   Формулы Хартли и Шеннона

Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.

Формула Хартли:   I = log₂N

Например, шарик находится в одной из трех урн: А, В или С. Нужно определить, какое количество информации содержит сообщение о том, что он находится в урне В. По формуле Хартли вычислим: I = log₂3 = 1,585. Таким образом, сообщение о том, что шарик находится в урне В содержит количество информации, приблизительно равное 1,585 единиц информации.

Приведем другие примеры равновероятных сообщений:

• при бросании монеты: "выпала решка", "выпал орел";

• на странице книги: "количество букв чётное", "количество букв нечётное".

Но не все ситуации имеют одинаковые вероятности реализации. Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона: I = – ( p₁log₂ p₁ + p₂ log₂ p₂ + . . . + p_N log₂ p_N), где p_i – вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

Например, имеется строка текста, содержащая 1000 букв. Буквы встречаются в тексте: «о» – 90 раз; «р» – 40 раз; «Ф» – 2 раза; «а» – 200 раз. Какое количество информации несет буква в строке? По формуле Шеннона вычислим:

I = –(0,09*log₂0,09 + 0,04* log₂0,04 + 0,002* log₂0,002 + 0,2* log₂0,2) = 0,9807

Легко заметить, что если вероятности p₁, ..., p_N равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

Ограниченность этой теории иллюстрируют многие парадоксы. Например, анализ статистической информации «по Шеннону» показывает, что текст одной и той же книги, напечатанный с большей частотой строк на одной странице, должен нести в себе большую информацию, чем исходный. В действительности это, конечно, не так. В таком случае, следует признать, что наибольшей информацией обладает случайная, бессистемная последовательность букв, что наибольшую информацию несет в себе текст, лишенный всякого смысла.

Осознание ограниченности теории информации Шеннона привело к возникновению других подходов в её исследовании. Наряду с энтропийным, наиболее употребительными среди них являются: алгоритмический, комбинаторный, структурный, семантический и прагматический. Последние два определяют качественные характеристики информации.

Упражнение. Какое из соотношений несет в себе больше информации x = 5 или x > 3?