1.2 Меры и единицы представления, измерения и хранения информации

Информацией называют сведения о тех или иных объектах, явлениях или процессах в окружающей среде. Любая форма человеческой деятельности связана с передачей и обработкой информации. Она необходима для правильного управления окружающей действительностью, достижения поставленных целей и в конечном счете - для существования человека. Любая система: социально-экономическая, техническая, или система в живой природе действует в постоянной взаимосвязи с внешней средой – другими системами более высокого и более низкого уровней. Взаимосвязь осуществляется посредством информации, которая передает как команды управления, так и сведения, необходимые для принятия правильных решений. Понятие информации как важнейшего элемента системы, охватывающего все стороны ее жизнедеятельности можно считать универсальным, применимым к любым системам.

Единого научного мнения о количественном смысле понятия "информация" не существует. Разные научные направления дают различные определения исходя из тех объектов и явлений, которые они изучают. Некоторые из них считают, что информация может быть выражена количественно, давая определения количества и объема информации (меры информации), другие ограничиваются качественными толкованиями.

рис. 1.2. Классификация меры информации

Синтаксическая мера информации

Синтаксическая мера информации используется для количественного выражения обезличенной информации, не выражающей смыслового отношения к объектам.

Объем данных V_дв сообщении измеряется количеством символов в нем. Обычно для указания объема данных считают количество двоичных символов. Двоичный символ может принимать только два различных значения: 1 и 0 (эквивалентно значениям "да" и "нет"). Двоичный символ носит названиебит(от словbinarydigit- двоичная цифра). Распространенность двоичной единицы измерения объема объясняется двоичной системой записи чисел, на которой основаны современные компьютеры. Традиционно применяется также байт (byte), равный 8 битам.

Предположим, получатель информации (наблюдатель) дважды принял одно и то же сообщение. Он получил двойной объем данных, но получил ли он двойное количество информации? Интуиция подсказывает, что нет - вторая копия не содержала новых сведений. Информацию, содержащуюся в сообщении, можно трактовать в аспекте того, насколько она была ранее неизвестна и, следовательно, является новой или неожиданной.

Количество информации Iопределяется через понятие неопределенности состояния (энтропию). Приобретение информации сопровождается уменьшением неопределенности, поэтому количество информации можно измерять количеством исчезнувшей неопределенности.

Пусть в сообщении наблюдателем получены сведения о некоторой части реальности (системе). До принятия сообщения получатель имел некоторые предварительные (априорные) сведения о системе. Мерой его неосведомленности о системе является функцияH(), которая в то же время служит и мерой неопределенности состояния системы.

После получения сообщения получатель приобрел в нем информациюI_(), уменьшившую его неосведомленность (неопределенность состояния системы) так, что она стала равнаH_(). Тогда количество информацииI_() о системе, полученной в сообщении, определится какI_() =H() -H_() .

Таким образом, количество информации в сообщении измеряется изменением (уменьшением) неопределенности состояния системы после получения сообщения.

Если конечная неопределенность H_()обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информацииI_() =H(). Иными словами, энтропия системыH() может рассматриваться как мера информации.

Энтропия системы H(), имеющейNвозможных состояний, согласно формуле Шеннона равна

,

где P_i- вероятность того, что система находится вi-м состоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны ,

энтропия определяется соотношением

.

Часто информация кодируется числовыми кодами в той или иной системе счисления. Одно и то же количество цифр (символов) в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

N=mⁿ,

где N- число всевозможных отображаемых состояний;

m- основание системы счисления (разнообразие символов, применяемых в алфавите);

n- число символов в сообщении.

Приведем пример. По каналу связи передается n- символьное сообщение, использующееmразличных символов. Так как количество всевозможных кодовых комбинаций будетN=mⁿ , то при равной вероятности появления любой из них количество информации, приобретенной абонентом в результате получения сообщения, будет равноI = log N = n log m.

Эта формула известна как формула Хартли. Если в качестве основания логарифма принятьm, тоI=n. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данныхI=V_д , полученных по каналу связи. Для неравновероятных состояний системы всегдаI<V_д=n.

Наиболее часто логарифм берут по основанию 2. В этом случае количество информации измеряют в битах.

Коэффициент информативности сообщения определяется отношением количества информации к объему данных, т.е.

, причем 0 <Y< 1 .

CувеличениемYуменьшаются затраты на обработку информации. Поэтому обычно стремятся к повышению информативности.