5. Основные подходы к определению понятия информация. Измерение информации: вероятностный и объемный подходы. Вычисление количества информации с помощью электронного калькулятора.

Термин  "информация"  происходит от лат.  "informatio",  - осведомлённость,  разъяснения,  изложение.

   В информатике существует 2 подхода к определению информация: 1) субъективный: информация – это знания, сведения, которыми обладает человек, которые он получает из окружающего мира. 2) кибернетический: информация – это содержание символов (сигналов) из нек-го алфавита.

Наиболее часто используются следующие два способа измерения информации: объёмный и вероятностный.

ОБЪЁМНЫЙ ПОДХОД. В двоичной системе счисления знаки 0 и 1 будем называть битами. Отдают предпочтение именно двоичной системе счисления потому, что в техническом устройстве наиболее просто реализовать два противоположных физических состояния: намагничено / не намагничено, вкл./выкл., заряжено / не заряжено и др.

Объём информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом невозможно нецелое число битов.

Двоичное слово из восьми знаков содержит один байт информации, 1024 байта образуют килобайт (кбайт), 1024 килобайта – мегабайт (Мбайт), а 1024 мегабайта - гигабайт (Гбайт).

ЭНТРОПИЙНЫЙ (ВЕРОЯТНОСТНЫЙ) ПОДХОД. Этот подход принят в теории информации и кодирования. Данный способ измерения исходит из следующей модели: получатель сообщения имеет определённое представление о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределённостей называется энтропией. Энтропия характеризуется некоторой математической зависимостью от совокупности вероятности наступления этих событий.

Количество информации в сообщении определяется тем, насколько уменьшилась эта мера после получения сообщения: чем больше энтропия системы, тем больше степень её неопределённости. Поступающее сообщение полностью или частично снимает эту неопределённость, следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после получения сообщения. За меру количества информации принимается та же энтропия, но с обратным знаком.

Численная величина, измеряющая неопределенность (энтропия) Н находится по следующей формуле: H=logN по осн.2, где N количество равновероятных событий. Это формула Хартли. В качестве единицы количества информации принимается бит.

H=сумма произведений (Pi*log(1/Pi) по осн.2) для i=1 до N. Эта формула принимается за меру энтропии в случае, когда вероятности различных исходов опыта неравно вероятны (т.е. значения Рi могут различаться) и называется формулой Шеннона. N – число исходов, вероятность i-гo исхода - Рi.

Коэффициентом информативности (лаконичностью) сообщения называют соотношение количества информации к объёму данных: Y=(I/Vд), причем 0<Y<1. Под объёмом данных Vд в сообщении имеется в виду количество символов в этом сообщении (т.е. то, что понимается под битом при объёмном подходе).