4. Измерение информации

Количеством информации называют числовую характеристику информации, отражающую ту степень неопределённости, которая исчезнет после получения информации. Эту меру неопределенности в теории информации называют энтропией. Энтропия максимальна в опытах, где все исходы равновероятны. Информация компенсирует рост энтропии, так как при получении информации уменьшается неопределенность, то есть энтропия системы.

Подход к информации как к мере уменьшения неопределенности знания позволяет количественно измерять информацию.

Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий – монета окажется в одном из двух положений: «орел» или «решка». Перед броском существует неопределенность нашего знания (возможны 2 события), и как упадет монета предсказать невозможно. После броска наступает полная определенность – монета находится в определенном положении. Это сообщение приводит к уменьшению неопределенности нашего знания в 2 раза, т. к. из двух возможных равновероятных событий реализовалось одно. Чем больше начальное число возможных равновероятных событий, тем больше начальная неопределенность нашего знания и тем большее количество информации будет содержать сообщение о результатах опыта.

За единицу информации принимается один бит (от англ. BInary digiT – двоичная цифра (0 или 1)) – это количество информации, при котором неопределённость, т. е. количество вариантов выбора, уменьшается вдвое или, другими словами, это ответ на вопрос, требующий односложного решения – да или нет.

Бит – наименьшая единица измерения информации. На практике чаще применяются более крупные единицы, например, байт, являющийся последовательностью из восьми бит. Именно восемь битов или один байт используется для того чтобы закодировать любой из 256 символов алфавита клавиатуры компьютера (256=2⁸). Один байт также является минимальной единицей адресуемой памяти компьютера, т. е. обратиться в память можно к байту, а не биту.

Приставки КИЛО, МЕГА, ГИГА, ТЕРА и ПЕТА

Сами по себе единицы бит и байт являются довольно малыми единицами измерения объёма данных. Если записывать объём современных жёстких дисков в байтах, тогда будут получаться большие числа, неудобные для восприятия человеком, например, 128 849 018 880 байт (120ГБ).

Чтобы большие объёмы данных записывались более компактными числами, используются приставки КИЛО, МЕГА, ГИГА, ТЕРА и ПЕТА.

Соотношение между производными единицами следующее:

Возникает вопрос: почему используются единицы, кратные 1024, а не ровно 1000? Дело в том, что так удобнее для компьютера. Компьютер считает в двоичной системе счисления, и число 1024 (=2¹⁰) для него является круглым.

Для нас, использующих десятичную систему счисления, круглыми являются числа: 10, 100, 1000, 10000 и т. д., умножая на 10. Для компьютера круглыми числами являются: 2, 4, 8, 16, 32, 64, 128, 256, 512, 1024, 2048 и т. д., умножая на 2.

Приставки КИЛО, МЕГА, ГИГА, ТЕРА и ПЕТА могут использоваться и совместно с единицей бит аналогично байтам:

Информационный объём сообщения (информационная ёмкость сообщения) – это количество информации в сообщении, измеренное в битах, байтах или производных единицах (КБайтах, МБайтах и т. д.).

При определении количества информации используют три основных подхода: