Способы измерения информации

1. Вероятностный подход

Для Примера возьмем опыт: бросается игральная кость, имеющая N граней (N = 6), которые выпадают с одинаковой вероятностью. Результатом броска будет выпадение грани с одним из значений: 1, 2, …, N.

Введем понятие величины, измеряющей неопределенность - энтропию (обозначим ее H).

Формула Хартли:

2^H = N,

где H – количество информации (бит); N – количество равновероятных сообщений (различных комбинаций). Прологарифмируем обе части равенства по основанию 2:

H = log₂N.

Из этой формулы видно, что H = 1 при N = 2, т.е. в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (например, «орел» и «решка»). Такая единица количества информации называется «бит».

1 бит – количество информации, необходимое для различения двух равновероятных событий, которое может произойти или не произойти, т.е. 1 бит – количество информации для передачи количества символов N = 2 (0 или 1).

Другой пример равновероятных сообщений – четное или нечетное количество букв на странице.

Являются ли следующие сообщения равновероятными? «Из здания первой выйдет женщина» и «Из здания первым выйдет мужчина». Все зависит от того, из какого здания. Если из здания метро, то да, а если из здания казармы или салона красоты, то нет. Для решения задач такого рода используется другая формула определения количества информации, учитывающую неодинаковую вероятность сообщений в наборе. Ее предложил американский ученый Клод Шеннон в 1948 году.

Формула Шеннона (для неравновероятных исходов):

.

При равных вероятностях формула Шеннона превращается в формулу Хартли.

2. Объемный подход

БИТ (bit-binary digit) – двоичный разряд. Это наименьшая единица информации. Физически бит-разряд памяти ЭВМ, где хранится 0 или 1.

БАЙТ (byte) – группа из 8 бит, обрабатываемая как единое целое. Физически байт – наименьшая адресуемая единица памяти ЭВМ-ячейка.

В вычислительной технике кроме бит и байт используется еще одна единица информации – машинное слово. С помощью его записывается числа, символы и команды. Длина машинного слова определяет важную характеристику ЭВМ – разрядность. До недавнего времени ЭВМ были 16-разрядные. Современные ЭВМ имеют длину машинного слова 32…..128 разрядов (бит). Следовательно, в структуре машинного слова можно выделить 4…..16 байт.

Количество комбинаций, которое можно закодировать с помощью различного количества информации, представлено в табл. 1.1.

Таблица 1.1

Соответствие единиц объема информации

Количество информации	количество комбинаций	соответствие количеству информации
1бит	По формуле Хартли: 2^1= 2
2 бит	По формуле Хартли: 2^2= 4
3 бит	По формуле Хартли: 2^3= 8
1 байт = 8бит	По формуле Хартли: 2^8= 256	1 буква или 1 символ
1 кбайт	2^10байт = 1024 байт	½ страницы неформатированного текста
1 Мбайт	2^10кбайт = 1024кбайт	500 страниц текста (книга)
1 Гбайт (Г-гига)	2^10Мбайт = 1024Мбайт	1 000 книг
1 Тбайт (Т-тера)	2^10Гбайт = 1024 Гбайт	1 000 000 книг