1.3. Единицы измерения количества информации

Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте. Количество символов в алфавите называется мощностью алфавита. Если допустить, что все символы встречаются в тексте с одинаковой частотой, то количество информации, которое несет каждый символ, вычисляется по формуле (4) как

I = log₂ n (6)

где n – число символов в алфавите.

Если m – количество символов в сообщении, то формула приобретает вид

I = m log₂ n (7)

Полагая, что элементарное сообщение может состоять из одного символа (m = 1), масштаб зависит от n и a.

Бит (binary digit) – двоичная единица информации: n = 2; a = 2.

1 бит = m log₂ n = 1*log₂ 2 = 1 дв. ед.

Бит – наименьшая единица информации, которая выражает логическое значение Да или Нет и обозначается двоичным числом 1 или 0.

При обработке информации в компьютере происходит параллельная одновременная обработка нескольких битов информации. В настоящее время используется группа из восьми битов, получившая название байт. Байт – это группа из восьми битов.

Принята следующая система измерения количества информации:

1 байт = 8 бит;

1 Кбайт (килобайт) = 2¹⁰ байт = 1024 байта;

1 Мбайт (мегабайт) = 2¹⁰ Кбайт = 1024 Кбайта;

1 Гбайт (гигабайт) = 2¹⁰ Мбайт = 1024 Мбайта.

1.4. Примеры

Пример 1. Книга содержит 150 страниц, на каждой странице в среднем 40 строк, в каждой строке – 60 символов. Каков объем информации в книге ?

Решение. Один символ кодируется 1 байтом информации. Страница содержит 40 * 60 = 2400 байт информации. Объем всей информации в книге:

2400 * 150 = 360000 байт;

360000.1024 = 351,5623 Кбайт;

351,5623/1024 = 0,34332275 Мбайт.

Пример 2. Определить энтропию сообщения из пяти букв, если общее число букв в алфавите равно 32 и все сообщения равновероятны.

Решение. Общее число пятибуквенных сообщений n = 32⁵ . Используя выражение (5) для определения количества информации равновероятных сообщений, получим

I = log₂n = 5log₂32 = 25 дв.ед/ симв.

2. Представление числовой информации в компьютере

Система счисления – это способ представления чисел и правила действия над ними. В позиционных системах счисления величина, обозначаемая цифрой в записи числа, зависит от его позиции. Количество используемых цифр называется основанием позиционной системы счисления. Для записи чисел в позиционной системе с основанием n нужно иметь алфавит из n цифр. При n<10 обычно используют n первых арабских цифр, а при n>10 к арабским цифрам добавляют буквы. Ниже приведены алфавиты нескольких систем:

Основание	Название	Алфавит
n =2	двоичная	01
n =3	троичная	012
n = 8	восьмеричная	01234567
n =10	десятичная	0123456789
n =16	шестнадцатеричная	0123456789ABCDEF

Развернутой формой записи числа в позиционной системе счисления называется запись в виде:

A_q =  (a_n-1q ^n-1 + a_n-2q ^n-2 + …+ a₀q⁰ + a_-1 q^-1 + a_-2 q^-2 +…+ a_-mq^-m).

где A_q – само число,

q – основание системы счисления,

a_i – цифры данной системы счисления,

n – число разрядов целой части числа,

m – число разрядов дробной части числа.

Примеры.

1. Получить развернутую форму десятичных чисел 43589; 26,387.

43589₁₀ = 4*10000 + 3*1000 + 5*100 + 8*10 + 9*1 =

4*10⁴+ 3*10³ + 5*10² + 8*10¹ +9*10⁰ .

26,387₁₀ = 2*10¹ + 6*10⁰ + 3*10^-1 + 8*10^-2 + 7*10^-3 .

2. Перевести в десятичную систему.

112₃ = 1*3² + 1*3¹ + 2*3⁰ = 9 +3+2 = 14₁₀.

101101₂ = 1*2⁵ + 0*2⁴ + 1*2³ +1*2² + 0*2¹ + 1*2⁰ = 32 +8 +4+ 1 = 45₁₀.

Перевод целых чисел в другие системы счисления осуществляется по следующему алгоритму:

1. Основание новой системы счисления выразить цифрами исходной системы и все последующие действия проводить в исходной системе.

2. Последовательно проводить деление данного числа и получаемых целых частных на основание новой системы до тех пор, пока не получится частное, меньшее делителя.

3. Полученные остатки, являющиеся цифрами числа в новой системе счисления, привести в соответствие с алфавитом новой системы счисления.

4. Составить число в новой системе счисления, записывая число начиная с последнего остатка.

Пример. Перевести десятичное число 11 в двоичную систему счисления.

1 1	2
1	5	2
	1	2	2
		0	1

Получаем: 11₁₀ = 1011₂

Более удобно записывать алгоритм перевода в форме таблицы. Переведем десятичное число 363 в двоичное число.

Делитель	363	181	90	45	22	11	5	2	1
Делимое	2	2	2	2	2	2	2	2	2
Остаток	1	1	0	1	0	1	1	0	1

Получаем: 363₁₀ = 101101011₂ .

При представлении чисел в памяти компьютера различают представление целых чисел и вещественных чисел.

Запись чисел с фиксированной точкой. Используется для представления целых чисел. Обычно целые числа занимают один, два или четыре байта. Старший бит отводится под знак числа. Целые числа без знака в двухбайтовом формате могут принимать значения от 0 до 2¹⁶ –1 (до 65535), а со знаком – от –2¹⁵ до +2¹⁵ -1, т.е. от 32768 до 32767. Например, целое десятичное число 11 (1011) в 16 – разрядном представлении в памяти компьютера записывается так:

15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0

0

0

0

0

0

0

0

0

0

0

0

0

1

0

1

1

поле числа

знак числа

Запись чисел с плавающей точкой. Очень большие и очень маленькие числа представляются в компьютере в экспоненциальной форме. В этом случае, положение запятой в записи числа может изменяться. Поэтому эта форма представления чисел и называется представлением с плавающей точкой. Число А в экспоненциальной форме записывается так:

A = m_A * q^p , (8)

где m_A – мантисса числа,

q – основание системы счисления,

p – порядок числа.

Для однозначности представления чисел с плавающей точкой используется нормализованная форма, при которой мантисса отвечает условию:

q^-1   m_A < 1

Большую часть бит отводят для хранения мантиссы (вместе со знаком) и некоторое фиксированное число разрядов отводят для хранения порядка числа (вместе со знаком).