Измерение информации

Измерение и кодирование информации

I. Единицы измерения информации

За единицу количества информации принят 1 бит – количество информации, содержащееся в сообщении, уменьшающем неопределенность знаний в 2 раза.

Принята следующая система единиц измерения количества информации:

1 Байт – 8 бит (23 бит)

1 Килобайт – 2¹⁰=1024 байт (2¹³ бит)

1 Мегабайт – 2¹⁰=1024 Килобайт (2²³ бит)

1 Гигабайт – 2¹⁰=1024 Мегабайт (2³³ бит)

1 Терабайт – 2¹⁰=1024 Гигабайт (2⁴³ бит)

Задача № 1.

Заполните таблицу:

Кол-во бит	Кол-во байт	Кол-во Кбайт	Кол-во Мбайт	Кол-во Тбайт
4294967296	?	?	?	?

Решение: для получения искомой величины в байтах поделим количество бит на 8, далее получаемые величины делим каждый раз на 1024.

Кол-во бит	Кол-во байт	Кол-во Кбайт	Кол-во Мбайт	Кол-во Тбайт
4294967296	536870912	542288	512	0,5

***

II. Количество информации как мера уменьшения неопределенности

Если некоторое сообщение, получаемое потребителем, приводит к уменьшению неопределенности его знаний, то это означает, что такое сообщение содержит информацию.

Задача № 2.

В закрытом ящике лежат 2 шара - черный и белый. Вытаскиваем 1 шар. Какое количество информации будет содержать сообщение о цвете вынутого шара?

Решение: перед вытаскиванием шара существовала неопределенность знания, так как возможны 2 события: «вытащен черный шар» или «вытащен белый шар». После того как шар вытащен, наступает полная определенность: если имело место событие «вытащен черный шар», тогда в ящике остался белый; и наоборот. Вытаскивание одного из двух шаров приводит к уменьшению неопределенности знания в 2 раза.

Рассмотрим понятие “вероятность”. Если N – общее число возможных исходов какого-то процесса (например, вытаскивания шаров), которые могут произойти k раз, то вероятность этого события Р можно определить по формуле: P=k/N.

Вероятность выражается в долях единицы. Для задачи № 2 вероятность вытаскивания как белого, так и черного шара равна 1/2, т.е. события (вытаскивания шаров) равновероятны. Вероятность достоверного события равна 1 (например, из 10 белых шаров вытащен белый шар) и такое событие неинформативно, т.е. количество информации в нем равно 0; вероятность недостоверного (невозможного) события равна 0 (например, из 10 белых шаров вытащен черный шар).

Американский инженер Р.Хартли в 1928 г. рассматривал процесс получения информации как выбор одного сообщения из конечного наперед заданного множества N равновероятных сообщений, а количество информации I, содержащейся в выбранном сообщении, определял как двоичный логарифм N.

Пусть Х – количество информации в сообщении о том, что вытащен белый шар. Тогда 2*х=1/0,5  2*х=2  х=1 бит, или по формуле Р.Хартли: I=log₂N=log₂2=1 бит, т.е. доказано, что сообщение об одном событии из двух равновероятных содержит 1 бит информации.

***

Задача № 3.

Нужно угадать одно число из набора чисел от 1 до 100.

Решение: по формуле Р.Хартли можно вычислить, какое количество информации для этого требуется: I=log₂100≈6,64. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,64 бит.

***

Задача № 4.

В закрытом ящике лежат 4 шара – 3 черных и 1 белый. Какое количество информации будет содержать сообщение о цвете вынутого шара?

Решение: вытаскиваем 1 шар. Его цвет, скорее всего, будет черным, но может быть и белым. Определим вероятность вытаскивания белого и черного шаров:

N=4; Р_бел=1/4=0,25; Р_черн=3/4=0,75.

Информация в каком сообщении о цвете вынутого шара ценнее: «вытащен черный шар» или «вытащен белый шар»? Конечно, информация о том, что вытащили белый шар ценнее, т.к. с этим сообщением получено полное знание – в ящике остались только черные шары.

Информация о том, что вытащили черный шар, тоже уменьшает неопределенность знания (после этого события в ящике осталось 3 шара – 1 белый и 2 черных), но такое сообщение не дает полного знания, например, какой шар может быть вытащен следующим. Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить следующим образом: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии. Р_бел ≠ Р_черн и Р_бел < Р_черн

Для задач такого рода американский ученый К.Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность выделения сообщений в наборе.

Формула К.Шеннона: I= –(Р₁log₂Р₁+Р₂log₂Р₂+…+Р_Nlog₂P_N), где i=(1, …, N) и P_i – вероятность того, что именно i–е сообщение выделено в наборе из N сообщений. Каждое слагаемое формулы К.Шеннона выражает кол–во информации, содержащееся в сообщении о том, что произошло определенное событие из имеющегося набора.

Определим кол–во информации в сообщении «вытащен черный шар»:

I= –3/4* log₂3/4≈0,3 бита.

Определим кол–во информации в сообщении «вытащен белый шар»:

I= –1/4* log₂1/4=0,5 бита.

Определим общее кол–во информации:

I= –(1/4* log₂1/4+3/4* log₂3/4)≈0,8 бита.

***

Заметим, что если вероятности Р₁,…,Р_N равны, то каждая из них равна 1/N и формула К.Шеннона превращается в формулу Р.Хартли.

Задача № 5.

В мешке лежат 64 монеты. Сообщение о том, что достали золотую монету, несет 4 бита информации. Сколько золотых монет было в мешке?

Решение: известно: N=64; I_зол=4 бита; k_зол=1; найти n_зол – ?

Поскольку сообщение о том, что достали золотую монету, несет 4 бита информации, то по формуле Р.Хартли (см. задачу № 2) можно записать:

n_зол=k_зол/р_зол=1/р_зол ; 2⁴=1/р_зол ; отсюда можно найти вероятность вытаскивания золотой монеты: р_зол=1/16.

С другой стороны, р_зол=n_зол/N, следовательно, n_зол=N*р_зол=64 * 1/16=4. Ответ: число золотых монет в мешке – 4 шт.

***

Задача № 6.

Решить уравнение: 8^Х (бит)= 32 (Кбайт)

Решение: выровняем размерности в обоих частях уравнения с учетом: 1 Кбайт=2¹³ бит. Приведем обе части уравнения к основанию 2 и получим: 2^3*Х=2⁵*2¹³ или 2^3*Х=2¹⁸; получим уравнение 3*Х=18, х=6.

***

Задача № 7.

Из двух одинаковых наборов карандашей по 6 цветов в каждом вынимают 2 карандаша, по 1 из каждого набора. Какое количество информации будет содержать сообщение о цвете вынутого карандаша?

Решение: возможное кол-во комбинаций определяется по формуле:

, где n – кол-во элементов в наборе, k – кол-во элементов в выборке.

n=12, k=2, N=12!/(2!*(12-2)!)=66, I=log₂66≈6,04 бита.

***

Задача № 8.

Какое минимальное количество вопросов достаточно задать, чтоб определить однозначно месяц рождения опрашиваемого?

Решение: будем считать, что 12 месяцев – это 12 возможных событий; правильно будет задавать «двоичные» вопросы, уменьшающие неопределенность в 2 раза и на которые можно отвечать «да/нет». По формуле Р.Хартли: I=log₂12≈3,6 бита. Последовательность вопросов:

1. Какое полугодие?

2. Какой квартал из названного полугодия?

3. Какой месяц? (1-й из названного квартала)

4. Какой месяц? (2-й из названного квартала)

***