Мера информации синтаксического уровня

Количественная мера оценки информации этого уровня не связана со смыслом информации, ее содержанием. Для измерения информации на синтаксическом уровне используют характеристики объема и количества информации.

Рассмотрим понятие объема информации. Пусть задан алфавит, включающий множество символов, каждый из которых занимает в памяти объем которой равен u и пусть информация содержится сообщении, состоящего из N символов. Тогда объем информации сообщения можно определить, используя следующее выражение:

V=N×u (единица объема).

Под количеством информации понимают меру снятия неопределенности ситуации при получении сообщения.

Хартли в 1928 году предложил степень неопределенности ситуации с m исходами характеризовать числом: H(x) = log m. Если в результате получения сообщения y количество исходов ситуации уменьшается до n, то количество информации в полученном сообщении определяется выражением:

I(y) = H(x)  H(y), (1)

где H(x) = log m  неопределенность ситуации x до получения сообщения y, H(y) = log n  неопределенность ситуации x, оставшаяся после получения сообщения y.

Для определения количества информации, содержащегося в сообщении, необходимо выполнить следующие действия:

1. Найти n  количество исходов ситуации до получения сообщения;

2. Найти m  количество исходов ситуации после получения сообщения;

3. Воспользоваться выражением (1) и найти количество информации, содержащиеся в сообщении.

За единицу количества информации принимается один бит, который соответствует сообщению о ситуации, имеющей два исхода до получения сообщения, а при получении сообщения  единственный исход:

I(y) =log 2  log 1 =1 бит.

Применяемые единицы измерения количества информации приведены в таблице 1.3.

Таблица 3.1.

№	Название единицы	Обозначение единицы	Соотношения между единицами измерения количества информации
1	байт	байт	1 байт = 8 бит
2	Килобайт	Кбайт	1 Кбайт = 1024 байт = 2^10 байт
3	Мегабайт	Мбайт	1 Мбайт = 1024 Кбайт = 2^20 байт
4	Гигабайт	Гбайт	1 Гбайт = 1024 Мбайт = 2^30 байт
5	Терабайт	Тбайт	1 Тбайт = 1024 Гбайт = 2^40байт

Рассмотрим пример определения количества информации содержащимся в сообщении.

В княжестве имеются автомобили только черного, серого и белого цвета. Количество информации сообщения «В аварию попал автомобиль не черного цвета» равен 8  log₂5 бит. Количество информации сообщения «В аварию попал серый автомобиль» равно 8 бит. Какое количество информации в сообщении о том, что в аварию попал автомобиль белого цвета.

Обозначим через x, y и z количество автомобилей черного, серого и белого цвета. Тогда в княжестве имеется x + y + z автомобилей.

Степень неопределенности при попадании одного автомобиля в аварию равна:

H₁ = log₂(x + y + z)

Степень неопределенности при попадании в аварию автомобиля не черного цвета (серого и белого автомобиля) равна:

H₂ = log₂(y + z).

Количество информации, содержащиеся в сообщении «В аварию попал автомобиль не черного цвета», равно:

I = H₁  H₂ = log₂(x + y + z)  log₂(y + z) = 8  log₂5 (1).

Степень неопределенности при попадании в аварию серого автомобиля равна:

H₃ = log₂y.

Количество информации, содержащиеся в сообщении «В аварию попал серый автомобиль», равно:

I = H₁  H₃ = log₂(x + y + z)  log₂y = 8 (2).

Предположим, что x + y + z = 8, а y+ z = 5 (3). Тогда из (2) находим y:

log₂(x + y + z)  log₂y = 8  log₂y = 8;

log₂y = 0;

y = 1.

Тогда из (3) можно найти z:

y+ z = 5;

1 + z = 5;

z= 4.

Степень неопределенности при попадании в аварию белого автомобиля равна:

H₄ = log₂z = log₂4 = 2.

Количество информации, содержащиеся в сообщении «В аварию попал белый автомобиль», равно:

I = H₁  H₄ = log₂(x + y + z)  log₂z = 8  2 =6.