Количество информации

•Процесс получения информации - это выбор одного сообщения из конечного заданного

множества N равновероятных сообщений

•За единицу количества информации (1 бит)

принимается количество информации, которое содержит сообщение, уменьшающее неопределенность (энтропию) в два раза

•Количество бит информации, содержащееся в выбранном сообщении, определяют как

I=log2N (формула Хартли)

Пример 1

Колода содержит 32 карты. Загадана карта

Сколько вопросов с ответами да-нет надо задать, чтобы угадать карту?

1.Черная масть?

2.Бубновая масть?

3.Старше десятки?

4.Старше дамы?

5.Это валет?

Каждый раз неопределенность уменьшается в 2 раза,

т.е. каждое сообщение содержит 1 бит информации

Сколько бит информации содержит сообщение «Из колоды 32 карт выбран бубновый валет?»

32=25, 5=Log2 32

ПРИМЕР 2

Даны три сообщения:

1.«Монета упала «решкой» вверх»;

2.«Игральная кость упала гранью с тремя очками вверх»;

3.«На светофоре горит красный свет».

Какое количество информации содержится в этих сообщениях?

Рассмотрим, сколько равновероятных сообщений

может быть в каждом случае и применим формулу:

Хартли I = Log2N

1.Два равновероятных варианта : «орел»–«решка»,

то есть N=2 , I1=log22=1

2.Шесть равновероятных вариантов: I2=log26

3.Три равновероятных варианта: I3=log23

Единицы измерения информации

1 бит - минимальная единица

1 байт = 23 бит = 8 бит

1 Кбайт = 210 байт = 1024 байт

1 Мбайт = 210 Кбайт=1024 Кбайт = 220 байт

1 Гбайт = 210 Мбайт = 1024 Мбайт = 230 байт 1 Тбайт = 210 Гбайт = 1024 Гбайт = 240 байт 1 Пбайт = 210 Тбайт = 1024 Тбайт = 250 байт