Количество информации

Человек или какой нибудь другой приемник информации, получив порцию информации. разрешает некоторую неопределенность. Возьмем для примера все тоже дерево. Когда мы увидели дерево, то мы разрешили ряд неопределенность. Мы узнали высоту дерева, вид дерева, плотность листвы, цвет листьев, если это плодовое дерево, то мы увидели на нём плоды, насколько они созрели и т.п. До того как мы посмотрели на дерево, мы всего этого не знали, после того как мы посмотрели на дерево, мы разрешили неопределенность – получили информацию.

Если мы выйдем на луг и посмотрим на него, то мы получим информацию другого рода, на сколько луг большой, как высока трава и какого цвета трава. Если на этот же самый луг выйдет биолог, то он по мимо всего прочего сможет узнать: какие сорта трав растут на лугу, какого типа этот луг, он увидит какие цветы зацвели, какие только зацветут, пригоден ли луг для выпаса коров и т.п. То есть, он получит количество информации больше чем мы, так как у него, перед, тем как он посмотрел на луг, было больше вопросов, биолог разрешит большее количество неопределенностей.

Чем большая неопределенность была разрешена в процессе получения информации, тем большее количество информации мы получили. Но это субъективная мера количества информации, а нам бы хотелось иметь объективную меру.

Существует формула для расчета количества информации. Мы имеем некоторую неопределенность и у нас существует N-ое количество случаев разрешения неопределенности, и каждый случай имеет некоторую вероятность разрешения, тогда количество полученной информации можно расчитать по следующей формуле, которую предложил нам Шеннон:

I = − (p₁log₂p₁ + p₂log₂p₂ + ... + p_Nlog₂p_N), где

I – количество информации;

N – количество исходов;

p₁,p₂,...,p_N- вероятности исхода.

Количество информации измеряется в битах – сокращение от английских слов BInary digiT, что означает двоичная цифра.

Для равновероятных событий формулу можно упростить:

I = log₂N, где

I – количество информации;

N – количество исходов.

Возьмем, для примера, монету и бросим её на стол. Она упадет либо орлом, либо решкой. У нас есть 2 равновероятных события. После того, как мы бросили монетку, мы получили log₂2 = 1 бит информации.

П опробуем узнать сколько информации мы получим после того, как бросим кубик. У кубика шесть граней – шесть равновероятных событий. Получаем: .

После того, как мы бросили кубик на стол, мы получили приблизительно 2,6 бита информации.

Вероятность того, что мы увидим марсианского динозавра, когда выйдем из дома, равна одной десяти-миллиардной. Сколько информации мы получим о марсианском динозавре после того как выйдем из дома?

П редположим, что мы бросили 8 монет. У нас 2⁸ вариантов падения монет. Значит после броска монет мы получим log₂2⁸ = 8 бит информации.

Когда мы задаем вопрос и можем в равной вероятности получить ответ «да» или «нет», то после ответа на вопрос, мы получаем один бит информации.

Удивительно, что если применить формулу Шеннона для аналоговой информации, то мы получим бесконечное количество информации. Например, напряжение в точке электрической цепи может принимать равновероятное значение от нуля до одного вольта. Количество исходов у нас равно бесконечности и подставив это значение в формулу для равновероятных событий, мы получим бесконечность – бесконечное количество информации.

Сейчас я покажу, как закодировать «Войну и мир» с помощью всего лишь одной риски на любом металлическом стержне. Закодируем все буквы и знаки встречающиеся в «Войне и мир» с помощью двухзначных цифр, их должно нам хватить. Например, букве «А» дадим код «00», букве «Б» код «01» и так далее, закодируем знаки припинания, латинские буквы и цифры. Перекодируем «Войну и мир» с помощью этого кода и получим длинное число, например, такое 70123856383901874..., пририсуем перед этим числом запятую и ноль (0,70123856383901874...). Получилось число от нуля до единицы, поставим риску на металлическом стержне так, чтобы отношение левой части стержня к длине этого стержня равнялось как раз нашему числу. И так если вдруг нам захочется почитать «Войну и мир», мы просто измерим левую часть стержня до риски, и длину всего стержня, поделим одно число на другое, получим число и перекодируем его назад в буквы («00» в «А», «01» в «Б» и т.д.).

Реально, такое проделать нам не удастся, так как мы не сможем определять длины с бесконечной точностью. Увеличивать точность измерения нам мешают некоторое инженерные проблемы, а квантовая физика, нам показывает, что после определенного предела, нам уже будет мешать квантовые законы.

Интуитивно нам понятно что, чем меньшая точность измерения, тем меньше информации мы получаем, чем большая точность измерения, тем больше информации мы получаем. Формула Шеннона не подходит для измерения количества аналоговой информации, но для этого существуют другие методы, которые рассматриваются в «Теории информации».

В компьютерной технике бит соответствует физическому состоянию носителя информации: намагничено – не намагничено, есть отверстие – нет отверстия, заряжено – не заряжено, отражает свет – не отражает свет, высокий электрический потенциал – низкий электрический потенциал. При этом одно состояние принято обозначать цифрой 0, а другое – цифрой 1. Последовательностью битов можно закодировать любую информацию: текст, изображение, звук и т.п.

Наравне с битом, часто используется величина, называемая байтом, обычно она равна 8 битам. И если бит позволяет выбрать один равновероятный вариант из двух возможных, то байт 1 из 256 (2⁸). Для измерения количества информации так же принято использовать более крупные единицы:

1 Кбайт (один килобайт) 2¹⁰ байт = 1024 байта

1 Мбайт (один мегабайт) 2¹⁰ Кбайт = 1024 Кбайта

1 Гбайт (один гигабайт) 2¹⁰ Мбайт = 1024 Мбайта

Реально приставки СИ кило-, мега-, гига- должны использоваться для множителей 10³, 10⁶ и 10⁹, соответственно, но исторически сложилась практика использования множителей со степенями двойки.

Бит по Шеннону и бит который используется в компьютерной технике совпадают, если вероятности появления нуля или единички в компьютерном бите равны. Если вероятности не равны, то количества информации по Шеннону становиться меньше, это мы увидели на примере марсианского динозавра. Компьютерное количество информации дает верхнюю оценку количества информации.

Энергозависимая память после подачи на неё питания инициализируется обычно каким-то значением, например, все единички или все нули. Понятно, что после подачи питания на память, никакой информации там нет, так как значения в ячейках памяти строго определены, никакой неопределенности нет. Память может хранить в себе какое-то количество информации, но после подачи на неё питания никакой информации в ней нет.