Вопрос 1

Ответ 1

Вопрос 2

Ответ 2

Таким образом, действительно два полученных ответа полностью снимают неопределенность. Подобная процедура позволяет определить количество информации в любом сообщении, интерпретация которого может быть сведена к парному выбору. Например, цепочке символов некоторого алфавита, использованного для представления сообщения (к этой задаче вернемся позднее).

Получим следствие формулы ( 0 .2) для ситуации, когда все nисходов равновероятны (собственно, именно такие и рассматривались). В этом случае все

и, следовательно,

(0.3)

Эта формула была выведена еще в 1928 г. американским инженером Р.Хартли. Она связывает количество равновероятных событий n и количество информации в сообщении, что любое из этих событий произошло.

Частным случаем применения формулы ( 0 .3) будет случай, когда n=2^k. Подставляя в ( 0 .3), очевидно, получим:

(0.4)

Пример: Случайным образом вынимается карта из колоды в 32 карты. Какое количество информации требуется, чтобы угадать, что это за карта?

Решение: Для данной ситуацииn=2⁵, следовательно,k=5, следовательно, иH=5 бит. Последовательность вопросов придумайте самостоятельно.

Попытаемся понять смысл полученных в данном разделе результатов. Необходимо выделить ряд моментов:

1. ( 0 .2) является статистическимопределением понятия «информация», поскольку в него входят вероятности возможных исходов опыта. По сути мы даемоперационноеопределение новой величины, т.е. устанавливаем процедуру (способ)измерениявеличины. В науке (научном знании) именно такой метод введения новых терминов считается предпочтительным, поскольку то, что не может быть измерено, не может быть проверено и, следовательно, заслуживает меньшего доверия.

Если изначально исходов было n₁, а в результате передачи порции информацииHнеопределенность уменьшилась и число исходов сталоn₂ (очевидно,n₂n₁), то из ( 0 .3) легко получить:

Таким образом, можно дать следующее определение:

Информация это то, что понижает неопределенность некоторого опыта с неоднозначным исходом, равная логарифму отношения числа возможных исходов до и после (получения информации).

2. Энтропию, таким образом, можно определить как меру недостатка информациив системе; она выражает общее количество отсутствующей информации о структуре (строении) системы. Наибольшая энтропия у равновесной полностью беспорядочной системы – о состоянии такой системы наша осведомленность минимальна. Упорядочение системы (наведение какого-то порядка) связано с получением некоторой дополнительной информации и уменьшением энтропии.

3. Объективность информации. Одна и та же информация может иметь различную оценку с точки зрения значимости (важности, ценности) разными потребителями. Определяющей в такой оценке оказываетсясодержание(смысл) сообщения. Однако при решении практических задач технического характера содержание сообщения роли не играет. Например, задача телеграфной (и любой другой) линии связи – точно и безошибочно передать сообщение без анализа того, насколько ценной для получателя оказывается переданная информация. Техническое устройство не может оценить важности информации – его задача безошибочно передать или сохранить информацию. Выше мы определили информацию какрезультат выбора. Такое определение являетсяобъективным,а связанная с ним количественная мера информации –одинаковойдля любого потребителя. Т.е. появляется возможность объективного измерения информации, при этом результат измерения –абсолютен. Это служит предпосылкой для решения технических задач. Как мы увидим далее, количество информации можно связать с числом символов (букв) в сообщении. Мы уже говорили, чтоинформатика формулирует законы для формальных информационных процессов, т.е. таких, где смысл и ценность информации выводится за рамки рассмотрения и никак не отслеживается. Это связано с тем, что нельзя предложить абсолютной и единой для всех меры ценности информации. С точки зрения информатики страница из учебника информатики или из «Войны и мира» и страница, записанная бессмысленными значками, содержат одинаковое количество информации. Другими словами, в информатикеинформацияотделяется отзнаниячеловека, которое связано с оценками смысла информации и которое не имеет количественной меры. По этой причине утверждение, что информация – это знание о чем-либо, являетсяошибочным в корне. Однако, жертвуя смысловой (семантической) стороной информации, мы получаем объективные методы измерения количества информации, а также имеем возможность описывать информационные процессы математическими уравнениями. Это очень важно для решения проблем передачи, обработки и хранения информации с помощью технических устройств.

Формула ( 0 .2) приводит нас еще к одному выводу. Пусть некоторый опыт имеет два исхода AиB, причем,p_A=0,99 , аp_B=0,01. В случае исходаAмы получим количество информацииH_A= –log₂0,99=0,0145 бит. В случае исходаBколичество информации оказывается равнымH_B= –log₂0,01=6,644 бит. Другими словами,больше информации связано с теми исходами, которые маловероятны. Действительно, то, что наступит именноAмы почти наверняка знали и до опыта; поэтому реализация такого исхода очень мало добавляет к нашей осведомленности. Наоборот, исходB– весьма редкий; информации с ним связано больше (осуществилось трудно ожидаемое событие). Однако такое большое количество информации мы будет при повторах опыта получать редко, поскольку мала вероятностьB. Среднее же количество информацииH=0,99H_A+0,01H_B0,081.

Что такое величина или количество информации

Каждый предмет или явление человек пытается охарактеризовать, для сравнения с подобными, его величиной. Не всегда это можно просто и однозначно сделать. Даже величины физических предметов можно оценивать по-разному: по объему, весу, массе, количеству составляющих его элементов, стоимости. Поэтому, например, понятно, что даже на простой вопрос: ”Что больше, килограммовая гиря или детский воздушный шарик?”- можно ответить по разному. Чем явление более сложно и многопланово и чем больше характеристик у этого явления, тем труднее подобрать для него удовлетворяющее всех, кто занимается этим явлением, определение его величины. Так и количество информации можно мерить по-разному: в количествах книг, страниц, знаков, метрах кинопленки, тоннах архивных материалов, килобайтах оперативной памяти ЭВМ, а также оценивать по эмоциональному восприятию человека, по полученной пользе от обладания информацией, по необходимым затратам на обработку, систематизацию информации и т.д. Попробуйте оценить, где больше информации: в формуле Энштейна E=mc2, лежащей в основе физики водородной бомбы, в картине Айвазовского “Девятый вал” или в ежедневной телевизионной передаче “Новости”. Видимо проще всего оценить количество информации по тому, сколько необходимо места для ее хранения, выбрав какой-нибудь единый способ представления и хранения информации. С развитием ЭВМ таким единым способом стало кодирование информации с помощью цифр 1 и 0. Кодированием мы здесь называем перезапись информации из одного способа представления в другой. Количество позиций (называемых двоичными), в которых находятся только цифры 1 или 0, необходимое для прямой записи сообщения, является одним из критериев количества информации и называется объемом информации в битах. Для записи одного символа (буквы, цифры, пробела между словами, знаков препинания) в ЭВМ чаще всего используют 8 двоичных позиций, и это называется байтом. Таким образом фраза: ”белоснежка и семь гномов” состоит из 21 буквы (без кавычек) и двух пробелов между словами и будет занимать в памяти ЭВМ 23 байта или 184 бита. Возможна не прямая, а сжатая запись информации, т.е. кодирование его меньшим количеством бит. Это производится за счет специальной обработки и анализа частоты появления, расположения и количества символов в сообщении. На практике человек применяет также сжатие сообщение, исходя из его смысла. Например длинное сообщение объемом в 37 байт “тысяча девятисот девяносто шестой год” можно сжать до четырех символов “1996” Впервые, как научное понятие, информация стала применяться в библиотековедении, теории журналистики. Затем еe стала рассматривать наука об оптимальном кодировании сообщений и передаче информации по техническим каналам связи.

ЭНТРОПИЯ

Понятие меры информации было введено в статистику Клодом Шенноном. Некоторое событие, которое имеет М возможных исходов с вероятностью, характеризующей вероятность появления i-го исхода, содержит в себе информацию, величина которой определяется выражением:

Ожидаемое, или среднее, значение этой информации равно энтропии, которая определяется следующим выражением:

Энтропия представляет собой некоторую меру “неопределенности”, связанную с появлением некоторого события. Чем выше энтропия, тем больше неопределенность появления данного события. Энтропия дискретного события будет максимальна в случае равномерного распределения, то есть когда все исходы равновероятны.