1. Энтропия как мера неопределённости

Неопределённость любого события определяется вероятностью его наступления (появления), неопределённость случайной величины определяется численной характеристикой функции плотности вероятностей, например, с помощью второго центрального момента или, дисперсией. Однако для случайных объектов или явлений, у которых состояния качественно различаются, в то время количественная характеристика не различаются, использование дисперсии представляется невозможным. В общем случае мера неопределённости, связанная с распределением вероятности, должна быть некоторой его числовой характеристикой, не зависящеё от того, в какой шкале измеряются реализации случайного объекта или явления. В качестве такой меры К. Шеннон предложил использовать энтропию для случайного объекта (или явления) :

(1) ,

где вероятности случайных событий, характеризующих возможные состояния случайного объекта или события. При этом выполняется «контроль»

(2)

и

(3)

Из условий (2) и (3) следует, что неопределённость отсутствует в том и только в том случае, когда одно из равно единице. Максимальная неопределённость достигается в случаях, когда всеравны между собой, т.е. все.

Примерами таких распределений: подбрасывание игральной косточки (шестигранный кубик) дискретный случай или любые равновозможные события; равномерное распределение в непрерывном случае, где функция плотности имеет постоянное значение. В то время для равносильного (например, равновероятного), распределения неопределённость возрастает с возрастанием количество выборки

Такая ситуация означает, что энтропия (1) является как мерой неопределённости, так и мерой разнообразия. Это означает, что чемсложнее,и разнообразнее объект или явление, тем с большей неопределённостью объект становится (обладает свойством) «менее прогнозируемым».

В случае, когда случайный объект представляется как континиум, например, для случайной величины, принимающей «бесконечное несчётное» множество значений, гдеэнтропия вычисляется по формуле

(4)

при условии выполнении контроля:.

Следует заметить, что в формулах (1) и (4) основание логарифма не оказывает качественного влияния на оценку энтропии, а лишь определяет её размерность. При теоретическом анализе непрерывных случайных величин с использованием (включающем) дифференциального или интегрального исчисления, наиболее удобно использовать натуральные логарифмы (т.е. логарифмы с основанием ), при этом энтропия определяется в натуральных единицах измерения, называемыми «НитиилиХартли».

Число “” было введено в 1736 году Леонардом Эйлером как предел числовой последовательности

.

Вот несколько начальные значения этой последовательности:

В теории пределов показывается, что числовая последовательность по мере возрастания, монотонно возрастает и ограничена сверху числом3. Поэтому имеет предел. Этот предел и обозначается числом

Далее, на основании теории степенных рядов было доказано, следующая замечательная формула:

(),

справедливая, на всей числовой прямой , гдеВ частности, дляполучаем равенство:

Задание. По формуле вычислите числои по формулевычислитеис точностью до десяти знаков.

При анализе цифровых машин и других подобных устройств, работающих в двоичном коде (т.е. в двоичной системе счисления), как правило, используются двоичные логарифмы (логарифмы с основанием 2) и соответственнодвоичные единицы – биты.При анализе измерительных устройств, работающих в десятичной системе счисления (десятичном коде), удобнее применять десятичные логарифмы идесятичные единицы – диты.Между этими единицами измерений существуют следующие связи:

1 дит = 2,3 нит = 3,3 бит;

1 нит = 1,45 бит = 0,43 дит;

1 бит = 0,69 нит = 03 дит;

Разумеется, указанная ситуация в полной мере относится к единице измерения количества информации.

Рассмотрим примеры: такой объект как игра в орлянку (подбрасывание монеты), Для такого объекта характерны два равновероятных случайных результата: выпадение решёткиилиорла. Энтропия этого явления вычисляется по формуле

бит.

Другой пример: в урне имеются одни белые шары. Случайно извлекается один шар. Вероятность извлечения цветного шара равна 0, а белого шара равна 1.Энтропия этого явления равна

В этих двух примерах , при этом, (непредсказуемость) исхода в первом случае максимальна, а во втором случае неопределённость исхода отсутствует.

При увеличении числа , например,, при подбрасывание шестигранного кубика, с учётом равновероятного распределения возможных состояний имеем

бит

Для задачи «бутерброда» также возможны два состояния: хлеб и масло. На основании известного в народе «закона» о том, что бутерброд всегда падает маслом вниз, имеем

Для двух и более случайных объектов или явлений энтропия определяется аналогично как определение вероятности, т.е. с увеличением числа энтропия возрастает.

Если инезависимые случайные объекты или явления, то для их суммы (совместного определения) имеет место равенство

(5) ,

т.е. энтропия двух или нескольких независимых объектов или явлений равна сумме энтропий этих объектов или явлений. Это свойство называется свойством аддитивности энтропии.

Если изависимые случайные объекты или явления, то для их суммы (совместного определения) имеет место равенство

(6) ,

где илиопределяется как «математическое ожидание энтропии» условного распределения.

Для всех случайных объектов или явлений имеет место неравенство , это неравенство согласуется с интуитивным представлением о том, что знание (информация) о состояниеможет только уменьшить неопределённость, а если они независимы, т.е., то энтропия останется неизменной.

Пример 1. Неопределённость даты проведения ежегодного мероприятия можно определить двумя способами:

1) бит,

где 365 – число дней в году, а для високосного года вместо 365 пишут 366;

2)

бит,

где 12-число месяцев в году; 30-число дней в месяце.

Пример 2. Специалист, занимающийся проблемой , для информационного обеспечения своей интеллектуальной деятельности воспользовался автоматизированной информационно – поисковой системой (АИПС). В базе АИПС содержится 2% (два процента) статей, непосредственно относящихся к данной проблеме. Система поиска в АИПС точно обнаруживает эти статьи по запросу. В то же время ввиду некоторой близости тематики других статей к проблеме эта система с равной вероятностью может представить или не представить специалисту статьи, не относящиеся непосредственно к проблеме .

Определить эффект системы поиска, используя меру снятия неопределённости по отношению к проблеме .

Решение. Формализуем представленную ситуацию. Определение отношения той или иной статьи к проблеме представим как опыт, имеющий два возможных исхода:

«не относится»;

«относится».

Определение эффективности системы поиска представим как опыт также имеющий два возможных исхода:

«определён признак»;

«не определён признак».

Вероятности определения и неопределения признака соответственно равны:

Неопределённость отношения той или иной статьи к проблеме вычисляется по формуле

бит.

Это есть неопределённость базы АИПС по отношению к проблеме . В целом, с учётом эффективности работы системы поиска, то есть опытаопределённость АИПС можно вычислить через условную энтропию. Для этого определим:

-условные вероятности исходов иопытапри условии исходовиопыта:

Так как из 51 случая, когда система поиска давала положительный ответ, 49 статей не относились к проблеме , а 2 статьи - относилась

что вполне очевидно.

-условные энтропии АИПС (при условиях и):

бит.

Тогда, средняя условная энтропия опыта (неопределённость АИПС) при условии существования системы поиска (опыта ) будет равна математическому ожиданию энтропии условного распределения:

бит

Если сравнить значение с ранее полученным значением неопределённости базы АИПС, то можно констатитровать, что система поиска в данном случае недостаточно эффективна, поскольку снимает неопределённость АИПС всего на 14%.