Глава 2. Прикладные вероятностные теории

2.1. Основы теории информации

Теория вероятностей, определившая математический аппарат описания случайных объектов и явлений, заложила основу целого ряда теорий, получивших весьма распространенный прикладной характер. Многие из этих теорий определили, в свою очередь, математические основы современных информационных технологий. В ряду этих теорий важнейшее место занимает теория информации, в основе которой труды К. Шеннона, его вероятностная интерпретация количественной меры информации. Характерно то, что изначальным понятием, или категорией, этой теории являетсянеопределенность, в качестве меры которой была принятаэнтропия.

2.1.1. Энтропия как мера неопределенности

Неопределенность события определяется вероятностью его появления, неопределенность случайной величины численной характеристикой функции плотности вероятностей, например вторым центральным моментом (или дисперсией). Однако для случайных объектов или явлений, состояния которых различаются качественно, а не количественно, использование дисперсии невозможно. В общем случае мера неопределенности, связанная с распределением вероятности, должна быть некоторой его числовой характеристикой, не зависящей от того, в какой шкале измеряются реализации случайного объекта или явления. В качестве такой меры К. Шеннон предложил использоватьэнтропию Ндля случайного объекта (или явления):

,

(2.1)

где вероятности случайных событий, характеризующих возможные состояния случайного объекта или явления.

1 Как правило, при априорной численной оценке проявления элементарных случайных событий принимается (равновероятные исходы). При этом будем предполагать, что число элементарных исходов N конечно.

1 События образуют полную систему событий, если.

62 63