1.2. Измерение информации

Существуют три направления в теории информации, связанные с ее количественной оценкой – структурное, статистическое и прагматическое.

Структурная теория рассматривает дискретное строение массивов информации и ее измерение либо простым подсчетом информационных элементов, либо комбинаторным методом.

Статистическая теория оперирует понятием энтропии, характеризующей неопределенность сообщений и учитывающей вероятность их появления.

Прагматическая теория изучает вопросы о практическом использовании информации, о ее ценности для достижения поставленной цели.

В инженерной практике наибольшее применение находят первые две теории, поэтому ограничимся только их рассмотрением.

1.2.1. Структурные меры информации

Структурные меры информации применяются для оценки возможностей аппаратуры или сообщений вне зависимости от условий их применения.

В структурной теории различают геометрическую, комбинаторную и аддитивную меры информации.

Геометрическая мераиспользуется для определения потенциального, т.е. максимально возможного количества информации в заданных структурных габаритах. Это количество называютинформационной емкостьюисследуемой части системы. Определение количества информации геометрическим методом сводится к измерению длины, площади или объема геометрической модели исследуемой системы. Единицей измерения при этом являютсякванты, представляющие собой неделимые части. Физический смысл их может быть разным. Например, если ЗУ (запоминающее устройство) имеет информационную емкость 1 кбит (10241), то под квантом здесь подразумевается одна элементарная ячейка памяти, запоминающая 1 бит информации. Если ЗУ имеет организацию (2564), то под квантом подразумевается четыре элементарных ячейки памяти.

Комбинаторную меруприменяют, когда требуется оценить возможность передачи информации при помощи различных комбинаций информационных элементов.

При формировании сообщений применяют следующие основные виды соединения букв:

– сочетания из hбукв по; комбинации здесь отличаются составом букв;

– перестановки hбукв различаются их порядком;

– размещения из hбукв поразличаются и составом букв, и их порядком.

Количество информации в комбинаторной мере совпадает с числом возможных соединений букв.

Аддитивная мера(мера Хартли) используется для определения количества информации в сообщении без учета реальной вероятности появления отдельных букв (принимается одинаковой), возможной статистической связи между буквами и свойств канала связи.

Пусть передается сообщение длиной n, а объем используемого алфавита равенm. Очевидно, что при такой структуре может быть получено

(1.2)

различных сообщений.

Чем больше N, тем больше априорная неопределенность ситуации и, следовательно, тем больше количество информации будет получено в результате приема конкретного сообщения. Однако непосредственно использовать выражение (1.2) для количественной оценки информации в сообщении нельзя, так как здесь не выдержан принцип аддитивности – пропорциональность между длиной сообщенияnи количеством содержащейся в нем информацииN (одно из основных требований к мерам информации). Но посколькуNоднозначно определяется структурой сообщения, то для количественной оценки информации в нем целесообразно использовать некоторую функцию, такую, чтобы дляIвыполнялся принцип аддитивности.

В математической форме требование аддитивности записывается так:

(1.3)

Дифференцируя (1.2) по n и учитывая (1.3), после несложных преобразований получим следующее выражение дляI:

(1.4)

За единицу количества информации в данной мере принят 1 бит, соответствующий количеству информации, определенному по (1.4) при для простейшей ситуации:n=1,m=2.

Выражение (1.4) впервые получено Р. Хартли, поэтому рассмотренную меру называют также мерой Хартли. Она позволяет определить потенциальное количество информации в сообщении заданной структуры.