45. Понятие информации по р. Хартли.

В соответствии с теорией Хартли информация - это особого пода логическая инструкция, набор указаний или программа для выбора, поиска, идентификации определённого сообщения (состояния) из некоторого их множества. Заметим, что слово «идентичный» означает «тождественный», «одинаковый». Соответст­венно идентификация - это установление тождества, одинаковости, т.е. отожде­ствление, приравнивание, уподобление. Ниже будет показано, что «информация по Хартли» - это лишь один из двух типов информации, так называемая «иден­тифицирующая информация», в отличие от «описательной». Однако здесь важно заметить, что Хартли определил информацию как определённого рода преобра­зование, переводящее приёмник из одного состояния в другое.

«Информация по Хартли» - это про­грамма по выбору, поиску, идентификации объекта «методом последова­тельного деления на два». Такой метод идентификации называют также дихо­томической или бинарной процедурой поиска.

46. Статистическая мера информации; количество информации по к. Шеннону. Примеры подсчёта.

Модель стат источник- приёмник сообщ-й: I= log N – мера Хартли не учитывает частоту появл-я сообщ-й, но в длинной послед-ти некот-е сообщ-я м. повтор., быть равновер. Рассм ситуацию, когда источник сообщ-й м.описать статистич (назвать случайным),и описание представлено распред-ем вер-тей сообщ-й от источника. Т.е. кроме алф-та сост-й N, учит-ся частоты появ сообщ-й, СУММ(i=1,N)Pi=1. Можно исп-ть бинар проц поиска,но перед этим ранжировать сообщ-я по убыв частот. Ранжированные сообщ-я разбить на 2 подмн-ва с по возможности равными суммар вер-ми, затем так же с кажд подмн-вом до отдельных сообщ-й. Т.о., ср длина проги для поиска сообщ-я будет короче, чем при исп-нии меры Хартли. Lcp=СУММ(i=1,N)Li Pi. На практике обычно не удаётся разбить мн-во частот на 2 подмн-ва с равными сумм вер-ми, но разбивают на примерно равные. Проги для поиска будут длиннее, чем в идеал случае, ср длина проги больше,выбор будет неоптим.

Стат мера инфы,закон Шенона: для такой ситуации Ш предложил распознавать не отдел сообщ-я,а блоки. Станов-ся возможным правильное ранжирование слов в памяти приёмн, ситуация близка к идеал. Определим кол-во инфы, необх в среднем для идентиф-ции отдел сообщ-я. Пусть текст разбит на слова по n-симв-в. В кажд из слов 1ый симв-л входит n1-раз, m-симв-л – nm-раз. СУММ(i=1,m)ni=n. Частоты вхождения Pi≈ni/n. СУММ Pi=1. Длинные слова не повтор-ся, если их N-штук, то их вер-ти одинак: P=1/N. Кол-во инфы в слове длиной N-симв-в: IN=log N. IN= log 1/Р, Р-вер-ть отдельного слова. Найдём вер-ть формир-я слова из n-независ неравновер симв-в. Формир-е длинн слова -событие типа произвед-я событий. Если события стат независ, то P(АВ)=Р(А)Р(В). Если симв-ы в слове стат независ, Р=П(i=1,m)Pi^ni. Подставим в ф-лу Хартли: In=log 1/П(i=1,m)Pi^ni; In=-log П Pi^ni;

Pi->ni/n если бескон длин слово, ni=n Pi; In=-log П Pi^(n Pi) –кол-во инфы в бескон длин слове; In=-nСУММ(i=1,m) Pi logPi –кол-во инфы для идентиф слова при стат незав симв-в. Вирт кол-во инфы для идентиф отдельн симв-а:

I=In/n=-СУММ(i=1,m) Pi logPi=H –ф-ла Шенона.

Н -информационная энтропия! Характеризуетет степень неопред-ти сост-я ист-ка, информац способ-ть ист-ка, степ хаоса. Чем >Н ист-ка, тем > кол-ва инфы он производит. После идентиф-ии каждого сообщ-я неопред-ть сост-я источника исчезает, пр-к получает инфу. Потому количественно Н и I измеряются одинак,но это разн понятия. Энтропия-нечто определённое, характеризующееся вер-ми сост-й источника, а кол-во инфы- ср длина проги бинарной проц поиска сообщ-й.