Новая папка_1 / ИСТ-51 / Панасенко Тарасенко В 11 / Длаб.раб.2

Лабораторная работа №2

Определение количества информации и энтропии в случайных дискретных сообщениях о состоянии физической системы

Цель лабораторной работы: По каналу связи передается информационное сообщение о состоянии физической системы в виде последовательности дискретных значений случайных величин. Каждое численное значение сообщения отражает определенное состояние физической системы. Вариант задания получить у преподавателя.

Необходимо:

1. ввести в компьютер исходные сообщения о состоянии физической системы;

2. определить меру Хартли и энтропию информационных сообщений;

3. построить график распределения вероятностей поступления сообщений;

4. используя в качестве основания логарифмов числа 2, 10 и 2,73, определить меру Хартли дискретных сообщений в битах, дитах и нитах;

5. построить графики для меры Хартли в битах, дитах и нитах;

6. исходные данные об информационном сообщении и все результаты расчетов должны быть сведены в таблицы;

7. Определите количество информации, содержащемся в слове из n букв русского алфавита, если вероятности появления букв одинаковы, а сами буквы независимы друг от друга. Как изменится количество информации при увеличении букв в словах в 2 и 3 раза.

8. Выполните задание пункт 7 для случая латинского алфавита. Объясните полученные результаты.

9. Изучить теоретический материал по рекомендуемой литературе и подготовиться к ответам на указанные в лабораторной работе вопросы.

Методические рекомендации к выполнению лабораторной работы.

Очевидно, что если бы состояние физической системы было бы известно заранее, не было бы смысла передавать сообщение. Поэтому в качестве объекта, о котором передается информация будем рассматривать некоторую физическую систему Х , которая случайным образом может оказаться в том или ином состоянии, т.е. систему, которой заведомо присуща какая-то степень неопределенности.

Мера Хартли имеет размерность в битах, если основание логарифма равно 2. Логарифмическая мера информации обладает свойством аддитивности, т.е. количество информации содержащемся в нескольких независимых сообщениях равно сумме количеству информации в каждом из них.

Получение информации об интересующей нас величине заключается в уменьшении неопределенности ее значения. При этом важно знать значение среднего количества информации на одно сообщение источника, которое математически совпадает с энтропией H(x), введенное основоположником теории информации К. Шенноном. Энтропия H(x) есть мера неопределенности исхода случайного опыта или события.

Энтропию сообщения определяют на основе следующих суждений.

Пусть источник информации передает m сообщений P(x_i):

P(x₁),….P(x_m-1), P(x_m).

Тогда под энтропией H(х) понимают: , (1)

где P(x) – вероятность наступления события

Для закона распределения P(x) непрерывных случайных величин энтропию определяют:

(2)

Для закона распределения P(x) дискретных случайных величин энтропию определяют, заменой интеграла на соответствующую сумму.

Обратим внимание еще на одну полезную трактовку понятия энтропии физической системы. Энтропия системы H(x)- произведение вероятностей различных состояний системы на логарифм этих состояний, взятая с обратным знаком [2].

Свойства энтропии:

• Энтропия всегда положительная величина, т.к. вероятности наступления отдельных событий всегда меньше единицы;

• Энтропия источника равна нулю, если вероятность появления одного из событий равна единице (тогда источник не несет информации);

• Источник будет обладать наибольшей энтропией, если его сообщения могут принимать m значений: P1=P2=P3….Pm =1/m

• Максимум энтропии имеет место для системы из двух равновероятных независимых событий.

• энтропия обладает свойством аддитивности, т.е. когда несколько независимых систем объединяются в одну их энтропии складываются.

Контрольные вопросы

1. Дайте определения понятиям: информация, данные, вероятность события, меры измерения информации, мера Хартли, энтропия.

2. На основе анализа графиков распределения вероятностей наступления дискретных сообщений и энтропии объясните полученные результаты.

3. Разъясните, почему наибольшее распространение получила единица измерения меры Хартли в битах, а не в дитах?

4. Разъясните различия в графиках меры Хартли сообщений в зависимости от основания логарифмов.

5. Какой закон распределения вероятностей поступления дискретных сообщений рассмотренный в лабораторной работе. На каком основании это можно утверждать?

6. Для каких дискретных значений информационного сообщения энтропия максимальная. Чем определяется такая закономерность?

7. Для каких дискретных значений информационного сообщения энтропия минимальная. Чем определяется такая закономерность?

Литература

1. Душин В.К.Теоретические основы информационных процессов и систем: Учебник.-2-е изд. Издательско-торговая корпорация «Дашков и К»,2006-348 с.

2.Вентцель Е.С. Теория вероятностей. М.: Высшая школа,1969.-576 с.