Задания / Лаба_1
.docx
ЛАБОРАТОРНАЯ РАБОТА № 1
«ЭНТРОПИЯ КАК МЕРА КОЛИЧЕСТВА ИНФОРМАЦИИ О СОСТОЯНИИ ФИЗИЧЕСКИХ СИСТЕМ»
Цель лабораторной работы: изучить основные понятия теории вероятностей, применяемы для описания информационных процессов и закрепить, полученные знания путем решения задач.
Методические указания к выполнению лабораторной работы.
Теорией информации называется наука, изучающая количественные закономерности получения, передачи, обработки и хранения информации.
Наличие в процессах получения, передачи и обработки информации случайного характера воздействия различной природы влияющих факторов, обуславливают необходимость изучения этих процессов на основе теории вероятностей. При этом не удается ограничиться классическими методами теории вероятностей, а необходимо создавать новые вероятностные категории.
К основным задачам теории информации относят разработка методов кодирования информации, повышение помехоустойчивости и пропускной способности каналов передачи, определение объемов запоминающих устройств для хранения информации.
Основные понятия теории вероятностей
Событие, которое в данном опыте (процессе) непременно происходит называют достоверным и вероятность его наступления равна единице.
Событие, которое в данном опыте (процессе) не может произойти называют невозможным и вероятность его наступления равна нулю.
Вероятность события Р(А) вычисляется как отношение благоприятных случаев к общему числу случаев:
где m - число случаев, благоприятных событию А; n - общее число случаев.
Очевидно, что вероятность событий находится внутри диапазона:
.
Случайной величиной (событием) называют величину (событие), которое в результате опыта может принимать то или иное значение, причем неизвестно какое именно. Примеры: число вызовов по каналу связи, частота попадания при 10 выстрелах.
Суммой двух событий А и B называют событие C, состоящее в выполнении события А или B, т.е хотя бы одного из событий А и B. Пример. Если событие А есть получение информационного сообщения А в 13 часов, а событие В есть получение информационного сообщения в 16 часов, то событие С есть получение сообщения безразлично в какое указанное время.
Произведением двух событий А и B называют событие C, состоящее в совместном появлении события А и события B. Пример: проводится контроль исправности двух каналов передачи информации. Событие А - первый канал передачи исправен, Событие В - второй канал передачи исправен. Событие С первый и второй каналы передачи информации исправны.
Событие А называется независимым от события В, если вероятность события А не зависит от того, произошло событие В или нет.
Пример. Опыт состоит в бросании двух монет. Событие А - есть появление герба на первой монете. Событие В - есть появление герба на второй монете. В данном случае появление события А не зависит от события В.
Событие А называется зависимым от события В, если вероятность события А меняется в зависимости от того, произошло событие В или нет.
Пример. В урне два белых шара и один черный. Два человека вынимают из урны по одному шару. Рассматриваются два события:
А - появление белого шара у первого человека,
В - появление белого шара у второго человека.
Вероятность события А до того, как стало известно что-либо о событии В, равна 2/3. Если стало известно, что событие В произошло, то вероятность события А становится равной 1/2. Вывод: событие А зависит от события В.
Вероятность события А, вычисленная при условии, что произошло событие В называют условной вероятностью и обозначают: Р(АIВ) .
Вероятность произведения двух событий равна произведению вероятности одного из них на вероятность другого, вычисленную при условии, что первое имело место:
В 1928 г. Хартли предложил определять количество информации J(x) в сообщении о некотором событии как логарифм от функции, равной единице, деленной на вероятность появления этого события:
где а - основание логарифма;
P(x) - вероятность наступления событияx.
Задачи
-
В урне находятся 3 белых и 4 черных шара. Из урны вынимают один шар. Определить вероятность того, что это будет белый шар.
-
Набирая номер телефона абонент забыл одну цифру и набрал ее наугад. Определить, что набранная цифра является верной.
-
По цели произвели 24 выстрела. При этом зарегистрировано 19 попаданий. Определить вероятность попадания в цель.
-
На отрезок ОА длины L числовой оси Ох произвольно поставлена точка Вх. Найти вероятность того, что меньший из отрезков ОВ и ВА имеет длину больше чем L/3. Предполагается, что вероятность попадания точки на отрезок пропорциональна длине отрезка и не зависит от его расположения на числовой оси.
-
Дважды проводится прием информационных сообщений. Известно, что при каждом приеме на каждые 10000 сигналов приходится 150 достоверных и 50 ложных сообщений (помех). Определить вероятность получения сообщений, не имеет значение достоверных или ложных.
-
В урне два белых и три черных шара. Из урны вынимаются два шара подряд. Найти вероятность того, что оба шара белые.
-
В урне два белых и три черных шара. Вынимается первый шар и возвращается в урну. Шары после того перемешиваются. Найти вероятность того, что оба шара белые.
-
Определить энтропию достоверного события.
-
Чему равна энтропия невозможного события.
Контрольные вопросы
-
Почему теория информации относится к перспективным направлениям науки и образования.
-
Дайте определение термина «информационный ресурс».
-
Чем отличаются открытые системы от закрытых систем.
-
Перечислите основные фазы обращения информации.
-
Какие основные задачи решаются теорией информации.
-
Дайте определение энтропии.
Список использованных источников
-
Душин В.К.Теоретические основы информационных процессов и систем: Учебник.-2-е изд. Издательско-торговая корпорация «Дашков и К°»,2006-348 с.
-
Вентцель Е.С. Теория вероятностей. М.: Высшая школа,1969.-576 с.