Тема 1_Информатика Информация
.pdfКафедра |
|
Сигналы |
|
Кафедра |
|
Понятие информации |
|
||
информатики |
|
УГАТУ |
информатики |
УГАТУ |
|||||
Преобразование |
|
|
|
Итак, Информация – атрибут реального мира, |
|
||||
непрерывного сигнала в |
|
|
|
представляющий собой его объективное отражение в |
|||||
|
|
|
виде совокупности сигналов и проявляющийся при |
|
|||||
дискретный называется |
|
|
|
|
|||||
|
|
|
взаимодействии с «приемником» информации, |
|
|||||
дискретизацией |
|
|
|
|
|
||||
|
|
|
|
позволяющим выделять, регистрировать эти сигналы |
|||||
|
|
|
|
|
|
|
|||
Дискретизация с |
|
|
|
|
из окружающего мира и по тому или иному критерию |
||||
|
|
|
|
их идентифицировать. |
|
||||
математической точки |
|
|
|
|
|||||
|
|
Из этого определения следует, что: |
|
||||||
зрения означает замену |
|
|
|
||||||
|
|
|
|
|
|
||||
непрерывной функции Z(t) |
|
|
- информация объективна, так как это свойство |
|
|||||
описывающей сигнал |
|
|
|
материи – отражение; |
|
||||
аналоговой формы на |
|
|
- информация проявляется в виде сигналов и лишь |
|
|||||
некотором временном |
|
|
|
при взаимодействии объектов; |
|
||||
интервале |
[t1,t2] конечным |
|
|
- одна и та же информация различными получателями |
|||||
множеством {zi, ti}, i = 0,.., n, |
Увеличивая количество точек |
|
|
может быть интерпретирована по-разному, в |
|
||||
где n – количество точек |
разбиения временного интервала n |
|
зависимости от «настройки приемника». |
|
|||||
разбиения временного |
можно значительно повысить точность |
|
|
|
|
||||
интервала. |
|
|
представления аналогового сигнала. |
|
|
|
|
||
|
Информатика |
ФАТС – 2, 3 |
курс 1, семестр 1, 2009 г. |
41 |
|
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
42 |
|
Кафедра |
Свойства информации |
|
Кафедра |
|
|
|
|||
информатики |
|
информатики |
|
|
|||||
|
|
УГАТУ |
|
Энтропийный подход к понятию информации |
УГАТУ |
||||
|
|
|
|
|
|
|
|
||
Кроме того: |
|
|
|
Если предположить, что приемнику информации мало |
|
||||
|
|
|
|
|
|
известно о некоторой системе, то любое сообщение об |
|||
• |
Информация неотрывна от своего носителя. |
|
этой системе, снимает какую-то часть незнания о ней. |
||||||
|
То, насколько мало известно наблюдателю о данной |
|
|||||||
|
|
|
|
|
|
|
|||
• |
Информация не подчиняется законам сохранения (она не |
системе, в кибернетике связано с понятием энтропии |
|
||||||
или неопределенности состояния системы. |
|
||||||||
убывает у источника; ее можно отдать, но не всегда можно |
|
||||||||
|
|
|
|
||||||
забрать) |
|
|
|
|
Тогда под информацией понимается количественная |
|
|||
|
|
|
|
|
|
|
|||
• |
Информация способна обеспечить опережающее |
|
величина исчезнувшей неопределенности в |
|
|||||
|
результате получения сообщения об исходе какого- |
|
|||||||
отражение действительности. Можно как бы заглянуть в |
|
||||||||
либо события (испытания, измерения, процесса, |
|
||||||||
будущее, увидеть действительность, которая с большей |
|
||||||||
состояния), происходящего в системе. Т.о. факт |
|
||||||||
или меньшей вероятностью может наступить, если |
|
получения информации всегда связан с уменьшением |
|
||||||
поведение системы не изменится |
|
энтропии системы. |
|
||||||
|
Информатика |
ФАТС – 2, 3 |
курс 1, семестр 1, 2009 г. |
43 |
|
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
44 |
Кафедра |
|
Виды информации |
УГАТУ |
|
Кафедра |
Свойства информации |
УГАТУ |
|
|
|
|
|
|
|
|
||
информатики |
|
|
|
информатики |
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
По отношению к объекту, воспринимающему и обрабатывающему |
|
|
|
|
|
|
||
информацию, её можно разделить на следующие виды: |
|
|
|
|
|
|
||
входная, внутренняя и выходная. |
|
|
|
Атрибутивные свойства информации |
|
|||
Входная информация, воспринятая объектом, становится внутренней и |
|
|
|
|
|
|||
|
|
|
Информация содержит отдельные фактические |
|||||
обрабатывается. Результатом обработки является выходная |
|
|
|
|
||||
|
|
Дискретность |
данные, закономерности и свойства изучаемых |
|||||
информация. Выходная информация отличается от входной примерно |
|
|||||||
|
|
|
объектов |
|
||||
так, как нерешенная задача отличается от решенной. Часто выходная |
|
|
|
|
||||
|
|
|
|
|
||||
|
|
|
Способность информации сливаться с уже |
|
||||
информация одного объекта может служить входной информацией для |
|
Непрерывность |
|
|||||
другого объекта и т.д. |
|
|
зафиксированной и накопленной ранее |
|
||||
|
|
|
|
|
||||
Классифицировать информацию можно также |
|
|
Динамичность |
Характеризует динамику развития информации |
||||
|
|
во времени. |
|
|||||
|
- по способу передачи и восприятия (визуальная, слуховая, |
|
|
|
||||
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
||
|
вкусовая, машинно-ориентированная), |
|
|
|
|
|
|
-по форме представления (текстовая, числовая, графическая),
-по общественному значению (массовая, личная),
-по содержанию (научная, производственная, правовая и т.д.) и по другим признакам.
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
45 |
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
46 |
|
Кафедра |
Свойства информации |
УГАТУ |
|
|
|
Кафедра |
Измерение информации |
УГАТУ |
|||
|
|
|
|
|
|
|
|
|
|
|
||
|
информатики |
|
|
|
|
|
|
|
информатики |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Качественные свойства информации |
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Содержательность |
|
Семантическая емкость информации |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Существует два подхода к измерению информации: |
|
|
|
|
Достаточность |
|
Информации достаточно для принятия |
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|||
|
(полнота) |
|
|
правильного решения |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
- энтропийный (содержательный) основан на том, что |
|
|
||
|
Достоверность |
|
Информация отражает реально существующие |
|
|
|
|
|
||||
|
|
объекты с необходимой точностью |
|
|
|
|
информация – это снятая неопределенность (если до |
|
|
|||
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
получения сообщения приемнику информации мало |
|
|
|
|
Актуальность |
|
Степень соответствия информации текущему |
|
|
|
|
|||||
|
|
|
|
|
|
известно о некоторой системе, то любое сообщение об |
||||||
|
|
моменту |
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
этой системе, снимает какую-то часть незнания о ней). |
|||
|
|
|
|
Степень соответствия информации, полученной |
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
||
|
Адекватность |
|
потребителем, тому, что автор вложил в ее |
|
|
|
|
|
|
|
|
|
|
|
|
|
содержание |
|
|
|
|
- объемный (алфавитный) исходит из того, что любое |
|
|
|
|
Доступность |
|
Возможность получения информации |
|
|
|
|
сообщение можно представить конечной |
|
|
||
|
|
|
|
|
|
|
|
последовательностью символов некоторого алфавита . |
||||
|
|
|
|
Информация востребована и полезна конкретному |
|
|
|
|||||
|
Полезность |
|
потребителю и тех его задач, которые он может |
|
|
|
|
|
|
|
||
|
|
|
|
решить с ее помощью |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Информатика |
ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
47 |
|
|
|
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
48 |
|
Кафедра |
|
|
|
|
Кафедра |
Энтропийный подход к измерению |
|
||
информатики |
|
|
|
информатики |
|
|
|
||
|
Энтропийный подход к измерению информации |
|
|
информации |
|
|
|||
|
|
|
|
УГАТУ |
|
|
УГАТУ |
||
Количественную оценку информации как исчезнувшей |
|
Трактовка информации как меры уменьшения неопределенности дает |
|||||||
неопределенности в результате полученного сигнала |
|
возможность ввести единицу измерения информации, используя |
|
||||||
можно выразить формулой: |
|
аппарат теории вероятностей. |
|
|
|||||
I = Hapr – Haps, |
|
|
ПРИМЕР. Возьмем в качестве случайного объекта некоторое |
|
|||||
|
|
случайное событие, которое может произойти с вероятностью 0,99 и |
|||||||
|
|
|
|
|
|||||
где Hapr – априорная энтропия до получения сигнала; |
|
не произойти с вероятностью 0.01, а другое событие имеет |
|
||||||
|
|
Haps – апостериорная энтропия после получения сигнала. |
|
вероятности соответственно 0,5 и 0,5. |
|
|
|||
|
|
|
|
|
|
|
|||
|
|
|
|
|
Очевидно, что в первом случае событие наступит наверняка и |
|
|||
В случае, когда после получения сигнала имеющаяся |
|
сообщение о том, что событие действительно произошло дает |
|
||||||
неопределенность снята полностью (получен конкретный результат, т.е. |
получателю гораздо меньше информации, чем во втором случае, |
|
|||||||
Haps = 0), количество полученной информации совпадает с |
|
когда от прогноза следовало бы воздержаться. |
|
||||||
первоначальной энтропией |
|
Таким образом, во втором случае сообщение о том, что событие |
|
||||||
|
|
|
I = Hapr. |
|
|
||||
|
|
|
|
произошло, несет горазо больше информации,,чем в первом. |
|
||||
В дальнейшем будет рассматриваться случай, когда Haps = 0 |
|
|
|
|
|
||||
|
|
Информатика |
ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
49 |
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, |
2009 г. |
50 |
|
Кафедра |
|
Энтропийный подход к измерению |
|
Кафедра |
Энтропийный подход к измерению |
|
|||
информатики |
|
информации |
|
информатики |
информации |
|
|
||
|
|
|
УГАТУ |
|
|
УГАТУ |
|||
Пусть нам нужно передать информацию об исходе |
|
|
|
|
|
||||
бросания монеты. До момента бросания монеты имеется |
Пример 2. Пусть нам нужно передать информацию об |
|
|||||||
неопределенность исхода данного события, при этом |
|
|
|||||||
|
исходе бросания одновременно трех монет. В этом |
|
|||||||
потенциально возможны два варианта равновероятных |
|
||||||||
случае потенциально возможны восемь вариантов |
|
||||||||
исходов бросания. Вероятность каждого события |
|
|
|||||||
|
равновероятных исходов бросания. |
Вероятность |
|
||||||
р1=р2=0,5. |
|
|
|
||||||
|
|
каждого события р1=…=р8=1/8. |
|
|
|||||
Любое из двух сообщений о результате бросания монеты |
|
|
|||||||
Любое из сообщений о результате бросания трех монет |
|||||||||
уменьшает неопределенность ровно в два раза. |
|
||||||||
|
уменьшает неопределенность ровно в восемь раз. |
|
|||||||
Это количество информации взяли за единицу и назвали |
|
||||||||
|
|
|
|
||||||
1 бит. |
|
|
|
В этом случае количество полученной информации |
|
||||
|
|
|
|
|
|
||||
1 бит есть та минимальная порция информации, которая |
будет равно 3 бита. |
|
|
||||||
уменьшает исходную неопределенность в два раза в |
|
|
|
|
|
||||
линейном масштабе. |
|
|
|
|
|
||||
|
|
Информатика |
ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
51 |
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, |
2009 г. |
52 |
Кафедра |
|
|
|
|
|
|
|
|
|
|
Кафедра |
|
|
|
|
|
|
|
|
|
информатики |
|
|
|
|
|
|
|
|
|
информатики |
|
|
|
|
|
|
|
|||
|
Энтропийный подход к измерению информации |
|
Энтропийный подход к измерению информации |
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
УГАТУ |
|
|
|
|
|
|
|
|
УГАТУ |
|
Формулу для расчета энтропии системы, имеющей N возможных |
|
Формула Шеннона для расчета энтропии системы, |
||||||||||||||||||
равновероятных состояний (pi =1/N для любого i) предложил |
|
|||||||||||||||||||
|
имеющей N возможных неравновероятных |
|||||||||||||||||||
американский математик Р. Хартли в 1928 году: |
|
|
|
|||||||||||||||||
|
|
|
|
|
I = log N |
|
|
|
|
|
состояний не противоречит формуле Хартли для |
|||||||||
|
|
|
|
|
|
|
|
|
|
случая равновероятных состояний (p1=p2 =…pN), |
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
Для случая с неравноверотными состояниями (р1, р2,…, pN) |
|
так как: |
|
|
|
|
|
|
|
|||||||||||
формула Хартли не подходит. В 1948 г. американский инженер |
|
N |
|
|
|
|
1 |
1 |
|
|||||||||||
и математик К. Шеннон предложил формулу для расчета |
|
|
|
|
|
|
||||||||||||||
|
. |
|
|
|
|
|
||||||||||||||
энтропии системы, имеющей N возможных неравновероятных |
|
I = −∑ pi log pi |
= − N |
log |
= |
|||||||||||||||
состояний: |
|
|
|
|
|
|
|
|
i =1 |
|
|
|
|
N |
N |
|
||||
|
N |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
I = − ∑ pi log pi , |
|
|
|
|
= − N |
|
1 |
(log |
1 − log |
N ) = log |
N |
|||||
|
|
|
|
|
i =1 |
|
|
|
|
|
|
N |
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
где |
pi – вероятность того, что система находится в i-м состоянии; |
|
|
|
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
N – число всевозможных состояний системы. |
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
Информатика |
ФАТС – 2, 3 |
курс 1, |
семестр 1, 2009 г. |
53 |
|
Информатика |
|
ФАТС – 2, 3 |
курс 1, семестр 1, |
2009 г. |
54 |
|||||||
Кафедра |
|
|
|
|
|
|
|
|
|
|
Кафедра |
|
|
|
|
|
|
|
|
|
информатики |
|
|
|
|
|
|
|
|
|
информатики |
|
|
|
|
|
|
|
|||
|
Энтропийный подход к измерению информации |
|
Энтропийный подход к измерению информации |
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
УГАТУ |
|
|
|
|
|
|
|
|
УГАТУ |
|
Если система характеризуется двумя параметрами и может находиться |
В приведенных выше формулах не указано основание логарифма, оно |
|||||||||||||||||||
в одном |
из |
N1 возможных состояний по первому параметру и N2 |
||||||||||||||||||
связано с выбором единицы измерения количества информации. |
||||||||||||||||||||
возможных |
состояний по второму параметру, |
то общее количество |
||||||||||||||||||
Если исходная неопределенность о состоянии системы после получения |
||||||||||||||||||||
возможных |
состояний |
N=N1×N2. Тогда |
количество |
информации о |
||||||||||||||||
сообщения уменьшается в два раза, то в качестве единицы измерения как |
||||||||||||||||||||
состоянии такой системы будет равно: |
|
|
|
|
||||||||||||||||
|
|
|
|
уже было сказано принимается 1 бит. В этом случае основание логарифма в |
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
равно 2. Такая единица измерения информации принята в вычислительной |
|||||||||
|
|
|
I = log(N1 N 2 ) = log N1 + log N 2 |
технике. |
|
|
|
|
|
|
|
|||||||||
|
|
|
Минимально возможное количество информации, содержащееся в сообщении |
|||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
об одном из трех возможных равновероятных состояний системы (N = 3) |
|||||||||
Это |
соотношение |
является |
законом |
аддитивности |
(например, результаты голосования «да», «нет», «воздержался»), |
|||||||||||||||
принимается за 1 трит. В этом случае основание логарифма в приведенных |
||||||||||||||||||||
информации, который справедлив |
и в |
том |
случае, если |
|||||||||||||||||
выше формулах равно 3. |
|
|
|
|
|
|||||||||||||||
система |
характеризуется |
любым |
количеством |
параметров |
|
|
|
|
|
|||||||||||
|
|
|
|
|
|
|
|
|
||||||||||||
N1, N2, …, Nm: |
|
|
|
|
|
|
|
Минимально возможное количество информации, содержащееся в |
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
сообщении об одном из десяти возможных равновероятных состояний |
|||||||||
|
|
|
I = log N1 + log N 2 + K + log N m |
|
системы (N = 10), принимается за 1 дит. В этом случае основание |
|||||||||||||||
|
|
|
|
логарифма в приведенных выше формулах равно 10. |
|
|||||||||||||||
|
|
Информатика |
ФАТС – 2, 3 |
курс 1, |
семестр 1, 2009 г. |
55 |
|
Информатика |
|
ФАТС – 2, 3 |
курс 1, семестр 1, |
2009 г. |
56 |
Кафедра |
Количество информации |
|
Кафедра |
|
Количество информации |
|
|
информатики |
УГАТУ |
информатики |
УГАТУ |
||||
Пример. Какое количество информации в битах несет |
|
Решение. |
|
|
|||
достоверный прогноз погоды, который заключается в |
|
Количество возможных прогнозов: |
|
|
|||
предсказании температуры, облачности, направления и |
|
|
|||||
N = N1×N2×N3×N4 = 32×8×8×32=65536. |
|
||||||
скорости ветра. |
|
|
|||||
|
|
|
Тогда, согласно формулы Хартли |
|
|
||
Дневная температура выбирается из N1 = 32 возможных |
|
|
|
|
|
||
для данного сезона, |
|
|
|
I = log2 65536 = 16 |
бит |
|
|
Облачность – из N2 = 8 возможных (солнечно, переменная |
|
|
|
|
|
||
облачность, пасмурно, дождь, облачность с |
|
Используя закон аддитивности, эту же задачу можно |
|
||||
прояснениями, без существенных осадков, небольшой |
|
||||||
дождь, ураган), |
|
решить иначе: |
|
|
|||
Направление ветра – из N3 = 8 возможных (южный, |
|
|
|
|
|
|
|
северный, восточный, западный, юго-западный, юго- |
|
|
|
|
|
|
|
восточный, северо-западный, северо-восточный), |
|
I = log2 32 + log2 8 + log2 8 + log2 32 = 5 + 3 + 3 + 5 = 16 бит |
|||||
Скорость ветра – из N4 = 32 возможных. |
|
|
|
|
|
|
|
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
57 |
|
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, |
2009 г. |
58 |
Кафедра |
Количество информации |
|
Кафедра |
|
|
|
|
информатики |
|
информатики |
|
|
|
||
|
УГАТУ |
|
Энтропийный подход к измерению информации |
УГАТУ |
|||
|
|
|
|
|
|
||
Пример. Сколько бит информации будет получено при |
|
|
|
|
|
|
|
бросании монеты (N = 2), пирамидки (четыре грани N = 4) |
|
|
|
|
|
||
и кубика (шесть граней N = 6), при условии, что пирамидка |
Пример. Сколько бит, трит и дит информации будет |
|
|||||
и кубик симметричны и однородны, т.е. исходы N событий |
получено при выбрасывании одного из 32 одинаковых |
|
|||||
для них равновероятны. |
|
|
|||||
|
шариков с номерами при розыгрыше лотереи. |
|
|||||
Решение. Согласно формуле Хартли: |
|
|
|||||
|
Решение. Согласно формуле Хартли: |
|
|
||||
|
|
|
|
|
|||
|
|
|
I = log232 = 5 (бит). |
|
|
||
|
|
|
I = log332 ≈ 3,155 (трит). |
|
|
||
Если N является целой степенью двойки, то расчеты производятся |
|
I = log1032 ≈ 1,505 (дит). |
|
|
|||
достаточно просто, в противном случае для вычисления логарифма следует |
|
|
|
|
|
||
применять таблицы Брадиса, и количество информации не будет целым |
|
|
|
|
|
|
|
числом. |
|
|
|
|
|
|
|
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
59 |
|
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, |
2009 г. |
60 |
Кафедра |
|
|
|
|
|
|
|
|
Кафедра |
|
|
|
|
|
|
|
|
|
|
|
информатики |
|
|
|
|
|
|
|
информатики |
|
|
|
|
|
|
|
|
|
|
||
|
Энтропийный подход к измерению информации |
|
|
Энтропийный подход к измерению информации |
||||||||||||||||
|
|
|
|
|
|
|
|
УГАТУ |
|
|
|
|
|
|
|
|
|
|
|
УГАТУ |
Пусть теперь интересующее нас состояние является |
|
Формулу Хартли для N равновероятных состояний системы |
||||||||||||||||||
|
(p=1/N) и формулу для случая, когда интересующее нас |
|||||||||||||||||||
одним из m ≤ N одинаковых. В этом случае, согласно |
|
|||||||||||||||||||
|
состояние является одним из m ≤ N одинаковых (в этом |
|||||||||||||||||||
закону аддитивности, количество информации |
|
|||||||||||||||||||
|
случае p=m/N), можно записать в виде |
|
|
|
||||||||||||||||
уменьшится на величину log m: |
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
I = log |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
I = log N − log m = log N |
|
|
|
|
|
|
|
p |
|
|
|
|
|
||||||
|
|
где p – вероятность интересующего нас события |
||||||||||||||||||
|
|
|
|
|
|
|
m |
|
Пример. В корзине 8 белых грибов и 24 подосиновика. Сколько бит |
|||||||||||
|
|
|
|
|
|
|
|
|
||||||||||||
Пример. В корзине 8 белых грибов и 24 подосиновика. Сколько бит |
|
информации несет сообщение о том, что из корзины достали белый |
||||||||||||||||||
|
гриб. |
|
|
|
|
|
|
|
|
|
|
|||||||||
информации несет сообщение о том, что из корзины достали белый |
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
гриб. |
|
|
|
|
|
|
|
Вероятность того, что из корзины достали белый гриб, равна |
||||||||||||
|
|
|
|
32 |
|
|
|
|
|
8 |
= |
8 |
1 |
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
p = |
= |
|
, тогда |
I = log |
|
|
= log |
|
(4) = 2 бита |
|||
|
I = log |
|
|
= log |
|
(4) = 2 бита |
|
|
24 + 8 |
|
32 |
4 |
2 |
2 |
||||||
|
2 |
2 |
|
|
|
|
|
|
|
|
||||||||||
|
|
|
8 |
|
|
|
|
|
|
|
|
|
|
|
|
p |
|
|
||
|
Информатика |
|
ФАТС – 2, 3 |
курс 1, семестр 1, 2009 г. |
61 |
|
Информатика |
|
ФАТС – 2, 3 |
курс 1, семестр 1, 2009 г. |
|
62 |
||||||||
Кафедра |
|
|
|
|
|
|
|
|
Кафедра |
|
|
|
|
|
|
|
|
|
|
|
информатики |
|
|
|
|
|
|
|
информатики |
|
|
|
|
|
|
|
|
|
|
||
|
Энтропийный подход к измерению информации |
|
Алфавитный подход к измерению информации |
|||||||||||||||||
|
|
|
|
|
|
|
|
УГАТУ |
|
|
|
|
|
|
|
|
|
|
|
УГАТУ |
|
|
|
|
|
|
|
|
|
При алфавитном подходе к измерению информации |
|||||||||||
|
|
|
|
|
|
|
|
|
сообщение рассматривается как дискретная |
|||||||||||
Качественную связь между вероятностью некоторого |
|
последовательность символов некоторого алфавита, |
||||||||||||||||||
|
смысл информации, заключенный в сообщении, не имеет |
|||||||||||||||||||
события и количеством информации в сообщении об |
|
значения, поэтому в этом случае говорят о синтаксической |
||||||||||||||||||
этом событии можно выразить так: |
|
мере информации |
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
чем меньше вероятность некоторого события, тем |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
больше информации содержит сообщение об этом |
|
Алфавит – некоторое конечное множество символов |
||||||||||||||||||
событии. |
|
|
|
|
|
|
|
{a1, a2, …, aN}, используемых при записи сообщений. |
||||||||||||
|
|
|
|
|
|
|
|
|
Мощность алфавита – количество всех возможных символов N в |
|||||||||||
|
|
|
|
|
|
|
|
|
данном алфавите. |
|
|
|
|
|
|
|
||||
|
Информатика |
|
ФАТС – 2, 3 |
курс 1, семестр 1, 2009 г. |
63 |
|
Информатика |
|
ФАТС – 2, 3 |
курс 1, семестр 1, 2009 г. |
|
64 |
Кафедра |
Синтаксическая мера измерения объема |
|
Кафедра |
Синтаксическая мера измерения объема |
|
|
информатики |
информации |
|
информатики |
|
|
|
|
УГАТУ |
|
информации |
УГАТУ |
||
|
|
|
|
|||
Минимально возможное количество информации, содержащееся |
Пример. в 2-х символьном алфавите каждый символ |
|
||||
в сообщении из одного символа, записанного с помощью |
|
несет 1 бит (log22=1) информации; в 4-х символьном |
|
|||
алфавита из двух символов, примем за основную единицу |
|
алфавите – 2 бита информации (log24=2); в 8-ми |
|
|||
измерения объема информации и назовем бит (binary digit – |
|
символьном – 3 бита (log28=3) и т.д. |
|
|||
двоичный разряд) |
|
|
|
|
||
|
|
|
Информационный объем сообщения I можно найти, |
|
||
Если считать, что все символы появляются в тексте с |
|
перемножив количество символов k в сообщении на |
|
|||
|
информационный вес i одного символа: |
|
||||
равной вероятностью, то информационный вес |
|
|
||||
|
|
I =k i |
|
|||
каждого символа можно считать по формуле Хартли |
|
|
|
|||
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
65 |
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
66 |
|
Кафедра |
Синтаксическая мера измерения объема |
|
Кафедра |
Синтаксическая мера измерения объема |
|
|
информатики |
информации |
|
информатики |
информации |
|
|
|
УГАТУ |
|
УГАТУ |
|||
|
|
|
|
|||
|
|
|
Один символ из алфавита мощностью 256 (28) имеет вес |
|||
Если объем информации, в сообщении из одного символа принять за |
|
равный 8 бит, что соответствует единице измерения |
|
|||
единицу, то объем информации в любом другом сообщении будет равен |
информации, называемой байт (1 байт = 8 бит). |
|
||||
количеству символов в этом сообщении. |
|
|
||||
|
|
|
|
|||
Объем сообщения, записанного алфавитом, состоящим из двух символов |
Пример. Измерить информационный объем сообщения |
|||||
«Я очень люблю информатику!», записанного с помощью |
||||||
{0,1}, измеряется в битах, каждый символ в таком сообщении весит один |
||||||
256-ти символьного алфавита. Считаем, что символы |
|
|||||
бит (log22=1). Тогда сообщение «10111011» имеет объем 8 бит. |
|
|
||||
|
|
|
появлятся в тексте с равной вероятностью |
|
||
В компьютерной технике информация представляется в двоичной форме (с |
|
|
|
|||
использованием алфавита, состоящего из двух знаков 0 и 1), поэтому за |
Решение. Всего в сообщении 26 символов с учетом |
|
||||
единицу измерения и объема и количества информации принимается бит. |
|
|||||
|
|
|
||||
Таким образом, с точки зрения алфавитного подхода применительно к |
|
пробела. Информационный объем сообщения равен 26 |
||||
компьютерной технике, бит – это минимальная единица измерения, |
|
байт |
|
|
||
представленная в компьютере двоичным знаком. |
|
|
|
|
||
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
67 |
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
68 |
КафедраСинтаксическая мера измерения объема |
Кафедра |
Единицы измерения информации |
|
||
информатики |
информации |
УГАТУ |
информатики |
УГАТУ |
|
|
|
|
|||
|
|
|
|
|
|
Вероятностный подход применим и для измерения информации, |
|
Наряду с единицей измерения информации 1 бит, |
|
||
заключенной в тексте. Известно, что разные символы (буквы алфавита, |
используется более крупная единица 1 байт, которая в |
||||
знаки препинания и др.) встречаются в тексте с разной частотой. |
|
||||
|
компьютерной технике является наименьшей |
|
|||
|
|
|
|
||
Общий объем информации I в сообщении, если разные символы |
|
адресуемой единицей. |
|
||
встречаются в тексте с разной вероятностью, вычисляется как |
|
|
|
|
|
сумма произведений информационного веса каждого символа на |
|
|
1 байт = 8 бит = 23 бит. |
|
|
число повторений этого символа в сообщении: |
|
|
|
||
|
|
|
|
||
|
N |
|
|
|
|
|
I = ∑ki Ii , |
|
Для измерения объема хранимой (или передаваемой) |
|
|
|
|
информации байт является слишкой малой единицей. |
|||
|
1 |
|
|||
|
|
|
|
|
|
где N – количество различных символов, встречающихся в тексте; |
|
|
|
|
|
ki |
– число повторений i–го символа, |
|
|
|
|
Ii – информационный вес i–го символа |
|
|
|
|
|
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
69 |
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
70 |
Кафедра |
Единицы измерения информации |
|
Кафедра |
|
|
информатики |
УГАТУ |
информатикиЕдиницы измерения информации |
УГАТУ |
||
|
|
|
|
||
В этом случае используются более крупные единицы |
|
Наряду с этими единицами измерения информации возможо |
|
||
измерения информации |
|
использование и другие, например: |
|
||
|
|
|
В сообщении, записанном с помощью алфавита {-, 0, +} мощностью три |
||
|
|
|
символа, каждый символ имеет вес равный один трит. Например, |
|
|
|
|
|
сообщение «--0++00» имеет объем 7 трит. |
|
|
|
|
|
В сообщении, записанном с помощью алфавита {0,1,2,3,4,5,6,7,8,9} |
|
|
|
|
|
мощностью 10 символов, каждый символ имеет вес равный один дит. |
||
|
|
|
Например, сообщение «275903» имеет объем 6 дит (6 десятичных |
|
|
|
|
|
цифр). |
|
|
|
|
|
Один символ из алфавита мощностью 256 (28) имеет вес равный 8 бит, |
||
|
|
|
что соответствует единице измерения информации, называемой байт (1 |
||
|
|
|
байт = 8 бит). |
|
|
|
|
|
Например, если сообщение «100001», записано с помощью |
|
|
|
|
|
двухсимвольного алфавита, то его объем равен 6 бит, если оно записано |
||
|
|
|
с помощью трехсимвольного алфавита, то 6 трит, если с помощью |
|
|
|
|
|
алфавита, состоящего из десяти арабских цифр – 6 дит, если с помощью |
||
|
|
|
алфавита, мощностью 256 символов – 6 байт. |
|
|
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
71 |
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
72 |
Кафедра |
|
|
Кафедра |
|
информатики |
|
информатики |
|
|
|
Единицы измерения информации |
|
Семантическая мера измерения информации |
|
|
|
УГАТУ |
|
УГАТУ |
Минимально возможное количество информации, содержащееся |
Для измерения смыслового содержания информации, т.е. |
|||
ее количества на семантическом уровне, наибольшее |
|
|||
в сообщении из одного символа, записанного с помощью |
|
|
||
|
признание получила тезаурусная мера, которая |
|
||
алфавита из трех символов, принимается за единицу измерения |
|
|||
связывает семантические свойства информации со |
|
|||
объема информации, названную трит (троичный разряд). |
|
|
||
|
способностью пользователя принимать поступившее |
|
||
|
|
|
|
|
Минимально возможное количество информации, содержащееся |
сообщение. Для этого используют понятие тезаурус |
|
||
пользователя. |
|
|||
в сообщении из одного символа, записанного с помощью |
|
Тезаурус – это совокупность сведений, которыми |
|
|
алфавита из десяти символов, принимается за единицу |
|
|
||
|
располагает пользователь или система. |
|
||
измерения объема информации названную дит (десятичный |
|
|
||
|
В зависимости от соотношений между смысловым |
|
||
разряд). |
|
|
||
|
содержанием информации S и тезаурусом пользователя |
|||
|
|
|
||
|
|
|
Sp изменяется количество семантической информации |
|
При использовании этих единиц в качестве основания логарифма |
Ic, воспринимаемой пользователем и включаемой им в |
|||
дальнейшем в свой тезаурус. |
|
|||
в формулах Хартли и Шеннона берутся 3 и 10 соответственно. |
|
|||
|
|
|||
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
73 |
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
74 |
Кафедра |
|
|
Кафедра |
|
информатики |
|
информатики |
|
|
Семантическая мера измерения информации |
Прагматическая мера измерения информации |
|||
|
|
УГАТУ |
|
УГАТУ |
Два предельных случая, когда количество семантической |
|
Прагматическая мера определяет полезность информации |
||
|
информации Ic равно 0: |
|
(ценность) для достижения пользователем |
|
- при Sp = 0 пользователь не воспринимает, не понимает |
|
|
||
|
поставленной цели. Эта мера также величина |
|
||
|
поступающую информацию; |
|
|
|
|
|
относительная, обусловленная особенностями |
|
|
- при Sp →∞ пользователь все знает, и поступающая |
|
|
||
|
использования этой информации тем или иным |
|
||
|
информация ему не нужна. |
|
|
|
|
|
пользователем для решения той или иной задачи. |
|
|
|
|
|
|
|
Максимальное количество информации Ic потребитель |
|
Пример. В экономической системе ценность информации |
||
|
приобретает при согласовании ее смыслового содержания |
можно определить приростом экономического эффекта |
||
|
S со своим тезаурусом Sp, когда поступающая информация |
|||
|
ее функционирования, достигнутым благодаря |
|
||
|
понятна пользователю и несет ему ранее неизвестные |
|
|
|
|
(отсутствующее в тезаурусе) сведения. |
|
использованию этой информации для управления |
|
Следовательно, мера новых знаний, получаемых |
|
системой. |
|
|
|
|
|
||
|
пользователем, является величиной относительной. |
|
Если информация уменьшает вероятность достижения цели, |
|
Одно и то же сообщение может иметь смысловое содержание |
|
|||
увеличивает исходную неопределенность, такую информацию |
|
|||
|
для компетентного пользователя и быть бессмысленным |
|
||
|
называют дезинформацией. |
|
||
|
для пользователя некомпетентного. |
|
|
|
|
|
|
|
|
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
75 |
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
76 |
Кафедра |
Кодирование информации |
|
Кафедра |
Кодирование информации |
|
|
информатики |
УГАТУ |
информатики |
УГАТУ |
|||
Коды появились в глубокой древности в виде криптограмм |
Число символов, используемых для кодирования |
|||||
(тайнописи), ими пользовались для засекречивания |
|
|||||
важного сообщения, чтобы оно было понятно только тем, |
называют основанием кода. |
|
||||
кому предназначено. |
|
|
|
|
||
Исторически первый код, предназначенный для передачи |
Множество кодовых символов называется кодовым |
|||||
сообщений, это азбука Морзе. Каждой букве или цифре |
|
алфавитом. |
|
|||
сопоставляется своя последовательность из |
|
|
||||
|
|
|
|
|||
кратковременных (точка) и длительных (тире) импульсов |
|
|
|
|||
тока, разделяемых паузами. Длина слов разная. |
|
Коды, использующие два различных элементарных |
||||
Код Бодо, распространенный в телеграфии, использует для |
сигнала, обозначаемых как 0 и 1, называются |
|
||||
двоичными. Кодовые слова можно представлять как |
||||||
кодирования два элементарных сигнала – импульс и паузу, |
||||||
последовательность из нулей и единиц. |
|
|||||
сопоставляемые буквам кодовые слова состоят из пяти |
|
|
||||
таких сигналов. Длина слов одинаковая. |
|
|
|
|
||
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
77 |
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
78 |
|
Кафедра |
|
|
Кафедра |
|
|
|
информатики |
|
|
информатики |
|
|
|
Кодирование текстовой информации |
Кодирование текстовой информации |
|||||
|
|
УГАТУ |
|
|
УГАТУ |
|
При двоичном кодировании текстовых данных в компьютере |
Присвоение символу конкретного двоичного кода – это |
|
||||
каждому символу ставится в соответствие своя |
|
вопрос соглашения, которое зафиксировано в кодовой |
|
|||
уникальная последовательность из восьми различных |
таблице ASCII (American Standard Code for Information |
|
||||
наборов нулей и единиц, свой уникальный двоичный код |
Interchange – Американский стандартный код для |
|
||||
от 00000000 до 11111111 или соответствующий ему |
|
|
||||
|
информационного обмена). |
|
||||
десятичный код от 0 до 255. |
|
|
||||
|
Первые 33 кода (с 0 по 32) соответствуют не символам, а |
|||||
Таким образом, человек различает символы по их |
|
|||||
|
операциям (перевод строки, ввод пробела и т.д.). |
|
||||
начертанию, а компьютер – по их коду. |
|
|
||||
|
Коды с 33 по 127 являются интернациональными и |
|
||||
Например, при нажатии клавиши с латинской буквой А в |
|
|||||
соответствуют символам латинского алфавита, цифрам, |
||||||
оперативную память передается двоичный код 01000001. |
||||||
знакам арифметических операций и знакам препинания. |
||||||
При выводе символа на экран монитора производится |
||||||
Все стандарты кодировочных таблиц включают этот |
|
|||||
декодирование: по двоичному коду символа на экране |
|
|||||
строится его изображение. |
|
фрагмент без изменений, а вторая половина (коды с 128 по |
||||
Кодирование и декодирование происходят в компьютере |
255) содержит коды национальных алфавитов, символы |
|
||||
псевдографики и некоторые математические знаки. |
|
|||||
автоматически за миллионные доли секунды. |
|
|
||||
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
79 |
|
Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г. |
80 |