Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

Тема 1_Информатика Информация

.pdf
Скачиваний:
10
Добавлен:
18.03.2015
Размер:
371.03 Кб
Скачать

Кафедра

 

Сигналы

 

Кафедра

 

Понятие информации

 

информатики

 

УГАТУ

информатики

УГАТУ

Преобразование

 

 

 

Итак, Информация – атрибут реального мира,

 

непрерывного сигнала в

 

 

 

представляющий собой его объективное отражение в

 

 

 

виде совокупности сигналов и проявляющийся при

 

дискретный называется

 

 

 

 

 

 

 

взаимодействии с «приемником» информации,

 

дискретизацией

 

 

 

 

 

 

 

 

 

позволяющим выделять, регистрировать эти сигналы

 

 

 

 

 

 

 

Дискретизация с

 

 

 

 

из окружающего мира и по тому или иному критерию

 

 

 

 

их идентифицировать.

 

математической точки

 

 

 

 

 

 

Из этого определения следует, что:

 

зрения означает замену

 

 

 

 

 

 

 

 

 

непрерывной функции Z(t)

 

 

- информация объективна, так как это свойство

 

описывающей сигнал

 

 

 

материи – отражение;

 

аналоговой формы на

 

 

- информация проявляется в виде сигналов и лишь

 

некотором временном

 

 

 

при взаимодействии объектов;

 

интервале

[t1,t2] конечным

 

 

- одна и та же информация различными получателями

множеством {zi, ti}, i = 0,.., n,

Увеличивая количество точек

 

 

может быть интерпретирована по-разному, в

 

где n – количество точек

разбиения временного интервала n

 

зависимости от «настройки приемника».

 

разбиения временного

можно значительно повысить точность

 

 

 

 

интервала.

 

 

представления аналогового сигнала.

 

 

 

 

 

Информатика

ФАТС – 2, 3

курс 1, семестр 1, 2009 г.

41

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

42

Кафедра

Свойства информации

 

Кафедра

 

 

 

информатики

 

информатики

 

 

 

 

УГАТУ

 

Энтропийный подход к понятию информации

УГАТУ

 

 

 

 

 

 

 

 

Кроме того:

 

 

 

Если предположить, что приемнику информации мало

 

 

 

 

 

 

 

известно о некоторой системе, то любое сообщение об

Информация неотрывна от своего носителя.

 

этой системе, снимает какую-то часть незнания о ней.

 

То, насколько мало известно наблюдателю о данной

 

 

 

 

 

 

 

 

Информация не подчиняется законам сохранения (она не

системе, в кибернетике связано с понятием энтропии

 

или неопределенности состояния системы.

 

убывает у источника; ее можно отдать, но не всегда можно

 

 

 

 

 

забрать)

 

 

 

 

Тогда под информацией понимается количественная

 

 

 

 

 

 

 

 

Информация способна обеспечить опережающее

 

величина исчезнувшей неопределенности в

 

 

результате получения сообщения об исходе какого-

 

отражение действительности. Можно как бы заглянуть в

 

либо события (испытания, измерения, процесса,

 

будущее, увидеть действительность, которая с большей

 

состояния), происходящего в системе. Т.о. факт

 

или меньшей вероятностью может наступить, если

 

получения информации всегда связан с уменьшением

 

поведение системы не изменится

 

энтропии системы.

 

 

Информатика

ФАТС – 2, 3

курс 1, семестр 1, 2009 г.

43

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

44

Кафедра

 

Виды информации

УГАТУ

 

Кафедра

Свойства информации

УГАТУ

 

 

 

 

 

 

 

информатики

 

 

 

информатики

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

По отношению к объекту, воспринимающему и обрабатывающему

 

 

 

 

 

 

информацию, её можно разделить на следующие виды:

 

 

 

 

 

 

входная, внутренняя и выходная.

 

 

 

Атрибутивные свойства информации

 

Входная информация, воспринятая объектом, становится внутренней и

 

 

 

 

 

 

 

 

Информация содержит отдельные фактические

обрабатывается. Результатом обработки является выходная

 

 

 

 

 

 

Дискретность

данные, закономерности и свойства изучаемых

информация. Выходная информация отличается от входной примерно

 

 

 

 

объектов

 

так, как нерешенная задача отличается от решенной. Часто выходная

 

 

 

 

 

 

 

 

 

 

 

 

Способность информации сливаться с уже

 

информация одного объекта может служить входной информацией для

 

Непрерывность

 

другого объекта и т.д.

 

 

зафиксированной и накопленной ранее

 

 

 

 

 

 

Классифицировать информацию можно также

 

 

Динамичность

Характеризует динамику развития информации

 

 

во времени.

 

 

- по способу передачи и восприятия (визуальная, слуховая,

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

вкусовая, машинно-ориентированная),

 

 

 

 

 

 

-по форме представления (текстовая, числовая, графическая),

-по общественному значению (массовая, личная),

-по содержанию (научная, производственная, правовая и т.д.) и по другим признакам.

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

45

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

46

 

Кафедра

Свойства информации

УГАТУ

 

 

 

Кафедра

Измерение информации

УГАТУ

 

 

 

 

 

 

 

 

 

 

 

 

информатики

 

 

 

 

 

 

 

информатики

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Качественные свойства информации

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Содержательность

 

Семантическая емкость информации

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Существует два подхода к измерению информации:

 

 

 

Достаточность

 

Информации достаточно для принятия

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(полнота)

 

 

правильного решения

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

- энтропийный (содержательный) основан на том, что

 

 

 

Достоверность

 

Информация отражает реально существующие

 

 

 

 

 

 

 

объекты с необходимой точностью

 

 

 

 

информация – это снятая неопределенность (если до

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

получения сообщения приемнику информации мало

 

 

 

Актуальность

 

Степень соответствия информации текущему

 

 

 

 

 

 

 

 

 

 

известно о некоторой системе, то любое сообщение об

 

 

моменту

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

этой системе, снимает какую-то часть незнания о ней).

 

 

 

 

Степень соответствия информации, полученной

 

 

 

 

 

 

 

 

 

 

 

 

 

Адекватность

 

потребителем, тому, что автор вложил в ее

 

 

 

 

 

 

 

 

 

 

 

 

содержание

 

 

 

 

- объемный (алфавитный) исходит из того, что любое

 

 

 

Доступность

 

Возможность получения информации

 

 

 

 

сообщение можно представить конечной

 

 

 

 

 

 

 

 

 

 

последовательностью символов некоторого алфавита .

 

 

 

 

Информация востребована и полезна конкретному

 

 

 

 

Полезность

 

потребителю и тех его задач, которые он может

 

 

 

 

 

 

 

 

 

 

 

решить с ее помощью

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Информатика

ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

47

 

 

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

48

 

Кафедра

 

 

 

 

Кафедра

Энтропийный подход к измерению

 

информатики

 

 

 

информатики

 

 

 

 

Энтропийный подход к измерению информации

 

 

информации

 

 

 

 

 

 

УГАТУ

 

 

УГАТУ

Количественную оценку информации как исчезнувшей

 

Трактовка информации как меры уменьшения неопределенности дает

неопределенности в результате полученного сигнала

 

возможность ввести единицу измерения информации, используя

 

можно выразить формулой:

 

аппарат теории вероятностей.

 

 

I = Hapr – Haps,

 

 

ПРИМЕР. Возьмем в качестве случайного объекта некоторое

 

 

 

случайное событие, которое может произойти с вероятностью 0,99 и

 

 

 

 

 

где Hapr – априорная энтропия до получения сигнала;

 

не произойти с вероятностью 0.01, а другое событие имеет

 

 

 

Haps – апостериорная энтропия после получения сигнала.

 

вероятности соответственно 0,5 и 0,5.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Очевидно, что в первом случае событие наступит наверняка и

 

В случае, когда после получения сигнала имеющаяся

 

сообщение о том, что событие действительно произошло дает

 

неопределенность снята полностью (получен конкретный результат, т.е.

получателю гораздо меньше информации, чем во втором случае,

 

Haps = 0), количество полученной информации совпадает с

 

когда от прогноза следовало бы воздержаться.

 

первоначальной энтропией

 

Таким образом, во втором случае сообщение о том, что событие

 

 

 

 

I = Hapr.

 

 

 

 

 

 

произошло, несет горазо больше информации,,чем в первом.

 

В дальнейшем будет рассматриваться случай, когда Haps = 0

 

 

 

 

 

 

 

Информатика

ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

49

 

Информатика ФАТС – 2, 3 курс 1, семестр 1,

2009 г.

50

Кафедра

 

Энтропийный подход к измерению

 

Кафедра

Энтропийный подход к измерению

 

информатики

 

информации

 

информатики

информации

 

 

 

 

 

УГАТУ

 

 

УГАТУ

Пусть нам нужно передать информацию об исходе

 

 

 

 

 

бросания монеты. До момента бросания монеты имеется

Пример 2. Пусть нам нужно передать информацию об

 

неопределенность исхода данного события, при этом

 

 

 

исходе бросания одновременно трех монет. В этом

 

потенциально возможны два варианта равновероятных

 

случае потенциально возможны восемь вариантов

 

исходов бросания. Вероятность каждого события

 

 

 

равновероятных исходов бросания.

Вероятность

 

р12=0,5.

 

 

 

 

 

каждого события р1=…=р8=1/8.

 

 

Любое из двух сообщений о результате бросания монеты

 

 

Любое из сообщений о результате бросания трех монет

уменьшает неопределенность ровно в два раза.

 

 

уменьшает неопределенность ровно в восемь раз.

 

Это количество информации взяли за единицу и назвали

 

 

 

 

 

1 бит.

 

 

 

В этом случае количество полученной информации

 

 

 

 

 

 

 

1 бит есть та минимальная порция информации, которая

будет равно 3 бита.

 

 

уменьшает исходную неопределенность в два раза в

 

 

 

 

 

линейном масштабе.

 

 

 

 

 

 

 

Информатика

ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

51

 

Информатика ФАТС – 2, 3 курс 1, семестр 1,

2009 г.

52

Кафедра

 

 

 

 

 

 

 

 

 

 

Кафедра

 

 

 

 

 

 

 

 

информатики

 

 

 

 

 

 

 

 

 

информатики

 

 

 

 

 

 

 

 

Энтропийный подход к измерению информации

 

Энтропийный подход к измерению информации

 

 

 

 

 

 

 

 

 

 

УГАТУ

 

 

 

 

 

 

 

 

УГАТУ

Формулу для расчета энтропии системы, имеющей N возможных

 

Формула Шеннона для расчета энтропии системы,

равновероятных состояний (pi =1/N для любого i) предложил

 

 

имеющей N возможных неравновероятных

американский математик Р. Хартли в 1928 году:

 

 

 

 

 

 

 

 

I = log N

 

 

 

 

 

состояний не противоречит формуле Хартли для

 

 

 

 

 

 

 

 

 

 

случая равновероятных состояний (p1=p2 =…pN),

 

 

 

 

 

 

 

 

 

 

 

 

Для случая с неравноверотными состояниями (р1, р2,…, pN)

 

так как:

 

 

 

 

 

 

 

формула Хартли не подходит. В 1948 г. американский инженер

 

N

 

 

 

 

1

1

 

и математик К. Шеннон предложил формулу для расчета

 

 

 

 

 

 

 

.

 

 

 

 

 

энтропии системы, имеющей N возможных неравновероятных

 

I = −pi log pi

= − N

log

=

состояний:

 

 

 

 

 

 

 

 

i =1

 

 

 

 

N

N

 

 

N

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

I = − pi log pi ,

 

 

 

 

= − N

 

1

(log

1 − log

N ) = log

N

 

 

 

 

 

i =1

 

 

 

 

 

 

N

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

где

pi – вероятность того, что система находится в i-м состоянии;

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

N – число всевозможных состояний системы.

 

 

 

 

 

 

 

 

 

 

 

 

Информатика

ФАТС – 2, 3

курс 1,

семестр 1, 2009 г.

53

 

Информатика

 

ФАТС – 2, 3

курс 1, семестр 1,

2009 г.

54

Кафедра

 

 

 

 

 

 

 

 

 

 

Кафедра

 

 

 

 

 

 

 

 

информатики

 

 

 

 

 

 

 

 

 

информатики

 

 

 

 

 

 

 

 

Энтропийный подход к измерению информации

 

Энтропийный подход к измерению информации

 

 

 

 

 

 

 

 

 

 

УГАТУ

 

 

 

 

 

 

 

 

УГАТУ

Если система характеризуется двумя параметрами и может находиться

В приведенных выше формулах не указано основание логарифма, оно

в одном

из

N1 возможных состояний по первому параметру и N2

связано с выбором единицы измерения количества информации.

возможных

состояний по второму параметру,

то общее количество

Если исходная неопределенность о состоянии системы после получения

возможных

состояний

N=NN2. Тогда

количество

информации о

сообщения уменьшается в два раза, то в качестве единицы измерения как

состоянии такой системы будет равно:

 

 

 

 

 

 

 

 

уже было сказано принимается 1 бит. В этом случае основание логарифма в

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

равно 2. Такая единица измерения информации принята в вычислительной

 

 

 

I = log(N1 N 2 ) = log N1 + log N 2

технике.

 

 

 

 

 

 

 

 

 

 

Минимально возможное количество информации, содержащееся в сообщении

 

 

 

 

 

 

 

 

 

 

 

об одном из трех возможных равновероятных состояний системы (N = 3)

Это

соотношение

является

законом

аддитивности

(например, результаты голосования «да», «нет», «воздержался»),

принимается за 1 трит. В этом случае основание логарифма в приведенных

информации, который справедлив

и в

том

случае, если

выше формулах равно 3.

 

 

 

 

 

система

характеризуется

любым

количеством

параметров

 

 

 

 

 

 

 

 

 

 

 

 

 

 

N1, N2, , Nm:

 

 

 

 

 

 

 

Минимально возможное количество информации, содержащееся в

 

 

 

 

 

 

 

 

 

 

 

сообщении об одном из десяти возможных равновероятных состояний

 

 

 

I = log N1 + log N 2 + K + log N m

 

системы (N = 10), принимается за 1 дит. В этом случае основание

 

 

 

 

логарифма в приведенных выше формулах равно 10.

 

 

 

Информатика

ФАТС – 2, 3

курс 1,

семестр 1, 2009 г.

55

 

Информатика

 

ФАТС – 2, 3

курс 1, семестр 1,

2009 г.

56

Кафедра

Количество информации

 

Кафедра

 

Количество информации

 

информатики

УГАТУ

информатики

УГАТУ

Пример. Какое количество информации в битах несет

 

Решение.

 

 

достоверный прогноз погоды, который заключается в

 

Количество возможных прогнозов:

 

 

предсказании температуры, облачности, направления и

 

 

N = NNNN4 = 32×8×8×32=65536.

 

скорости ветра.

 

 

 

 

 

Тогда, согласно формулы Хартли

 

 

Дневная температура выбирается из N1 = 32 возможных

 

 

 

 

 

для данного сезона,

 

 

 

I = log2 65536 = 16

бит

 

Облачность – из N2 = 8 возможных (солнечно, переменная

 

 

 

 

 

облачность, пасмурно, дождь, облачность с

 

Используя закон аддитивности, эту же задачу можно

 

прояснениями, без существенных осадков, небольшой

 

дождь, ураган),

 

решить иначе:

 

 

Направление ветра – из N3 = 8 возможных (южный,

 

 

 

 

 

 

северный, восточный, западный, юго-западный, юго-

 

 

 

 

 

 

восточный, северо-западный, северо-восточный),

 

I = log2 32 + log2 8 + log2 8 + log2 32 = 5 + 3 + 3 + 5 = 16 бит

Скорость ветра – из N4 = 32 возможных.

 

 

 

 

 

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

57

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1,

2009 г.

58

Кафедра

Количество информации

 

Кафедра

 

 

 

 

информатики

 

информатики

 

 

 

 

УГАТУ

 

Энтропийный подход к измерению информации

УГАТУ

 

 

 

 

 

 

Пример. Сколько бит информации будет получено при

 

 

 

 

 

 

бросании монеты (N = 2), пирамидки (четыре грани N = 4)

 

 

 

 

 

и кубика (шесть граней N = 6), при условии, что пирамидка

Пример. Сколько бит, трит и дит информации будет

 

и кубик симметричны и однородны, т.е. исходы N событий

получено при выбрасывании одного из 32 одинаковых

 

для них равновероятны.

 

 

 

шариков с номерами при розыгрыше лотереи.

 

Решение. Согласно формуле Хартли:

 

 

 

Решение. Согласно формуле Хартли:

 

 

 

 

 

 

 

 

 

 

I = log232 = 5 (бит).

 

 

 

 

 

I = log332 ≈ 3,155 (трит).

 

 

Если N является целой степенью двойки, то расчеты производятся

 

I = log1032 ≈ 1,505 (дит).

 

 

достаточно просто, в противном случае для вычисления логарифма следует

 

 

 

 

 

применять таблицы Брадиса, и количество информации не будет целым

 

 

 

 

 

 

числом.

 

 

 

 

 

 

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

59

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1,

2009 г.

60

Кафедра

 

 

 

 

 

 

 

 

Кафедра

 

 

 

 

 

 

 

 

 

 

 

информатики

 

 

 

 

 

 

 

информатики

 

 

 

 

 

 

 

 

 

 

 

Энтропийный подход к измерению информации

 

 

Энтропийный подход к измерению информации

 

 

 

 

 

 

 

 

УГАТУ

 

 

 

 

 

 

 

 

 

 

 

УГАТУ

Пусть теперь интересующее нас состояние является

 

Формулу Хартли для N равновероятных состояний системы

 

(p=1/N) и формулу для случая, когда интересующее нас

одним из m ≤ N одинаковых. В этом случае, согласно

 

 

состояние является одним из m ≤ N одинаковых (в этом

закону аддитивности, количество информации

 

 

случае p=m/N), можно записать в виде

 

 

 

уменьшится на величину log m:

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

I = log

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

I = log N − log m = log N

 

 

 

 

 

 

 

p

 

 

 

 

 

 

 

где p – вероятность интересующего нас события

 

 

 

 

 

 

 

m

 

Пример. В корзине 8 белых грибов и 24 подосиновика. Сколько бит

 

 

 

 

 

 

 

 

 

Пример. В корзине 8 белых грибов и 24 подосиновика. Сколько бит

 

информации несет сообщение о том, что из корзины достали белый

 

гриб.

 

 

 

 

 

 

 

 

 

 

информации несет сообщение о том, что из корзины достали белый

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

гриб.

 

 

 

 

 

 

 

Вероятность того, что из корзины достали белый гриб, равна

 

 

 

 

32

 

 

 

 

 

8

=

8

1

 

 

 

1

 

 

 

 

 

 

 

 

 

 

p =

=

 

, тогда

I = log

 

 

= log

 

(4) = 2 бита

 

I = log

 

 

= log

 

(4) = 2 бита

 

 

24 + 8

 

32

4

2

2

 

2

2

 

 

 

 

 

 

 

 

 

 

 

8

 

 

 

 

 

 

 

 

 

 

 

 

p

 

 

 

Информатика

 

ФАТС – 2, 3

курс 1, семестр 1, 2009 г.

61

 

Информатика

 

ФАТС – 2, 3

курс 1, семестр 1, 2009 г.

 

62

Кафедра

 

 

 

 

 

 

 

 

Кафедра

 

 

 

 

 

 

 

 

 

 

 

информатики

 

 

 

 

 

 

 

информатики

 

 

 

 

 

 

 

 

 

 

 

Энтропийный подход к измерению информации

 

Алфавитный подход к измерению информации

 

 

 

 

 

 

 

 

УГАТУ

 

 

 

 

 

 

 

 

 

 

 

УГАТУ

 

 

 

 

 

 

 

 

 

При алфавитном подходе к измерению информации

 

 

 

 

 

 

 

 

 

сообщение рассматривается как дискретная

Качественную связь между вероятностью некоторого

 

последовательность символов некоторого алфавита,

 

смысл информации, заключенный в сообщении, не имеет

события и количеством информации в сообщении об

 

значения, поэтому в этом случае говорят о синтаксической

этом событии можно выразить так:

 

мере информации

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

чем меньше вероятность некоторого события, тем

 

 

 

 

 

 

 

 

 

 

 

 

 

больше информации содержит сообщение об этом

 

Алфавит – некоторое конечное множество символов

событии.

 

 

 

 

 

 

 

{a1, a2, …, aN}, используемых при записи сообщений.

 

 

 

 

 

 

 

 

 

Мощность алфавита – количество всех возможных символов N в

 

 

 

 

 

 

 

 

 

данном алфавите.

 

 

 

 

 

 

 

 

Информатика

 

ФАТС – 2, 3

курс 1, семестр 1, 2009 г.

63

 

Информатика

 

ФАТС – 2, 3

курс 1, семестр 1, 2009 г.

 

64

Кафедра

Синтаксическая мера измерения объема

 

Кафедра

Синтаксическая мера измерения объема

 

информатики

информации

 

информатики

 

 

 

УГАТУ

 

информации

УГАТУ

 

 

 

 

Минимально возможное количество информации, содержащееся

Пример. в 2-х символьном алфавите каждый символ

 

в сообщении из одного символа, записанного с помощью

 

несет 1 бит (log22=1) информации; в 4-х символьном

 

алфавита из двух символов, примем за основную единицу

 

алфавите – 2 бита информации (log24=2); в 8-ми

 

измерения объема информации и назовем бит (binary digit –

 

символьном – 3 бита (log28=3) и т.д.

 

двоичный разряд)

 

 

 

 

 

 

 

Информационный объем сообщения I можно найти,

 

Если считать, что все символы появляются в тексте с

 

перемножив количество символов k в сообщении на

 

 

информационный вес i одного символа:

 

равной вероятностью, то информационный вес

 

 

 

 

I =k i

 

каждого символа можно считать по формуле Хартли

 

 

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

65

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

66

Кафедра

Синтаксическая мера измерения объема

 

Кафедра

Синтаксическая мера измерения объема

 

информатики

информации

 

информатики

информации

 

 

УГАТУ

 

УГАТУ

 

 

 

 

 

 

 

Один символ из алфавита мощностью 256 (28) имеет вес

Если объем информации, в сообщении из одного символа принять за

 

равный 8 бит, что соответствует единице измерения

 

единицу, то объем информации в любом другом сообщении будет равен

информации, называемой байт (1 байт = 8 бит).

 

количеству символов в этом сообщении.

 

 

 

 

 

 

Объем сообщения, записанного алфавитом, состоящим из двух символов

Пример. Измерить информационный объем сообщения

«Я очень люблю информатику!», записанного с помощью

{0,1}, измеряется в битах, каждый символ в таком сообщении весит один

256-ти символьного алфавита. Считаем, что символы

 

бит (log22=1). Тогда сообщение «10111011» имеет объем 8 бит.

 

 

 

 

 

появлятся в тексте с равной вероятностью

 

В компьютерной технике информация представляется в двоичной форме (с

 

 

 

использованием алфавита, состоящего из двух знаков 0 и 1), поэтому за

Решение. Всего в сообщении 26 символов с учетом

 

единицу измерения и объема и количества информации принимается бит.

 

 

 

 

Таким образом, с точки зрения алфавитного подхода применительно к

 

пробела. Информационный объем сообщения равен 26

компьютерной технике, бит – это минимальная единица измерения,

 

байт

 

 

представленная в компьютере двоичным знаком.

 

 

 

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

67

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

68

КафедраСинтаксическая мера измерения объема

Кафедра

Единицы измерения информации

 

информатики

информации

УГАТУ

информатики

УГАТУ

 

 

 

 

 

 

 

 

Вероятностный подход применим и для измерения информации,

 

Наряду с единицей измерения информации 1 бит,

 

заключенной в тексте. Известно, что разные символы (буквы алфавита,

используется более крупная единица 1 байт, которая в

знаки препинания и др.) встречаются в тексте с разной частотой.

 

 

компьютерной технике является наименьшей

 

 

 

 

 

Общий объем информации I в сообщении, если разные символы

 

адресуемой единицей.

 

встречаются в тексте с разной вероятностью, вычисляется как

 

 

 

 

сумма произведений информационного веса каждого символа на

 

 

1 байт = 8 бит = 23 бит.

 

число повторений этого символа в сообщении:

 

 

 

 

 

 

 

 

N

 

 

 

 

 

I = ki Ii ,

 

Для измерения объема хранимой (или передаваемой)

 

 

 

информации байт является слишкой малой единицей.

 

1

 

 

 

 

 

 

где N – количество различных символов, встречающихся в тексте;

 

 

 

 

ki

– число повторений i–го символа,

 

 

 

 

Ii – информационный вес i–го символа

 

 

 

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

69

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

70

Кафедра

Единицы измерения информации

 

Кафедра

 

 

информатики

УГАТУ

информатикиЕдиницы измерения информации

УГАТУ

 

 

 

 

В этом случае используются более крупные единицы

 

Наряду с этими единицами измерения информации возможо

 

измерения информации

 

использование и другие, например:

 

 

 

 

В сообщении, записанном с помощью алфавита {-, 0, +} мощностью три

 

 

 

символа, каждый символ имеет вес равный один трит. Например,

 

 

 

 

сообщение «--0++00» имеет объем 7 трит.

 

 

 

 

В сообщении, записанном с помощью алфавита {0,1,2,3,4,5,6,7,8,9}

 

 

 

 

мощностью 10 символов, каждый символ имеет вес равный один дит.

 

 

 

Например, сообщение «275903» имеет объем 6 дит (6 десятичных

 

 

 

 

цифр).

 

 

 

 

 

Один символ из алфавита мощностью 256 (28) имеет вес равный 8 бит,

 

 

 

что соответствует единице измерения информации, называемой байт (1

 

 

 

байт = 8 бит).

 

 

 

 

Например, если сообщение «100001», записано с помощью

 

 

 

 

двухсимвольного алфавита, то его объем равен 6 бит, если оно записано

 

 

 

с помощью трехсимвольного алфавита, то 6 трит, если с помощью

 

 

 

 

алфавита, состоящего из десяти арабских цифр – 6 дит, если с помощью

 

 

 

алфавита, мощностью 256 символов – 6 байт.

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

71

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

72

Кафедра

 

 

Кафедра

 

информатики

 

информатики

 

 

Единицы измерения информации

 

Семантическая мера измерения информации

 

 

УГАТУ

 

УГАТУ

Минимально возможное количество информации, содержащееся

Для измерения смыслового содержания информации, т.е.

ее количества на семантическом уровне, наибольшее

 

в сообщении из одного символа, записанного с помощью

 

 

 

признание получила тезаурусная мера, которая

 

алфавита из трех символов, принимается за единицу измерения

 

связывает семантические свойства информации со

 

объема информации, названную трит (троичный разряд).

 

 

 

способностью пользователя принимать поступившее

 

 

 

 

 

Минимально возможное количество информации, содержащееся

сообщение. Для этого используют понятие тезаурус

 

пользователя.

 

в сообщении из одного символа, записанного с помощью

 

Тезаурус – это совокупность сведений, которыми

 

алфавита из десяти символов, принимается за единицу

 

 

 

располагает пользователь или система.

 

измерения объема информации названную дит (десятичный

 

 

 

В зависимости от соотношений между смысловым

 

разряд).

 

 

 

содержанием информации S и тезаурусом пользователя

 

 

 

 

 

 

Sp изменяется количество семантической информации

При использовании этих единиц в качестве основания логарифма

Ic, воспринимаемой пользователем и включаемой им в

дальнейшем в свой тезаурус.

 

в формулах Хартли и Шеннона берутся 3 и 10 соответственно.

 

 

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

73

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

74

Кафедра

 

 

Кафедра

 

информатики

 

информатики

 

Семантическая мера измерения информации

Прагматическая мера измерения информации

 

 

УГАТУ

 

УГАТУ

Два предельных случая, когда количество семантической

 

Прагматическая мера определяет полезность информации

 

информации Ic равно 0:

 

(ценность) для достижения пользователем

 

- при Sp = 0 пользователь не воспринимает, не понимает

 

 

 

поставленной цели. Эта мера также величина

 

 

поступающую информацию;

 

 

 

 

относительная, обусловленная особенностями

 

- при Sp →∞ пользователь все знает, и поступающая

 

 

 

использования этой информации тем или иным

 

 

информация ему не нужна.

 

 

 

 

пользователем для решения той или иной задачи.

 

 

 

 

 

Максимальное количество информации Ic потребитель

 

Пример. В экономической системе ценность информации

 

приобретает при согласовании ее смыслового содержания

можно определить приростом экономического эффекта

 

S со своим тезаурусом Sp, когда поступающая информация

 

ее функционирования, достигнутым благодаря

 

 

понятна пользователю и несет ему ранее неизвестные

 

 

 

(отсутствующее в тезаурусе) сведения.

 

использованию этой информации для управления

 

Следовательно, мера новых знаний, получаемых

 

системой.

 

 

 

 

 

пользователем, является величиной относительной.

 

Если информация уменьшает вероятность достижения цели,

 

Одно и то же сообщение может иметь смысловое содержание

 

увеличивает исходную неопределенность, такую информацию

 

 

для компетентного пользователя и быть бессмысленным

 

 

называют дезинформацией.

 

 

для пользователя некомпетентного.

 

 

 

 

 

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

75

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

76

Кафедра

Кодирование информации

 

Кафедра

Кодирование информации

 

информатики

УГАТУ

информатики

УГАТУ

Коды появились в глубокой древности в виде криптограмм

Число символов, используемых для кодирования

(тайнописи), ими пользовались для засекречивания

 

важного сообщения, чтобы оно было понятно только тем,

называют основанием кода.

 

кому предназначено.

 

 

 

 

Исторически первый код, предназначенный для передачи

Множество кодовых символов называется кодовым

сообщений, это азбука Морзе. Каждой букве или цифре

 

алфавитом.

 

сопоставляется своя последовательность из

 

 

 

 

 

 

кратковременных (точка) и длительных (тире) импульсов

 

 

 

тока, разделяемых паузами. Длина слов разная.

 

Коды, использующие два различных элементарных

Код Бодо, распространенный в телеграфии, использует для

сигнала, обозначаемых как 0 и 1, называются

 

двоичными. Кодовые слова можно представлять как

кодирования два элементарных сигнала – импульс и паузу,

последовательность из нулей и единиц.

 

сопоставляемые буквам кодовые слова состоят из пяти

 

 

таких сигналов. Длина слов одинаковая.

 

 

 

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

77

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

78

Кафедра

 

 

Кафедра

 

 

информатики

 

 

информатики

 

 

Кодирование текстовой информации

Кодирование текстовой информации

 

 

УГАТУ

 

 

УГАТУ

При двоичном кодировании текстовых данных в компьютере

Присвоение символу конкретного двоичного кода – это

 

каждому символу ставится в соответствие своя

 

вопрос соглашения, которое зафиксировано в кодовой

 

уникальная последовательность из восьми различных

таблице ASCII (American Standard Code for Information

 

наборов нулей и единиц, свой уникальный двоичный код

Interchange – Американский стандартный код для

 

от 00000000 до 11111111 или соответствующий ему

 

 

 

информационного обмена).

 

десятичный код от 0 до 255.

 

 

 

Первые 33 кода (с 0 по 32) соответствуют не символам, а

Таким образом, человек различает символы по их

 

 

операциям (перевод строки, ввод пробела и т.д.).

 

начертанию, а компьютер – по их коду.

 

 

 

Коды с 33 по 127 являются интернациональными и

 

Например, при нажатии клавиши с латинской буквой А в

 

соответствуют символам латинского алфавита, цифрам,

оперативную память передается двоичный код 01000001.

знакам арифметических операций и знакам препинания.

При выводе символа на экран монитора производится

Все стандарты кодировочных таблиц включают этот

 

декодирование: по двоичному коду символа на экране

 

строится его изображение.

 

фрагмент без изменений, а вторая половина (коды с 128 по

Кодирование и декодирование происходят в компьютере

255) содержит коды национальных алфавитов, символы

 

псевдографики и некоторые математические знаки.

 

автоматически за миллионные доли секунды.

 

 

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

79

 

Информатика ФАТС – 2, 3 курс 1, семестр 1, 2009 г.

80