Введение_в_специальность

Информация от источника к приемнику передается с помощью сигнала.

Сигнал – физический процесс, отображающий сообщение. Но- сителем информации может быть только такой сигнал, изменение которого во времени точно предсказать нельзя. Априорно извест- ный сигнал не содержит информации. Информация – лишь те све- дения в сообщении, которые неизвестны получателю, т. е. не всякое сообщение несет информацию. Информация характеризуется рядом показателей: количеством, скоростью передачи, надежностью пере- дачи, достоверностью и т. д. [12].

5.2. Виды информации

Информация может быть двух видов – дискретная (цифровая) и непрерывная (аналоговая). Дискретная информация характеризует- ся последовательными точными значениями некоторой величины, а непрерывная – непрерывным процессом изменения некоторой ве- личины. Непрерывную информацию может, например, выдавать датчик атмосферного давления или датчик скорости автомашины.

Дискретную информацию можно получить от любого цифрового индикатора (электронных часов, счетчика магнитофона и т. п.).

Дискретная информация удобнее для обработки человеком, но не- прерывная информация часто встречается в практической работе, по-

этому необходимо уметь переводить непрерывную информацию в дискретную (дискретизация) и наоборот. Модем (это слово происхо- дит от слов модуляция и демодуляция) представляет собой устройство для такого перевода: он переводит цифровые данные от компьютера в звук или электромагнитные колебания-копии звука и наоборот.

При переводе непрерывной информации в дискретную инфор- мацию важна так называемая частота дискретизации v, определяю- щая период (T=1/v) определения значения непрерывной величины

(рис. 5.1).

Чем выше частота дискретизации, тем точнее происходит пере- вод непрерывной информации в дискретную. Но с ростом этой ча- стоты растет и размер дискретных данных, получаемых при таком переводе, следовательно, сложность их обработки, передачи и хра- нения. Однако для повышения точности дискретизации необяза-

51

тельно безграничное увеличение ее частоты. Эту частоту разумно увеличивать только до предела, определяемого теоремой о выбор- ках или законом Найквиста (Nyquist).

Рис. 5.1. Исходный сигнал

Любая непрерывная величина описывается множеством нало- женных друг на друга волновых процессов, называемых гармони- ками, определяемых функциями вида:

A ×sin(ωt + φ),

где A – это амплитуда, ω – частота, t – время и φ – фаза.

Теорема о выборках гласит, что для точной дискретизации ее ча- стота должна быть не менее чем в два разы выше наибольшей ча- стоты гармоники, входящей в дискретизируемую величину.

Примером использования этой теоремы являются лазерные ком- пакт-диски, звуковая информация на которых хранится в цифровой форме. Чем выше будет частота дискретизации, тем точнее будут

воспроизводиться звуки и тем меньше их можно будет записать на один диск, но ухо обычного человека способно различать звуки с частотой до 20 КГц, поэтому точно записывать звуки с большей ча- стотой бессмысленно. Согласно теореме о выборках, частоту дис- кретизации нужно выбрать не меньшей 40 КГц (в промышленном стандарте на компакт-диске используется частота 44,1 КГц).

При преобразовании дискретной информации в непрерывную, определяющей является скорость этого преобразования: чем она выше, с тем более высокочастотными гармониками получится не- прерывная величина. Но чем большие частоты встречаются в этой величине, тем сложнее с ней работать. Например, обычные теле-

52

фонные линии предназначены для передачи звуков частотой до 3 КГц. Связь скорости передачи и наибольшей допустимой частоты подробнее будет рассмотрена далее.

Устройства для преобразования непрерывной информации в дискретную называются АЦП (аналого-цифровой преобразова-

тель) или ADC (Analog to Digital Convertor, A/D), а устройства для преобразования дискретной информации в аналоговую – ЦАП (цифро-аналоговый преобразователь) или DAC (Digital to Analog Convertor, D/A).

5.3.Хранение, измерение, обработка

ипередача информации

Для хранения информации используются специальные устрой- ства памяти. Дискретную информацию хранить гораздо проще не- прерывной, т. к. она описывается последовательностью чисел. Если представить каждое число в двоичной системе счисления, то дис-

кретная информация предстанет в виде последовательностей нулей и единиц. Присутствие или отсутствие какого-либо признака в не-

котором устройстве может описывать некоторую цифру в одной из этих последовательностей. Например, позиция на дискете описыва- ет место цифры, а полярность намагниченности – ее значение. Для записи дискретной информации можно использовать ряд переклю- чателей, перфокарты, перфоленты, различные виды магнитных и лазерных дисков, электронные триггеры и т. п. Одна позиция для

двоичной цифры в описании дискретной информации называется битом (bit, binary digit). Бит служит для измерения информации. Информация размером в один бит содержится в ответе на вопрос, требующий ответа «да» или «нет» [3, 11].

Хранить непрерывную информацию очень сложно. Обычно для этого используют электрические схемы на основе конденсатора. Непрерывную информацию тоже измеряют в битах.

Бит – это очень маленькая единица, поэтому часто используется величина в 8 раз большая – байт (byte), состоящая из двух 4-битных полубайт или тетрад. Байт обычно обозначают заглавной буквой B или Б. Как и для прочих стандартных единиц измерения, для бита и байта существуют производные от них единицы, образуемые при помощи приставок кило (K), мега (M), гига (G или Г), тера (T), пета

53

(P или П) и других. Но для битов и байтов они означают не степени 10, а степени двойки: кило – 210=1024≈103, мега – 220≈106, гига –

230 ≈ 109, тера – 240≈1012, пета – 250≈1015.

Например, 1 KB = 8 Кбит = 1024 B = 8192 бит, 1 МБ = 1024 КБ = = 1048 576 Б = 8192 Кбит.

Для обработки информации используют вычислительные маши- ны, которые бывают двух видов: ЦВМ (цифровая вычислительная машина) – для обработки дискретной информации, АВМ (аналого- вая вычислительная машина) – для обработки непрерывной инфор- мации. ЦВМ универсальны, на них можно решать любые вычисли- тельные задачи с любой точностью, но с ростом точности скорость их работы уменьшается. ЦВМ – это обычные компьютеры.

Каждая АВМ предназначена только для узкого класса задач, например, интегрирования или дифференцирования. Если на вход та- кой АВМ подать сигнал, описываемый функцией f(t), то на ее выходе появится сигнал F(t) или f'(t). АВМ работают очень быстро, но их точ- ность ограничена и не может быть увеличена без аппаратных переде- лок. Программа для АВМ – это электрическая схема из заданного набора электронных компонент, которую нужно физически собрать.

Бывают еще и гибридные вычислительные машины, сочетающие в себе элементы как ЦВМ, так и АВМ.

На рис. 5.2 изображена схема передачи информации. Кодированием, например, является шифровка сообщения, деко-

дированием – его дешифровка.

Процедуры кодирования и декодирования могут повторяться много раз. Ошибки при передаче информации происходят из-за шума в канале (атмосферные и технические помехи), ошибок коди- рования и декодирования. Теория информации изучает в частности способы минимизации количества таких ошибок.

Кодирование

Канал связи

Декодирование

Источник

Передатчик

Приёмник

Получатель

Рис. 5.2. Схема передачи информации

Скорость передачи информации измеряется в количестве пере- данных за одну секунду бит или в бодах (baud): 1 бод = 1 бит/сек

54

(bps). Производные единицы для бода такие же, как и для бита и байта, например: 10 Kбод = 10240 бод.

Информацию можно передавать последовательно, т. е. бит за би- том, и параллельно, т. е. группами фиксированного количества бит. Параллельный способ быстрее, но он часто технически сложнее и дороже особенно при передаче данных на большие расстояния. Па- раллельный способ передачи используют, как правило, только на расстоянии не более 5 метров.

5.4. Базовые понятия теории информации

Информация – нематериальная сущность, при помощи которой с любой точностью можно описывать реальные (материальные), вир- туальные (возможные) и понятийные сущности. Информация – про- тивоположность неопределенности.

Канал связи – это среда передачи информации, которая характе- ризуется в первую очередь максимально возможной для нее скоро- стью передачи данных (емкостью канала связи).

Шум – это помехи в канале связи при передаче информации. Кодирование – преобразование дискретной информации одним

из следующих способов: шифрование, сжатие, защита от шума. Общая схема передачи информации изображена на рисунке 5.3. Емкость канала связи без шума можно приблизительно вычис-

лить, зная максимальную частоту волновых процессов, допустимую в этом канале. Можно считать, что скорость передачи данных мо- жет быть не меньше, чем эта частота. Например, при предельной частоте, равной 1000 Гц, можно обеспечить скорость передачи дан- ных не меньше 1 Кбод.

Примеры каналов связи и связанных с ними предельных частот: телеграф – 140 Гц, телефон – до 3,1 КГц, короткие волны (10–100 м) – 3-30 МГц, УКВ (1–10 м) – 30–300 МГц, спутник (сантиметровые волны) – до 30 ГГц, оптический (инфракрасный диапазон) – 0,15400 ТГц, оптический (видимый свет) – 400–700 ТГц, оптический (уль- трафиолетовый диапазон) – 0,7–1,75 ПГц.

Типичные современные каналы – телеграфный и телефонный. В настоящее время внедряются перспективные каналы: оптоволо- конный (терабоды) и цифровой телефонный (ISDN, Integrated Services Digital Networks) – 57–128 Кбод.

55

Исходная

Шифрование

Сжатие

Шумозащитное

информация

кодирование

Шум

Канал связи

Полученная

Дешифровка

Распаковка

Декодирование

информация

шумозащиных кодов

Рис. 5.3. Общая схема передачи информации

В реальных оптоволоконных системах скорость гораздо ниже теоретических пределов (редко превосходит 1–10 Гбод).

Наиболее широко пока используются телефонные линии связи. Здесь достигнута скорость более 50 Кбод.

5.5. Энтропия и количество информации

Важнейшей объективной характеристикой информации, не зави- сящей от источника, приёмника и канала связи, является количество информации. Единица количества информации (бит) является такой же фундаментальной единицей, как и метр, килограмм, секунда и другие (но не относится к физическим единицам).

1 бит – это количество информации, образующееся в результате проведения опыта, имеющего два равновероятных несовместных исхода.

Например: информация, содержащаяся в результате бросания монеты (выпадение одной из двух её сторон – «орла» или «решки») равна 1 биту; вероятности рождения мальчика или девочки можно считать близкими к 0,5, следовательно, количество информации, соответствующей рождению именно мальчика (или девочки), равно также одному биту.

Бит – наименьшая единица информации, на практике применя- ются более крупные единицы: байт, килобит, килобайт, мегабайт и другие.

Рассмотрим определение количества информации в общем слу- чае. Если источник информации может находиться в одном из n дискретных состояний с вероятностью pi в каждом из них (i =1, 2,

56

..., n), то в качестве меры неопределённости можно ввести функ- цию H, называемую энтропией. Будем называть каждое возможное состояние источника информации сообщением. Энтропия –-го со-

общения по определению равна:	Нi = log2	æ	1	ö	(pi ).	Ло-
		ç	2	÷ = -log2
		è		ø

гарифмы берутся здесь по основанию 2 для удобства, чтобы эн-

тропия любого из двух равновероятных и несовместных событий (при p1 = p2 = 0,5) равнялась единице. Очевидно также, что энтро- пия достоверного события (pi=1) равна нулю. Наоборот, чем менее вероятно некоторое событие, тем больше его энтропия, это и по- нятно, ведь более редким событиям приписывается большая ин- формационная значимость.

Энтропией источника называется среднее значение энтропии со- общения:

n	n	æ	æ	1	öö	n
		ç	ç		÷÷	= -å(pi )×log2 (pi ).
H = å(pi ×Hi )= åçpi ×log2			ç		÷÷
i=1	i=1	è	è pi øø			i=1

Это определение энтропии, предложенное Клодом Шенноном, считается классическим. Аналогично можно определить энтропию приёмника информации. Если энтропию приёмника информации до прихода некоторого сообщения обозначить H0, а значение энтропии после получения сообщения H1, то разность этих величин H1–H0 (изменение энтропии) будет равна количеству информации, содер- жащейся в сообщении:

	n æ	æ	1	öö	n
	ç	ç		÷÷	= -å(pi ×log2 (pi )).
	Q = åçpi ×log2	ç		÷÷
	i=1è	è pi øø			i=1

Примечание: для вычисления логарифма по основанию 2 можно использовать тождество:

log2 (a)= lnln((a2)) » 1,44×ln(a).

Пример : вычислим количество информации (энтропию), обра- зующейся при одном бросании игрального кубика.

Правильный однородный игральный кубик может упасть равно- вероятно любой своей гранью. Таким образом, имеем шесть равно- вероятных исходов (возможностью кубика встать на ребро следует

57

пренебречь): n = 6. Вероятность каждого из них равна 1/6. Тогда энтропия любого из результатов бросания кубика равна:

Hi = −log2 (1/ 6)= log2 (6)= ln(6)/ ln(2)≈ 2,58.

5.6. Понятие о теореме Шеннона

Скорость передачи информации по каналу связи равна количе-

ству информации,	передаваемой	в единицу времени:	I =	Q .
				t
Скорость передачи	измеряется в	битах в секунду или	в	бодах

(1 бит/с=1 бод). Максимальная скорость передачи информации

называется пропускной способностью канала связи: I =				Qmax	.
				t
Пусть источник с энтропией H передаёт эту информацию за вре-
мя	t по каналу с пропускной способностью Imax.		Тогда, если
I =	H	≤ Imax , то это количество информации может быть передано
	t

H

без искажений. Если, наоборот, t > Imax , то передача информа-

ции без искажений невозможна. Это довольно ясное утверждение называется теоремой Шеннона (первой). Она накладывает ограни- чение на максимальную скорость передачи информации.

Контрольные вопросы

1.Основные понятия и определения.

2.Виды информации.

3.Хранение, измерение, обработка и передача информации.

4.Базовые понятия теории информации.

5.Энтропия и количество информации.

6.Понятие о теореме Шеннона.

58

ГЛАВА 6 ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ПЕРЕДАЧИ

ДИСКРЕТНЫХ СООБЩЕНИЙ

6.1. Сообщения, сигналы, каналы связи

Всякое сообщение является некоторой совокупностью сведений о состоянии какой-либо материальной системы, которые передают- ся человеком (или устройством), наблюдающим эту систему, дру- гому человеку (или устройству), обычно не имеющему возможно- сти получить эти сведения из непосредственных наблюдений. Эта

материальная система вместе с наблюдателем представляет собой источник сообщения. Для того чтобы сообщение было передано получателю, необходимо воспользоваться каким-либо физическим процессом. Изменяющаяся физическая величина (например, ток в проводе, электромагнитное поле, звуковые волны и т. п.), отобра- жающая сообщение, называется сигналом. Совокупность средств, предназначенных для передачи сигнала, называется каналом связи. Здесь под «средством» можно понимать как устройство, так и фи- зическую среду, в которой распространяется сигнал. Сигнал при- нимается получателем. Зная закон, связывающий сообщение и сиг- нал, получатель может выявить содержащиеся в сообщении сведе- ния. Для получателя сообщения сигнал заранее не известен, и по- этому он является случайным процессом [11, 12].

Помимо передаваемого сигнала в канале всегда присутствуют другие случайные процессы различного происхождения, называе- мые помехами или шумами. Наличие помех вызывает принципи- альную неоднозначность в восстановлении сообщения.

Канал связи вместе с источником сообщения и его получателем при заданных методах преобразования сообщения в сигнал и вос- становления сообщения по принятому сигналу называется систе-

мой связи.

Иногда канал используется для передачи сообщений от несколь- ких источников нескольким получателям.

На рис. 6.1 представлена в самом общем виде схема системы связи. Здесь под передающим устройством понимается вся аппара- тура, осуществляющая преобразование сообщения в сигнал, а под

59

приемным устройством – аппаратура, восстанавливающая сообще- ние. В состав канала может также входить аппаратура, например ретрансляционные усилители.

Источники помех

Источник

Передающее

Канал

Приёмное

Получатель

сообщений

устройство

устройство

сообщений

Рис. 6.1. Схема системы связи

Заметим, что понятие «канал» ке является строго определенным. Пусть, например, сигнал, передаваемый из точки А в точку В (рис. 6.2), проходит последовательно через некоторые звенья а, b, с, ..., i, j, k, которые могут представлять собой, например, усилители, от- резки кабеля, среду, в которой распространяются электромагнитные или акустические колебания, и т. д. Можно всю совокупность этих звеньев называть каналом. Но можно считать каналом часть звень- ев, например от с до j, отнеся звенья а и b к передающему устрой- ству, а звено k – к приемному. В общей теории связи удобно назы- вать каналом любую часть системы связи, которую по условиям решаемой задачи невозможно или нежелательно изменять. В этом смысле мы и будем понимать термин «канал».

A	a	b	c	...	i	j	k	B

Рис. 6.2. К определению канала

С математической точки зрения, задать канал, значит, указать, какие сигналы можно подавать на его вход, и каково распределе-

ние вероятностей сигнала на его выходе при известном сигнале на входе. Общей задачей теории связи является нахождение таких

методов преобразования сообщения в сигналы данного канала и обратного преобразования принятого сигнала в сообщение, при

которых обеспечивается в некотором смысле наилучшая передача сообщений.

60