Лекция 1. Основные понятия теории информации

Получение, передача, обработка и хранение информации являются наиболее динамично развивающимися и перспективными областями человеческой деятельности. Десятки тысяч фирм во всем мире, с годовым оборотом в сотни миллиардов долларов, занимаются исследованием, разработкой, производством, продажей и эксплуатацией разнообразных систем и устройств передачи и хранения информации.

Передача информации является важнейшей задачей в системах связи и телекоммуникаций, компьютерных сетях, телефонии, навигационных и измерительных системах и т.д. Оптимизация информационных систем с точки зрения повышения скорости, достоверности и помехоустойчивости передачи информации возможна только на основе использования положений теории информации.

Теория информации, ориентированная на формализованное описание сообщений, процессов их формирования, передачи и приема развивалась, начиная с исследований Р. Хартли (1928 г.) особенно активно во второй половине XX века. Ее создание позволило решить основные теоретические проблемы и создать эффективные системы передачи сигналов и хранения информации.

Как известно, под информацией понимают совокупность сведений о каких-либо событиях, процессах, явлениях и т.п., рассматриваемых в аспекте их передачи в пространстве и во времени.

Существует несколько взглядов на сущность информации, однако большинство специалистов считает, что существует информация двух типов.

1. Информация техническая, которая передается по каналам связи и отображается на экранах дисплеев. Количество такой информации может быть точно вычислено, и процессы, происходящие с такой информацией, поддаются строгому анализу.

2. Информация семантическая, т.е. смысловая. Такого типа информация содержится, например, в литературном или музыкальном произведении. Хотя для анализа такой информации и предлагаются различные математические модели, количественные оценки на их основе весьма условны и приблизительны.

Информацию передают в виде сообщений. Они выражают информацию в определенной форме и предназначены для передачи от источника к адресату (телеграммы, речь, телеизображение, данные на выходе компьютера, команды системы автоматического управления объектами и т.п.).

Сообщения передают с помощью сигналов, которые являются носителями информации. Основным видом сигналов являются электрические сигналы, хотя в последнее время всё большее распространение получают оптические сигналы, например, в волоконно-оптических линиях передачи информации.

Объекты информационной техники

По функциональному назначению можно выделить следующие основные классы объектов информационной техники:

• сети и системы связи и телекоммуникаций (телеграфные, телефонные, телевизионные, компьютерные и т.п.);

• информационно-измерительные системы (радионавигационные, радиолокационные, телеметрические и т.п.);

• системы преобразования информации (аналого-цифровые, цифро-аналоговые преобразователи, компьютеры и др.);

• информационно-поисковые системы и системы хранения информации на основе баз данных;

• системы экспериментального наблюдения и управления объектами.

Структурная схема системы передачи информации показана на рис. 1.

Рис. 1. Структурная схема системы передачи информации

Передатчик преобразует исходное сообщение А(х) в сигнал , где х - независимая переменная. Сообщения и сигналы чаще всего рассматриваются в зависимости от времени (x=t). Роль линии связи может выполнять любая физиче­ская среда (воздух, провода, оптическое волокно). В приёмнике полученный сигнал , искаженный влиянием помех, преобразуется в копию сообщения В(х), которая должна быть по возможности наиболее близка к оригиналу А(х).

Следует отметить, что эта модель может служить лишь простейшей иллюстрацией, поскольку не отражает всех действий, которые должны выполняться над информацией в процессе ее передачи от источника к потребителю.

Более полной является модель системы передачи (и хранения) информации, приведенная на рис. 2.

Рис. 2

Кратко охарактеризуем назначение и функции элементов этой модели.

1. Источник информации или сообщения - это физический объект, система или явление, формирующие передаваемое сообщение. Само сообщение - это значение или изменение некоторой физической величины, отражающие состояние объекта. Как правило, первичные сообщения - речь, музыка, изображения, измерения параметров окружающей среды и т.д. - представляют собой функции времени неэлектрической природы. С целью передачи по каналу связи эти сообщения преобразуются в электрический сигнал, изменения которого во времени λ(t) отображают передаваемое сообщение. Значительная часть передаваемых сообщений по своей природе не является сигналами - это массивы чисел, текстовые или иные файлы. Сообщения такого типа можно представить в виде некоторых векторов Λ.

2. Кодер источника. Подавляющая часть исходных сообщений - речь, музыка, изображения и т.д. - предназначена для непосредственного восприятия органами чувств человека и в общем случае плохо приспособлена для их эффективной передачи по каналам связи. Поэтому сообщения (λ(t) или Λ), как правило, подвергаются кодированию. В процедуру кодирования обычно включают и дискретизацию непрерывного сообщения λ(t), то есть его преобразование в последовательность элементарных дискретных сообщений { λ_i }.

Под кодированием в общем случае понимают преобразование алфавита сообщения A{ λ_i }, ( i = 1,2…K ) в алфавит некоторым образом выбранных кодовых символов R{ x_j }, ( j = 1,2…N

Под кодированием источника будем понимать сокращение объема (сжатие) информации с целью повышения скорости ее передачи или сокращения полосы частот, требуемых для передачи.

Кодирование источника называют экономным, безызбыточным или эффективным кодированием, а также сжатием данных. Под эффективностью в данном случае понимается степень сокращения объема данных, обеспечиваемая кодированием.

Таким образом, на выходе кодера источника по передаваемому сообщению λ(t) или Λ формируется последовательность кодовых символов X, называемая информационной последовательностью, допускающая точное или приближенное восстановление исходного сообщения и имеющая, по возможности, как можно меньший размер.

3. Кодер канала. При передаче информации по каналу связи с помехами в принятых данных могут возникать ошибки.

Кодирование в канале, или помехоустойчивое кодирование, представляет собой способ обработки передаваемых данных, обеспечивающий уменьшение количества ошибок, возникающих в процессе передачи по каналу с помехами. На выходе кодера канала в результате формируется последовательность кодовых символов Y (X), называемая кодовой последовательностью.

4. Модулятор. Функции модулятора - согласование сообщения источника или кодовых последовательностей, вырабатываемых кодером, со свойствами канала связи и обеспечение возможности одновременной передачи большого числа сообщений по общему каналу связи.

Модулятор должен преобразовать сообщения источника (t) () или соответствующие им кодовые последовательности X и Y в сигналы S( t, (t) ), свойства которых обеспечивали бы наиболее эффективную передачу по каналам связи - телефонным, оптическим и т.д.

На сегодня существует большое количество методов модуляции сигналов, самыми простыми из них являются амплитудная, частотная и фазовая модуляции непрерывных сигналов.

5. Канал связи. Назначение канала связи – передача сигналов ит источника к потребителю информации. Проходя по каналу связи сигнал как правило, подвергается ослаблению, приобретает некоторую временную задержку и искажается. Для ослабления влияния этих нежелательных эффектов использует специальные средства.

Приемник. Назначение приемника - с максимально возможной точностью по принятому сигналу U(t) воспроизвести на своем выходе переданное сообщение (t) или .

6. Демодулятор. Для воспроизведения оценки сообщения ^*(t) или ^* приемник системы должен по принятому сигналу U(t) и с учетом сведений об использованных при передаче виде сигнала и способе модуляции получить оценку кодовой последовательности Y^*((t)), называемую принятой последовательностью r. Эта процедура называется демодуляцией, детектированием или приемом сигнала. Демодуляция должна выполняться таким образом, чтобы принятая последовательность r в минимальной степени отличалась от переданной кодовой последовательности Y .

7. Декодер канала. Принятые последовательности r в общем случае могут отличаться от переданных кодовых слов Y, то есть содержать ошибки. Задача декодера канала - обнаружить и, по возможности, исправить эти ошибки. Процедура обнаружения и исправления ошибок в принятой последовательности r называется декодированием канала. Во тех случаях, когда требования к достоверности принимаемой информации очень велики (в компьютерных сетях передачи данных, в дистанционных системах управления и т.п.), передача без помехоустойчивого кодирования вообще невозможна.

8. Декодер источника. Поскольку информация источника (λ(t) , Λ) в процессе передачи подвергалась кодированию с целью ее более компактного (или более удобного) представления (кодирование источника), необходимо восстановить ее к исходному виду по принятой последовательности X^*.

Многоканальная система передачи информации обеспечивает одновременную и взаимно независимую передачу сообщений от многих отправителей по одной общей линии связи.

Узел связи (информационный узел) обеспе­чивает:

• выбор кратчайшего пути между источником и получателем сообщения;

• накопление и хранение информации при отсутствии свободных каналов передачи;

• компьютерное управление этими функциями в автоматическом режиме.

Информационная сеть является совокупностью информационных узлов, соединенных линиями связи.

На рис. 3. приведен пример графа информационной сети.

Рис. 3. Граф информационной сети (пунктир - возможные линии связи, сплошные - выбранные оптимальные линии связи)

Вершины графа , определяют информационные узлы, дуги - линии связи, координатами которыхявляются пропускная способность, интенсивность потока сообщений, стоимость канала связи и т.п. Информационную сеть рассматривают как сетевую систему массового обслуживания.

Виды сообщений в информационных системах

В информационных системах используется два типа сообщений.

Дискретное сообщение является последовательностью отдельных символов. Для преобразования дискретного сообщения в сигнал необхо­димо выполнить операцию кодирования сообщения, при котором повышается скорость и помехоустойчивость передачи информации.

Непрерывное сообщение определяется непрерывной функцией времени. Непрерывные сообщения можно передавать дискретными методами. Для этого их подвергают дискретизации во времени и квантованию по уровню. На приёмной стороне выполняется восстановление непрерывной функции.

Формирование дискретных сообщений рассматривают как последовательный случайный выбор того или иного символа из алфавита источника сообщений, т.е. как формирование дискретной случайной последовательности.

Формирование непрерывных сообщений представляет собой выбор реализаций (случайных функций) непрерывного случайного процесса.

Основными информационными характеристиками являются количество информации в сообщениях, избыточность сообщений, энтропия, производительность источника сообщений, скорость передачи информации.

Для непрерывных, или аналоговых, сообщений (сигналов)

  (_min, _max), t  (0, t), (1)

то есть как само значение функции, так и значение аргумента для таких сообщений определены для любого значения непрерывного интервала как по , так и по t (рис. 4,а,б).

Многие сообщения - команды исполнительным устройствам, телеграфные сообщения, текстовая информация и т. п. - носят дискретный характер. При этом либо алфавит сообщения A (_i )представляет собой множество

_i = ₁ , ₂ , . . ., _k , i = 1 , K (2)

(сообщения, дискретные или квантованные по уровню, рис. 4,в), либо сами сигналы передаются лишь в дискретные моменты времени

t = t₁ , t₂ , . . ., t_{m ,} i = 1 , M (3)

(дискретные по времени сообщения, рис. 4,г ), либо и то и другое (дискретные по времени и по уровню сигналы, или, как их иначе называют, цифровые сигналы, или сообщения, рис. 4,д, е).

Рис. 4.

Таким образом, можно выделить:

• непрерывные по времени (аналоговые) сообщения (сигналы);

• дискретные по времени (дискретизованные) сообщения;

• дискретные по уровню (квантованные) сообщения.

Теорема дискретизации

Исключительно важным положением теории связи является так называемая теорема дискретизации, или теорема Котельникова. Она позволяет установить соотношение между непрерывными сигналами и значениями этих сигналов лишь в отдельные моменты времени – так называемыми отсчетами. На использовании этой теоремы строится вся современная цифровая радиотехника – цифровые методы передачи и хранения звуковых и телевизионных сигналов, цифровые системы телефонной и сотовой связи, системы цифрового спутникового телевидения и т.д.

Теорема дискретизации формулируется следующим образом: непрерывная функция Х(t) с ограниченным спектром, то есть не имеющая в своем спектре составляющих с частотами, лежащими за пределами полосы f  (-F_m , F_m), полностью определяется последовательностью своих отсчетов в дискретные моменты времени X( t_i ), следующих с шагом t < 1/2F_m .

Таким образом, по дискретной последовательности отсчетов функции Х(i t) всегда можно восстановить исходную непрерывную функцию Х(t), если отсчеты брались с интервалом t  1/2F_m. Иначе говоря, любой непрерывный сигнал может быть преобразован в дискретную последовательность, а затем с абсолютной точностью восстановлен по последовательности своих дискретных значений.

Дискретизация двумерных сигналов (изображений)

Очень часто сообщения передаются сигналами, зависящими не только от времени - λ(t)(речь, музыка и т.п.), но и от других переменных, например,λ(x,y), λ(x,y,t) (статические и динамические изображения и т.п.). В этих случаях справедлива теорема дискретизации для двумерных (или в общем случае - для многомерных) сигналов. Она утверждает:функциядвух переменных λ(x,y), спектр которых ограничен значениями f_{x max} и f_{y max}, однозначно определяется своими значениями в равноотстоящих точках плоскости переменных x и y, если интервал дискретизации удовлетворяет условию Δx ≤ 1/(2f_{x max} ), Δy ≤ 1/(2f_{y max} ). Дискретизация двумерной функции иллюстрируется рис. 5.

Рис. 5.

Квантование сообщений. Ошибки квантования

Итак, передачу практически любых сообщений можно свести к передаче их отсчетов, или чисел λ_i = λ(i t), следующих друг за другом с интервалом дискретизации t  1/2F_m ( или Δx ≤ 1/2f_{x мах} , Δy ≤ 1/2f_{y мах} ). При этом непрерывное (бесконечное) множество возможных значений сообщения λ(t) заменяется конечным числом дискретных значений {λ(i t)}. Однако сами эти числа имеют непрерывную шкалу уровней (значений), то есть принадлежат опять же континуальному множеству. Для абсолютно точного представления таких чисел, например, в десятичной форме, теоретически необходимо бесконечное число разрядов. К счастью, на практике часто нет необходимости в абсолютно точном представлении значений λ_i , как и любых чисел вообще.

Одной из причин этого является тем, что получатели информации - органы чувств человека, механизмы и т.д. - также обладают конечной разрешающей способностью, то есть не замечают незначительной разницы между абсолютно точным и приближенным значениями воспроизводимого сообщения.

С учетом этих замечаний можно подвергнуть отсчеты λ_i квантованию.

Процесс квантования состоит в замене непрерывного множества значений отсчетов _i  ( _min , _max ) дискретным множеством { ₍₁₎,...,_(m) } из алфавита A{ λ_i }. При этом точные значения чисел _i заменяются их приблизительными (округленными до ближайшего разрешенного уровня) значениями. Интервал между соседними разрешенными уровнями _i , или уровнями квантования,  = _(i+1) - _(i) называется шагом квантования.

Различают равномерное и неравномерное квантование. Чаще применяется равномерное квантование (рис. 6), при котором шаг квантования постоянный:  = λ_i - λ_i-1 = = const; однако иногда определенное преимущество дает неравномерное квантование, при котором шаг квантования _i разный для различных λ_i (рис. 7).

Рис. 6 Рис. 7

Квантование приводит к искажению сообщений. Если квантованное сообщение для отсчета _i = (iΔt), обозначить как λ_iq , то

где _i - разность между квантованным сообщением (ближайшим разрешенным уровнем) λ_iq и истинным значением элементарного сообщения _i, называемая ошибкой (или шумом) квантования. Шум квантования приводит к тому, что оценки λ^*_i, получаемые при приеме, отличаются от истинного значения _i.

Поскольку квантование сообщений приводит к потере некоторой части информации, можно определить цену таких потерь d(  , λ_q ) и среднюю величину ошибки, обусловленной квантованием:

В качестве цены потерь используется величина

Средняя ошибка квантования для равномерного N-уровневого квантования с шагом  оказывается равной

и выбором шага квантования  может быть сделана сколь угодно малой или сведена к любой наперед заданной величине.

Шумы квантования не имеют существенного значения, если эти искажения меньше ошибок, обусловленных помехами и допустимых техническими условиями.

Так, например, при передаче речи и музыки искажения практически не заметны, если все отсчеты случайным образом изменить на 0,1…1%, при передаче изображений - на 1% и т.д. Даже профессиональный эксперт не может заметить искажений в музыкальном произведении, если квантование производится с точностью лучше 0,001% (число уровней квантования N > 100000).

Лекция 2. Математическое описание и энергетические характеристики периодических сигналов.

Передача информации, то есть перенос информации в пространстве и времени, осуществляется сигналами. Сигналами называются физические процессы, параметры которых содержат информацию, т.е. сигналы являются материальными носителями информации. Модуляция заключается в изменении одного или нескольких параметров носителя в соответствии с передаваемой информацией. Эти параметры называются информационными.

В информационных системах в качестве носителей используются электрические сигналы, т.е. ток или напряжение, значения которых меняются по закону, отображающему передаваемое сообщение. Сигналы можно классифицировать по ряду признаков. Так различают дискретные и непрерывные сигналы, которые, в свою очередь, могут быть детерминированными или случайными.

Сигнал называется детерминированным, если он описывается заданной функцией времени. С информационной точки зрения это означает сигнал, соответствующий известному сообщению.

Случайным сигналом называют сигнал, математическим описанием которого является случайная функция времени.

Для образования сигналов используются в основном два типа носителей.

Первый тип носителя – гармоническое колебание, содержащее три параметра – амплитуду, частоту и фазу (Рис. 1а).

Рис.1 а. Гармоническое колебание

Второй тип носителя – последовательность импульсов (Рис. 1б). Здесь параметрами модуляции могут быть: амплитуда импульсов, фаза импульсов, частота импульсов, длительность импульсов или пауз, число импульсов и комбинация импульсов и пауз, определяющая код.

Рис.1 б. Последовательность импульсов