Березкин Основы теории информации и кодирования 2010
.pdfВопрос о международных нормах на допустимое количество ошибок для различных систем передачи находится в стадии изучения. Однако уже сейчас ясно, что речь может идти о вероятности иска-
жения одного элемента порядка 10 5 10 9 . Для обеспечения высокой достоверности применяются системы передачи данных, использующие специальные методы кодирования, и виды модуляции, обеспечивающие максимальную помехоустойчивость.
Итак, задачей системы связи является передача сообщения о каком-либо событии на расстоянии. Расстояние разделяет отправителя и адресата, датчик команд и исполнительное устройство, исследуемый процесс и измерительный механизм, источник излучения и регистрирующий прибор, различные блоки ЭВМ – словом, источник и потребителя информации.
Расстояние, на которое передается сигнал, может быть очень незначительным (передача команд в ЭВМ от одного блока к другому) или огромным (космическая связь). Передача сообщений осуществляется с помощью проводных, кабельных, волноводных линий или в свободном пространстве. Естественно, что для передачи сигналов целесообразно использовать те физические процессы, которые имеют свойство перемещаться в пространстве без существенного затухания. К числу таких процессов относятся применяемые в радиотехнике и радиолокации, например, электромагнитные колебания – радиоволны.
Рассмотрим общую схему системы передачи информации,
которая в зависимости от характеристик пары источник – потребитель может претерпевать существенные изменения (рис. 2).
Источник информации представляет собой некоторый физический процесс. Физическому процессу необходимо поставить в соответствие эквивалентный электрический сигнал.
Целью кодирования, как правило, является согласование источника информации с каналом связи, обеспечивающее либо максимально возможную скорость передачи информации, либо заданную помехоустойчивость.
Под сигналом понимается изменяющаяся физическая величина, отображающая физический процесс. Другими словами сигнал – это материальный переносчик информации.
Физическая среда, по которой происходит передача сигналов от передатчика к приемнику, называется линией связи.
11
|
|
|
|
|
|
|
|
|
|
|
Физический |
Полезный |
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
процесс |
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
сигнал |
|
|
|||
|
|
|
Источник |
|
|
|
|
Кодирующее |
|
|
|
|
|
x(t) |
|
|
||||||||||
|
|
|
информации |
|
|
|
|
устройство |
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Канал связи |
|
|
|
|
Модулятор |
|
|
|
|
Передатчик |
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
Источник |
|
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
помех |
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||
|
Несущая |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
s(t, a) |
|
|
|
|
|
|
Линия связи |
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Сигнал |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
Приемник |
|
Демодулятор |
|
|
||||||||||||
|
s{t, a[x(t)]} |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Декодирующее Потребитель устройство информации
Рис. 2. Общая схема передачи информации
Для передачи исследуемого физического процесса необходимо применять тот переносчик, который способен эффективно распространяться по используемой в системе линии связи. Например, по проводной линии связи наиболее легко проходят постоянный ток и переменные токи невысоких частот (не более нескольких десятков килогерц). По радиолинии эффективно распространяются только электромагнитные колебания высоких частот (до десятков тысяч мегагерц).
Процесс модуляции заключается в том, что высокочастотное колебание s(t, a) , способное распространяться на большие рас-
стояния, наделяются признаками, характеризующими полезное колебание x(t) . Таким образом, s{t, a[x(t)]} используется как
переносчик сообщения, подлежащего передаче. Для этого один или несколько параметров высокочастотного колебания изменяются по закону, совпадающему с законом изменения передаваемого сообщения (рис. 3). В зависимости от материальных носителей и изменяемых параметров различают основные виды модуляции.
12
Обратное преобразование электромагнитных колебаний в исходный сигнал, осуществляемое на приемной стороне, называется
демодуляцией.
x(t)
а)
t s(t, a)
б) |
t |
s{t, a[x(t)]}
в) |
t |
Рис. 3. Пример амплитудной модуляции:
а – полезный сигнал; б – несущая частота; в – модулированный сигнал
Модулятор, выполняя функции генератора несущей частоты, начинает процесс преобразования полезного сигнала в высокочастотный сигнал. Передатчик завершает процесс преобразования, например, выполняя усилительные функции. Приемник, демодулятор и декодирующее устройство реализуют процесс восстановления сформированного источником физического процесса по принятому сигналу.
Для пары источник излучения – регистрирующий прибор схема передачи информации может вырождаться в набор технических средств и сигналов, представленных на рис. 4.
Входной сигнал s(t) подвергается сначала дискретизации по времени с помощью электронного ключа (ЭК), работающего с
13
шагом T . Дискретизированный сигнал s1 (t) имеет вид последовательности равноотстоящих коротких импульсов, являющихся отсчетами сигнала s(t) . Каждый из отсчетов запоминается в интег-
рирующей RC-цепи на время, необходимое для срабатывания ана- лого-цифрового преобразователя (АЦП). В результате, на выходе
RC-цепи получается ступенчатое колебание s2 (t) .
Источник |
T |
|
излучения |
|
RC-цепь |
s(t) x(t) (t) |
ЭК s (t) |
s2 (t) |
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Регистрирующий |
|
АЦП |
|
|
|
|
|
|
|
|
ЦФ |
|
|
|
|
|
|
|
ЦАП |
|
СФ |
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
прибор |
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
s3 (t) |
|
|
|
|
|
|
|
|
s4 (t) |
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
s1 (t) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
s2 (t) |
|
|
|
|
|
|
|
||||||||||||
|
(s)t |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x(t) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
t |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
t |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
t |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
s3 (t) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
s4 (t) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
t |
t |
Рис. 4. Схема передачи информации для пары источник излучения – регистрирующий прибор
В АЦП каждый отсчет квантуется по уровню и преобразуется в кодовое слово. Последовательность кодовых слов обрабатывается в цифровом фильтре (ЦФ). Цифро-аналоговый преобразователь
14
(ЦАП) осуществляет суммирование эталонных напряжений ( s3 (t) ), соответствующих каждому из разрядов.
Наконец, синтезирующий фильтр (СФ) формирует выходной сигнал s4 (t) максимально похожий на x(t) .
Применяемые в современной технике связи сигналы можно разделить на классы, приведенные на рис. 5.
x(t)
а)
x(t)
б)
x(t)
в)
x(t)
г)
– сигналы, произвольные по величине и непрерывные по времени;
t
– сигналы, произвольные по величине и дискретные по времени;
t
– сигналы, квантованные по величине и непрерывные по времени;
t
– сигналы, квантованные по величине и дискретные по времени.
t
Рис. 5. Классы сигналов:
а– континуальный; б – дискретный; в – квантованный; г – цифровой
Вдальнейшем термин «дискретный» будет применяться только по отношению к дискретизации по времени. Дискретность же по уровню будет обозначаться термином «квантование».
15
Каждому из этих классов сигналов можно поставить в соответствие аналоговую, дискретную или цифровую цепи (рис. 6).
Аналоговая цепь
Дискретизация |
|
|
|
|
|
|
Дискретная |
|
|
|
Восстановление |
|
||||||
по времени |
|
|
|
|
|
|
цепь |
|
|
|
по времени |
|
||||||
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Цифровая |
|
|
|
|
|
|
|
||
|
|
АЦП |
|
|
|
|
|
ЦАП |
|
|
|
|||||||
|
|
|
|
|
|
цепь |
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Цифовой |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
сигнал |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Дискретный |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
сигнал |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
Аналоговый |
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
сигнал |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Рис. 6. Классификация электрических цепей
Следует отметить, что в настоящее время цифровая обработка сигналов получает все более широкое применение, что связано не только с ее универсальностью, точностью, но и с возможностями достижений микроэлектроники.
Как отмечалось, сигнал – изменяющаяся физическая величина, обеспечивающая передачу информации по линии связи. В технических системах используются в большинстве случаев электрические сигналы.
Все многообразие сигналов можно по своим особенностям разделить на две группы: детерминированные и случайные сигналы. Детерминированные сигналы характеризуются тем, что в любые моменты времени их значения являются известными величинами, а случайные – тем, что их значения в любые моменты времени – случайные величины.
Деление сигналов на детерминированные и случайные условно, так как детерминированных сигналов в точном их понимании в
16
природе нет. На практике нельзя точно предсказать значение сигнала в любые моменты времени, в противном случае сигнал не нес бы полезной информации. Кроме того, любой реальный сигнал случаен в силу воздействия на него многочисленных случайных факторов.
Несмотря на это, исследование детерминированных сигналов весьма важно, так как выводы, полученные в результате анализа математических моделей именно таких сигналов, во многих случаях можно использовать для исследования и анализа случайных сигналов.
Детерминированные сигналы можно подразделить на периодические и непериодические. В реальных условиях периодические сигналы не существуют, так как идеальный периодический сигнал бесконечен во времени, в то время как всякий реальный сигнал имеет начало и конец. Однако во многих случаях конечностью времени действия сигнала можно пренебречь и для его анализа допустимо использовать аппарат, пригодный для идеальных периодических сигналов.
Предлагаемое учебное пособие представляет собой единую научную дисциплину, основу которой составляют теория сигналов, теория случайных процессов, теория информации и теория помехоустойчивого кодирования.
17
1. МАТЕМАТИЧЕСКИЕ МОДЕЛИ ДЕТЕРМИНИРОВАННЫХ ПЕРИОДИЧЕСКИХ СИГНАЛОВ
Периодическим называется любой сигнал (рис. 1.1), для которого выполняется условие x(t) x(t kT ) , где период T является
конечным отрезком, а k – любое целое число ( k 0, 1, 2,...).
Простейшим периодическим детерминированным сигналом является гармоническое колебание (рис. 1.2), определяемое законом
x(t) Acos( |
2 |
t ) Acos( t ), |
t , |
|
|||
|
T |
|
где A,T , и – постоянные амплитуда, период, угловая частота
и начальная фаза колебания.
x(t)
t
T
Рис. 1.1. Произвольный периодический сигнал
x(t) |
|
|
0 |
2 |
|
|
|
|
|
|
|
|
2 |
|
|
t |
|
T
Рис. 1.2. Гармонический сигнал:
0 – сдвиг в сторону запаздывания; 0 – сдвиг в сторону опережения
18
Любой сложный периодический сигнал, как правило, можно представить в виде суммы гармонических колебаний с частотами,
кратными основной частоте 2T . Основной характеристикой
сложного периодического сигнала является его спектральная функция, содержащая информацию об амплитудах и фазах отдельных гармоник.
1.1. РАЗЛОЖЕНИЕ ПРОИЗВОЛЬНОГО СИГНАЛА ПО ЗАДАННОЙ СИСТЕМЕ ФУНКЦИЙ
Для техники формирования и обработки сигналов особое значение имеет разложение заданной функции по разным ортогональным системам функций [14]. Напомним основные определения, относящиеся к свойствам ортогональных систем.
Бесконечная система действительных непрерывных функций
0 (x), 1 (x), 2 (x),..., k (x),..., m (x),... |
|
|
называется ортогональной на отрезке a,b , если |
|
|
b k (x) m (x)dx 0 |
при k m . |
(1.1) |
a |
|
|
Отрезок a,b , на котором выполняется это условие, называется |
||
интервалом ортогональности. |
|
|
При этом предполагается, что |
b 2k (x)dx 0 , т.е. |
никакая из |
|
a |
|
функций рассматриваемой системы не равна тождественно нулю. Условие (1.1) выражает попарную ортогональность функций.
Величина |
|
|
|
k (x) |
|
|
|
|
b k2 (x)dx называется нормой |
функции |
|
|
|
|
|||||||
|
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
a |
|
k (x) . |
|
|
|
|
|
|
|
|
||
Функция |
|
k (x) , |
для которой выполняется |
условие |
b
k (x) 2 2k (x)dx 1 , называется нормированной функцией, а
a
19
система нормированных функций 0 (x), 1 (x), 2 (x),... , в кото-
рой две различные функции взаимно ортогональны, называется
ортонормированной системой.
В математике доказывается, что если функции k (x) непрерыв-
ны, то произвольная кусочно-непрерывная функция, для которой выполняется условие
|
|
f (x) |
|
dx , |
(1.2) |
|
|
||||
|
|
|
|||
L |
|
||||
может быть представлена в виде ряда |
|
||||
|
|
||||
f (x) Ck k (x) C0 0 (x) C1 1 (x) ... |
(1.3) |
k 0
Интеграл в выражении (1.2) вычисляется по области L определения f (x) .
Умножим обе части уравнения (1.3) на k (x) и проинтегрируем в пределах a,b :
b |
f (x) k (x)dx Ck b k2 (x)dx Ck |
|
|
|
k |
|
|
|
2 . |
|||||||||
|
|
|
|
|||||||||||||||
|
|
|
|
|
||||||||||||||
a |
|
|
|
|
|
|
|
|
|
a |
|
|
||||||
Откуда следует важное соотношение |
|
|
||||||||||||||||
|
Ck |
|
|
|
1 |
|
|
b |
f (x) k (x)dx . |
(1.4) |
||||||||
|
|
|
|
|
k |
|
2 |
|||||||||||
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
a |
|
|
|
|
|
|
|
|
|
Ряд (1.3), в котором коэффициенты Ck определены по формуле (1.4), называется обобщенным рядом Фурье по данной системе
k (x) , а сами Ck – коэффициентами Фурье. Обобщенный ряд Фурье обладает следующим важным свойством: при заданной системе функции k (x) и при фиксированном числе слагаемых ряда (1.3), он обеспечивает наилучшую аппроксимацию данной функ-
ции f (x) . Это означает, |
что среднеквадратическая ошибка, под |
|||
которой подразумевается величина |
|
|
||
b |
|
N |
|
2 |
|
|
dx , |
||
E f (x) ak k (x) |
||||
a |
|
k 0 |
|
|
|
|
20 |
|
|