- •Теория информационных процессов и систем
- •Лекции читает канд.техн.наук, доцент Литвинов Владислав Леонидович
- •Раздел 4: Основы теории передачи информации
- •Общая схема передачи информации в линии связи
- ••Источник информации определяется как объект или субъект, порождающий информацию и представляющий ее в
- •ИИ К Пд Канал связи Пм Д ПИ
- ••Примерами преобразователей являются: мегафон или телефонный аппарат, преобразующие голосовые сигналы в электрические; радиопередатчик,
- ••Непосредственная передача осуществляется передатчиком вторичного сообщения (Пд). Он инициирует некоторый нестационарный процесс, обеспечивающий
- ••Любой реальный канал связи подвержен внешним воздействиям, а также в нем могут происходить
- ••Если уровень помех оказывается соизмерим с интенсивностью несущего сигнала, то передача информации по
- •Модели сигналов
- ••Квантование по уровню
- •Теорема В.А. Котельникова
- ••Сигнал x(t), имеющий ограниченный спектр в диапазоне от 0 до ωгр может быть
- ••Котельников доказал, что любой процесс, ограниченный спектром
- •Передача информации по каналу связи без учета помех
- •Скорость передачи информации по дискретному каналу без помех
- ••Размерностью скорости J, как и пропускной способности C, является бит/с. Каково соотношение этих
- ••Пример 4.1. Первичный алфавит состоит из трех знаков с вероятностями
- •Эффективное статистическое кодирование сообщений. Теорема Шеннона для каналов без помех
- ••При эффективном кодировании фактическая скорость передачи информации приближается к пропускной способности канала.
- •• Значит, в соответствии с формулой (4.4) скорость передачи в канале
- •• Для двоичного канала:
- ••Алгоритм Шеннона — Фано — один из первых алгоритмов сжатия, который впервые сформулировали
- ••Когда размер подалфавита становится равен нулю или единице, то дальнейшего удлинения префиксного кода
- •Пример кодового дерева
- ••Пример 4.2. Первичный алфавит состоит из трех знаков A, B, C с
- ••Пример 4.3. Можно ли с помощью кодирования еще больше увеличить скорость передачи?
- ••Эффективность кода определяется соотношением средней длины
- •Теоремы побуквенного неравномерного двоичного кодирования
- •Передача информации по каналу с помехами
- ••Взаимной (полезной) информацией между сообщениями u и v
- ••В формуле (4.8):
- ••Пусть передатчик сигнала оперирует алфавитом Nu, порождая
- •Пропускная способность бинарного симметричного канала с помехами типа «инверсия»
- ••Сформулируем модель Б.С.К.И. Пусть на вход канала подаются сигналы
- ••При заданных вероятностях ошибок энтропия H(v|u) – величина постоянная. Максимум скорости передачи информации
- ••Выражение в скобках не превышает 1, следовательно, справедливо
- ••Теорема Шеннона для дискретного канала с помехами
Модели сигналов
•Для передачи сообщения сигнал должен изменять свои физические параметры (говорят, что сигнал модулируется (или квантуется) сообщением). Например, звук одной частоты и громкости не несет информации.
•Модуляция гармонических сигналов
•Непрерывные сигналы могут изменять параметры в любой момент времени. Изменение параметров сигнала во времени называется модуляцией сигнала.
•Любой гармонический сигнал описывается формулой
x(t)=А sin(ωt+ϕ). Параметрами такого сигнала являются амплитуда А, круговая частота ω и сдвиг фазы ϕ. Изменяя эти параметры, можно превратить гармонический сигнал в носитель информации (модулировать сигнал информацией).
•Возможны три типа модуляции.
•Амплитудная модуляция предполагает изменение амплитуды сигнала во времени: xАМ(t)=А(t)∙sin(ωt+ ϕ), причем закон изменения
амплитуды часто является также гармоническим:
А(t)=А0 + Ам∙sin(Ωt+Φ),
•Частотная модуляция возникает при изменении частоты сигнала во времени: xЧМ(t)=А∙sin(ω(t)t+ ϕ), причем частота сама изменяется по гармоническому закону: ω(t) = ω0 + ω0cos Ωt, где ω0 называется частотной девиацией.
•Фазовая модуляция предполагает изменение фазового сдвига сигнала: xФМ(t)=А∙sin(ωt+ ϕ(t)).
•Можно показать, что ω(t)t+ ϕ = ω0t + θ(t) + θ0, таким образом, частотная и фазовая модуляция – это два варианта технической реализации одного метода модуляции, называемого угловой модуляцией.
•Дискретные сигналы могут изменять свои параметры лишь в дискретный момент времени
•Квантование по уровню
•Сигнал будет считаться квантованным по уровню, если амплитуда сигнала может принимать определенные значения из дискретного множества:
• |
k |
∙ |
x(t) Ak 1(t tk ) , где 1( ) – это единичная функция (единичный |
||
• |
скачок) |
|
|
0, если 0 |
, |
|
1( ) |
|
|
1, если 0 |
|
• tk = k∙Δt, а Δt – это интервал дискретизации непрерывного сигнала.
• Уровень амплитуды Аk может принимать значения из некоторого дискретного множества.
.
x(t)
.
Аk
Δt |
t |
Рис. 2. Дискретный сигнал, квантованный по уровню.
Если известны вероятностные характеристики непрерывного сигнала, например,
плотность вероятности амплитуды f(x), то вероятность того, что при квантовании
будет полученAуровеньk сигнала Аk может быть определена так:
p(Ak ) f (x)dx
Ak 1
• |
Квантование по времени |
• |
Сигнал считается квантованным по времени, если моменты времени, |
|
когда сигнал изменяется, могут принимать значения из некоторого |
|
дискретного множества. |
• |
x(t) ak (t tk ), где ak принимает значения 0 или 1, |
• |
k |
а δ(∙) – это дельта-функция. |
0, если 0
( ) , если 0
x(t)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
t |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
tk |
|
|
|
Рис.3. Дискретный сигнал, квантованный по времени.
Дискретный сигнал менее подвержен помехам, чем непрерывный. Очевидно, что в целях повышения помехоустойчивости непрерывные информационные сигналы имеет смысл заменять дискретными.
Но не будет ли при этом теряться информация?
Теорема В.А. Котельникова
Котельников Владимир Александрович – советский инженер-радиотехник, вице-президент Академии наук
СССР. В 1933 г. вышла статья Котельникова «Пропускная способность эфира и проволоки», где он сформулировал нижеприведенную теорему. В 1947 году В.А. Котельниковым была разработана фундаментальная теория потенциальной помехоустойчивости. Эта теория дала инженерам инструмент для синтеза оптимальных устройств обработки принимаемых сигналов на фоне шумов и помех, на ее основе были разработаны методы оценки качества приема аналоговых и цифровых сигналов в различных каналах связи.
В.А.Котельников доказал следующую теорему, определяющую возможность дискретизации непрерывных сигналов.
•Сигнал x(t), имеющий ограниченный спектр в диапазоне от 0 до ωгр может быть передан с любой степенью точности при помощи своих дискретных значений, следующих с интервалом
t
гр
•Спектр – это набор частот, присутствующих в сигнале. Любую функцию можно представить рядом Фурье:
f(t) C (ak cosk 0t bk sink 0t)
k0
•Таким образом, максимальное kω0, при которых ак≠0 и bк≠0, является границей спектра.
•Котельников доказал, что любой процесс, ограниченный спектром
ωгр, с любой степенью точности представим в виде суммы его дискретных значений, умноженных на функцию отсчета.
• |
|
sin гр (t k t) |
(4.1) |
|
x(t) x(k t) |
|
|
|
гр (t k t) |
|
|
|
k 0 |
|
•Таким образом, установлено условие, при котором дискретизация непрерывных сигналов не ведет к потере информации.
Передача информации по каналу связи без учета помех
Пропускная способность дискретного канала связи без помех
•Пусть M – первичный алфавит, которым оперирует источник информации, а m – вторичный алфавит, используемый при передаче сообщения по каналу связи. Пропускная способность канала связи определяется формулой:
C(s) I(s)max nlog2 m
T T
•Введем величину V – частота снятия отсчетов (т.е. сколько элементарных сигналов пройдет в единицу времени). Физически эта величина определяется частотой тактового генератора канала связи.
•V=n/T=1/τ0, где τ0 – длительность элементарного импульса в канале.
• |
Тогда C(s)=V∙Hmax(s) = V∙log2m. |
(4.2) |
||||
• |
Отсюда |
C |
log 2 |
m |
(бит в секунду) |
|
0 |
|
|
||||
|
(4.3) |
|
|
|
|
|
|
|
|
|
|
|
• Для двоичных сигналов m = 2, следовательно
C 1 V
0
• |
Когда речь идет о дискретизации непрерывных сигналов, стараются, |
|||||||
|
чтобы τ0 определялось в соответствии с теоремой Котельникова, т.е. |
|||||||
• |
τ0 = Δt. Тогда |
С |
1 |
|
гр |
|
2 F |
2F . |
|
t |
|
|
•Величину F называют частотой манипуляции, а выражение
•C = 2F – пределом Найквиста.
•Величина С является характеристикой канала связи, определяется его конструктивными особенностями.