3.3. Квантование сигналов при наличии помех.

В реальных условиях на квантованный сигнал воздействует помеха, поэтому шаг квантования следует выбирать с учетом вероятностных характеристик этих помех.

Пусть помеха аддитивная, тогда мгновенное значение сигнала и попадавшее ранее в интервал разрешенных уровней квантования и подлежавший заменой уровнем из разрешенных уровней квантования в результате действия помехи принимает значения и может быть заменено уровнем квантования.

Такой исход приводит к искажению информации и вероятность его должна быть минимальной.

Пусть - условная вероятность замены сигнала уровнем вместо уровня , при условии, что принадлежит шагу квантования.

При наличии помехи вероятность того, что будет правильная замена .

Полная вероятность того, что величина останется в пределах нужного шага квантования:

Формула 1:

Но можно найти используя двухмерную плотность вероятности

Поскольку нами учитываются мгновенные значения сигналов принадлежащих шагу квантования, то границами интегрирования по будут и .

Кроме того, надо учесть, что верхняя величина и нижняя , как границы интегрирования, могут быть определены из условия: сумма сигнал + помеха не должны выйти за пределы шага квантования.

в крайнем случае

Получаем, что:

Таким образом, область интегрирования представляет собой некий параллелограмм:

Рис 21

Перенесем начало координат к . Считая помеху некоррелированной с сигналом, мы можем написать, что:

Предположим, что помеха распределена равномерно

Получим:

Результаты расчета при названных условиях инвариантны относительно шага квантования и зависят только от и .

Пусть , тогда:

Предположим, что наш сигнал распределен равномерно, то есть:

Тогда:

Таким же путем, построив области интегрирования можно найти для и

при

при

Рис 23.

целесообразно выбирать меньше a, так как вызывает резкий рост вероятности неправильного квантования.

Аналогичным образом, это может быть рассчитано при помехе с нормальным распределением.

Рис 24.

4. Теоретические основы передачи дискретной информации в иис.

4.1. Основные понятия.

- энтропия источника

– вероятность i-того символа – энтропия

Если процесс генерирования символов (марковский процесс, процесс без памяти, вероятность следующего символа не зависит от предыдущего) происходит с определенной скоростью, то можно говорить об энтропии в секунду.

– средняя частота генерирования i-того символа

m – среднее число символов, созданных в секунду

Если берется по основанию 2, то и измеряются соответственно в битах на символ или в битах в секунду.

Если символы в последовательности независимы, то

Рассмотрим сообщения из N символов.

Если N велико, то сообщение с большой вероятностью содержит первый символ алфавита.

, т.е. раз появится символ . и так далее.

Отсюда вероятность конкретного длинного сообщения будет равна:

Возьмем

Таким образом приближенно равна логарифму обратной величины вероятности типичной длинной последовательности, деленному на число символов в ней.

Это верно для любого источника.

Типичная последовательность – та последовательность, где мы дали источнику «выговориться», проявить свои статистические характеристики.

В более точной формулировке полученный результат Шеннон сформулировал в своей третьей теореме.

Теорема: для любых заданных и существует некое (количество символов в последовательности), как только все последовательности распадаются на два класса:

- множество последовательностей, суммарная вероятность которых

- такие последовательности, обладающие вероятностью удовлетворяющие условию

Это почти достоверно, если N велико.

Аналогичный результат получается и для последовательности с суммарной вероятностью.

Рассмотрим по порядку убывания вероятностей последовательности длинны N.

Пусть - есть число последовательностей, которое нужно взять из этого ряда, начиная с наиболее вероятной, для того, чтобы их суммарная вероятность равна , тогда предел

- число бит, требуется для задания последовательности, когда рассматриваются наиболее вероятные из них с суммарной вероятностью .

Тогда - число бит на символ, необходимых для задания последовательностей.

Для больших N это число не зависит от q и равно .

Если в канале передачи информации существует возможность искажения символа, то количество информации доставляемое в среднем одним символом уже не равно . В этом случае текущее состояние источника сообщения после приема очередного символа j определяется не достоверно, а характеризуется достигнутым уменьшением энтропии источника.

– априорная энтропия

- апостериорная энтропия (после приема очередного символа, искаженного помехой)

Как уже отмечалось, максимальной энтропии источника соответствует случай равной вероятности любого символа алфавита. Это соответствует случаю отсутствия корреляции между символами.

При наличии корреляции вероятность каждого символа зависит от конкретных значений предшествующих символов.

Корреляция между символами снижает экономичность алфавита и самым экономичным оказался алфавит использующий некоррелированные равновероятные символы.

Любой другой алфавит при том же объеме M потребует большего числа символов на передачу того же количества информации.

Если источник с объемом алфавита M характеризуется энтропией , то среднее количество информации содержащееся в n символах будет равно

Минимальное же количество символов необходимых для передачи того же сообщения с некоррелированным алфавитом:

Но если алфавит равновероятный, то:

Избыточность числа символов используемых данным источником для передачи некоторого количества информации относительно минимально необходимого их числа характеризуется коэффициентом избыточности.

Не следует считать, что избыточность следует из-за несовершенства источника. Так при передаче текста избыточность – необходимость для благозвучания языка, разборчивости и т.д.

Известно, что , - средняя информация на символ для абсолютно хаотичного текста.

Известно из статистического анализа, что нормальная речь соответствует коррелированному алфавиту, и энтропия источника равна

На практике избыточность всегда является необходимой платой за достоверность.

Отметим важное обстоятельство, связанное с передачей маловероятных символов.

Несмотря на то, что в каждом конкретном случае появления маловероятного символа происходит наибольшее приращение информации, но в среднем из-за малой вероятности их появления они вносят малый вклад в передачу информации.

Это позволяет при статистическом анализе информационного потока исключать сообщения, суммарная вероятность которых стремиться к 0.

Отметим, что введенная Шенноном количественная мера информации не учитывает ни ценности, ни важности сообщения.

Каналы индифферентны к проходящим в них сообщениях.