8. Квантование аналоговых сигналов. Определение количества информации в квантованных сигналах.

Квантованием непрерывного сигнала по уровню называется представление величины сигнала в виде конечного числа разрешенных уровней, отстоящих друг от друга на конечный интервал. Если истинное мгновенное значение уровня сигнала находится внутри этого интервала, то вместоего передается ближайший разрешенный уровень. Если количество уровней квантования равно , то передаваемый при этом сигнал будет содержать не более различных значений.

Для того, чтобы обеспечить четкое разграничение принадлежности данного множества истинных мгновенных значений сигнала определенному уровню, вся область возможных значений сигнала делится на интервалы, называемые шагами квантования. Оптимальным в смысле точности воспроизведения квантованного сигнала будет расположение уровня квантования в середине шага квантования.

Квантование по уровню осуществляется по следующему алгоритму.

1	1. Определяется максимально возможное значение Smax функции s(t).
2	2. Вычисляется число градаций сигнала N по следующей формуле: N= , где ∆S– шаг квантования.

3	3. Выбирается система отсчёта, в которой будет осуществляться представление отсчётов сигнала (как правило, выбирают двоичную систему отсчёта).
4	4. Вычисляется число разрядов m, с помощью которых можно представить каждый отсчёт сигнала в b–ичной системе исчисления, по следующей формуле: ]m= [ , где операция ][ означает большую целую часть выражения, заключённого между знаками этой операции.

В результате операции квантования по уровню получим последовательность, отражающую номер текущего отсчёта.

Период отсчётов по времени определяется на основании теоремы Котельникова:

Если сигнал s(t) имеет ограниченный спектр с максимальной частотой Fm, то он может быть представлен в виде бесконечной последовательности отсчётов, проводимых с периодом T= .

В результате выполнения квантования непрерывного (аналогового) сигнала по времени и по уровню получается цифровой сигнал.

Непрерывную случайную величину (ее распределение) можно описать дифференциальной энтропией.

9. Определение количества информации.

Условная энтропия характеризует остаточную неопределенность, остающуюся на стороне приемника после того, как сигнал был принят. Можно ввести понятие условной энтропии, появляющейся из определения совместной вероятности.

P(x_i, y_j)= P(x_i) P(y_j/x_i);

x – источник;

y – приемник;

i, j - состояния.

Предположим источник находится в i-м состоянии, тогда приемник может оказаться любом состоянии.

Если усреднить, получаем среднюю условную энтропию источника, которая свойственна приемнику. Получаем формулу.

Пользуясь полученной формулой можно рассчитать количество информации переданной от источника к приемнику.

10. Помехоустойчивое кодирование. Основные соотношения, характеризующие корректирующую способность кода.

Это организация такого способа передачи информации по каналу, при котором на передаваемое сообщение не могут оказывать искажающее влияние как внешние, так и внутренние факторы, воздействующие на канал. Влияние вредных факторов обобщают с помощью понятия помехи.

Чтобы разрабатывать методы помехоустойчивого кодирования, необходимо определить характер и вид ошибок, с которыми необходимо бороться. Будем рассматривать ошибки замещения. Ориентируясь на характер ошибок, которые могут возникать при передаче информации по каналу, математические модели, используемые для построения абстрактных конструкций, поясняющих процесс передачи, можно вводить в рассмотрение множество кодов, понимая под кодом способ передачи информации по конкретному каналу.

Коды: линейные, циклические, свёрточные. Основная идея, используемая в этих кодах в качестве средства борьбы с помехами, состоит в том, что в кодовое слово Х длиной m разрядов нужно ввести дополнительные (избыточные разряды), и придумать некоторое правило работы с этими избыточными разрядами, в результате которой можно было бы ответить на вопрос на приёмной стороне, имеется ли в принятой части кодового слова, состоящей из m информационных разрядов, ошибка или нет. Если ошибка есть, то её нужно исправить. Эта работа выполняется декодером.

Кодирование в узком смысле состоит из двух этапов:

	1. Выбрать и заполнить избыточные разряды (проверочные) – на стороне передатчика;
	2.Декодирование – на стороне приёмника – определить, имеется ли ошибка в информационных разрядах, или нет; и если ошибка обнаружена, то её необходимо устранить.

Обоснованием помехоустойчивого кодирования служит теорема Шеннона.

I Теорема Шеннона. Если скорость создания информации источником не больше пропускной способности канала передачи информации, то возможен такой способ передачи информации по каналу (код), при котором вероятность трансформации (ошибки) может быть сделана сколь угодно близкой к нулю.

II Теорема Шеннона. В условиях первой теоремы Шеннона возможен выбор такого кода, при котором скорость передачи информации по каналу может быть сколь угодно приближена к скорости создания информации источником.

Обратная Теорема Шеннона. Если скорость создания источником информации больше пропускной способности канала, то не существует кодов с нулевой вероятностью ошибки.