Свойства энтропии

• Энтропия любого дискретного ансамбля не отрицательна H(U)0 (1.5).

• Пусть N - объем алфавита дискретного источника, тогда H(U)log N (1.6). Равенство имеет место, когда все сообщения источника равновероятные.

• Энтропия объединения нескольких независимых статистических источников сообщений равна сумме энтропии исходных источников ‑ свойство аддитивности энтропии.

При двух сообщениях U и Z можно ввести определение условной энтропии H(U/Z), т.е. появление события U при известном событии Z.

, или же

где М{} – мат ожидание.

Условная энтропия удовлетворяет неравенству 0H(u|z) H(U), причем H(u|z)=0, когда по реализации ансамбля Z можно точно установить реализацию ансамбля U (канал без помех).H(u|z)=H(U), когда ансамбли U и Z. В общем случае H(u|z)<H(U) и знание реализации Z снижает первоначальную неопределенность U. Отсюда информационная характеристика двух ансамблей U и Z называемая взаимной информацией между U и Z определяется, как

I(u, z)=H(U)-H(u|z)

Взаимная информация измеряется в тех же единицах что и энтропия. Величина I(u,z) показывает, сколько в среднем бит информации о реализации ансамбля u дает наблюдение о реализации ансамбля z.

Взаимная информация обладает следующими свойствами:

• I(u,z)0, причем равенство имеет место только в том случае, когда u и z независимы между собой.

• I(u,z)=I(z,u), т. е. z содержит столько же информации относительно u, сколько u содержит относительно z. Поэтому можно так же записать I(u,z)=H(Z)-H(z|u)

• Причем равенство имеет место, когда по реализации z можно точно восстановить реализацию u или наоборот. Это следует из (1.12) и (1.13). (1.19) вытекает из (1.16) и (1.18).

• Полагая в I(u,z)=H(U)-H(u|z), Z=U и учитывая, что H(u|u)=0, получаем I(u,u)=H(U) Это позволяет интерпретировать энтропию источника как его собственную информацию ансамбля U о самом себе.

• Пусть U ансамбль дискретных сообщений, а Z ансамбль дискретных сигналов, в которые преобразуется сообщение U, тогда I(u,z)=H(U) только в том случае когда преобразование U в Z обратимо, т.е. однозначно. При необратимом преобразовании I(u,z)<H(U) и разность H(U)-I(u,z)=H(u|z) называют потерей информации или ненадежностью преобразования U в Z.

Таким образом, информация не теряется только при обратимых преобразованиях, величина H(z|u)=H(Z)-I(u,z) называется энтропией шума преобразования или ложной информацией, создаваемой при образовании.

Вопрос 11.1. Математические модели каналов связи, их классификация. Помехоустойчивость передачи информации Математические модели каналов связи и их классификация

Канал - это комплекс технических средств, обеспечивающий передачу сигналов от передатчика к приемнику. В состав канала входит каналообразующая аппаратура, осуществляющая сопряжение выходного и входного сигналов соответственно передатчика и приемника с линией связи, и самой линии связи. Основное назначение канала связи – это перенос сигнала во времени и в пространстве.

Линией связи называется среда, используемая для передачи сигнала от передатчика к приемнику. Это может быть, например: пара поводов, коаксиальный кабель, область распространения радиоволн, световод и т.д. Обычно входными и выходными сигналами линии связи является сигналы типа один, т.е. непрерывный. Вместе с тем на входе и выходе канала могут присутствовать сигналы и других типов. Канал называется дискретным, если на его входе и выходе присутствуют сигналы дискретные по уровню. Если сигналы на входе и выходе канала непрерывны по времени, то он называется непрерывным. В общем случае в процессе передачи в канале сигнал искажается шумом.

Стационарный канал связи – не меняющий свои параметры с течением времени, нестационарный – если с течением времени некоторые или же все параметры канал изменяются. Обычно не рассматриваются из-за их сложности, и апроксимируются к стационарному каналу.

Канал	Пропускная способность	Реальная скорость передачи информации по каналу	Скорость передачи информации при специальном кодировании
Телеграфный	10^2-10^3	75
Телефонный	10^3-10^4	2*10^3	(7,5-8)*10^3
Телевизионный	10^6	0,5*10^6	2*10^7
Световоды	10^9	10^9

В качестве математических моделей выступают описания носителя сигнала в среде:

Телеграфный, телефонный:

Телевизионный (он же радио сигнал) – распространение ЭМ волн.: , где - вектор распространения волны, v – скорость, и - вектора напряженностей электрического и магнитного полей.

Каналы классифицируются	По назначению каналы делятся:	По способу распространения:
По назначению По характеру линии связи По диапазону частот По характеру сигнала на входе и выходе канала.	Телефонные Телеграфные Телевизионные Звукового вещания Телеметрические Передачи данных.	Каналы радиосвязи Каналы проводной связи: Воздушные Кабельные Волноводные Световодные и т.д

Радиорелейные виды связи: те же радиоволны, но они имеют четкую направленность, а не распространяются во все стороны. Обеспечивают высокую помехоустойчивость, почти не зависят от погоды.

Спутниковая связь – разновидность радиорелейной. Используется как ретранслятор и иногда как усилитель.

Важная задача при конструировании канала передачи – анализ искажения. Искажения характеризуются амплитудными и фазовыми характеристиками канала. Для анализа этого надо иметь математическое описание канала. В упрощенном виде можно представить в виде черного ящика. Считается, что у канала есть оператор L и при этом: y(t) = L{x(t)}. Как правило, L нелинейный.

В зависимости от L различают:

• Стационарные

• Нестационарные

• Инерционные

• Безынерционные

• Линейные

• Нелинейные

• Детерминированные

• Недетерминированные

У этих каналов различное мат. ожидание.

Анализ канала связи = анализ искажения сигналов + анализ влияния помех.