- •120200 «Фотограмметрия и дистанционное зондирование»
- •Глава 1. Основы теории информации.
- •1.1. Информация. Общие понятия
- •Символ источника сообщений - это любое мгновенное состояние источника сообщений.
- •1.2.Измерение информации
- •1.3.Структурное (комбинаторное) определение количества информации (по Хартли).
- •1.4.Статистическое определение количества информации (по Шеннону).
- •1.5.Свойства функции энтропии источника дискретных сообщений.
- •1.6 Информационная емкость дискретного сообщения.
- •1.7. Информация в непрерывных сообщениях.
- •1.8. Энтропия непрерывных сообщений.
- •1.9. Экстремальные свойства энтропии непрерывных сообщений.
- •1.10. Информация в непрерывных сообщениях при наличии шумов.
- •Глава 2. Основы теории кодирования.
- •2.1. Кодирование. Основные понятия.
- •2.2. Избыточность кодов.
- •2.3. Эффективное кодирование равновероятных символов сообщений.
- •2.4. Эффективное кодирование неравновероятных символов сообщений
- •2.5. Алгоритмы эффективного кодирования неравновероятных взаимнонезависимых символов источников сообщений
- •2.6. Алгоритмы эффективного кодирования неравновероятных взаимозависимых символов сообщений
- •2.7. Недостатки алгоритмов эффективного кодирования.
- •2.8. Помехоустойчивое (корректирующее) кодирование. Общие понятия
- •2.9. Теоретические основы помехоустойчивого кодирования
- •2.10. Некоторые методы построения блочных корректирующих кодов
- •2.11. Кодирование как средство защиты информации от несанкционированного доступа.
- •Глава 3. Передача информации по каналам связи.
- •3.1. Канал связи. Общие понятия.
- •3.2. Передача дискретных сообщений по каналам связи.
- •3.3. Передача непрерывных сообщений по каналам связи.
- •3.4. Согласование каналов с сигналами.
- •Лабораторный практикум. Лабораторная работа №1. Информация в дискретных сообщениях.
- •П.1.А. Используя формулу Хартли, найти энтропию указанного источника дискретных сообщений (н1).
- •Лабораторная работа №2. Информация в непрерывных сообщениях.
- •Лабораторная работа № 3. Эффективное кодирование неравновероятных символов источника дискретных сообщений.
- •Некоторые полезные сведения из теории вероятностей.
- •Случайные события.
- •2. Алгебра событий
- •Случайные величины.
- •4.Статистические характеристики случайных величин.
- •5.Случайные функции.
- •Литература.
4.Статистические характеристики случайных величин.
4.1. Математическое ожидание случайной величины X (обозначают M[X] или mx) – это среднее значение случайной величины, вычисленное по формулам:
- для дискретных случайных величин;
- для непрерывных случайных величин.
4.2. Центрированной случайной величиной ºX называют разность между самой случайной величиной X и ее математическим ожиданием M[X], т.е.
ºX = X - M[X].
4.3. Дисперсия случайной величины X (обозначается D[X] или dx) ― это есть математическое ожидание квадрата соответствующей ей центрированной случайной величины, т.е.
D[X]=M[ºX2],
которая вычисляется по формулам:
- для дискретных случайных величин;
- для непрерывных случайных величин.
Дисперсия характеризует среднее отклонение значений случайной величины от её математического ожидания. Размерность дисперсии не совпадает с размерностью характеризуемой случайной величины. Размерность дисперсии есть квадрат размерности соответствующей случайной величины.
4.4. Среднее квадратическое отклонение (σч) случайной величины X―это есть квадратный корень из ее дисперсии, т.е.
.
Среднее квадратическое отклонение иногда называют стандартом. Среднее квадратическое отклонение имеет ту же размерность, что и сама случайная величина.
4.5. Начальным моментом порядка k (νk) случайной величины X называют математическое ожидание k-той степени этой случайной величины, т.е.
.
4.6. Центральным моментом порядка k (μk) случайной величины X называют математическое ожидание k-той степени отклонения этой случайной величины от ее математического ожидания, т.е.
4.7. Эксцесс случайной величины (Е) – это есть величина, вычисленная по формуле:
Для нормального закона распределения Е=0, отличие эксцесса от нуля указывает на отклонение эмпирического закона распределения от нормального закона распределения.
4.8. Ассиметрия характеризует симметричность кривой распределения случайной величины X. Показатель ассиметрии (S) вычисляется по формуле:
.
Для симметричных распределений S=0.
5.Случайные функции.
Случайной функцией X(t) называют функцию, которая в результате опыта может принимать тот или иной конкретный вид, неизвестный заранее.
5.2. Конкретный вид, принимаемый случайной функцией, называют реализацией случайной функции.
5.3. Сечением случайной функции называют случайную величину X(tk), в которую обращается случайная функция X(t) при фиксированном аргументе (t = tk).
Одномерным законом распределения случайной функции X(t) называют закон распределения f(x,tk) сечения X(t) случайной функции.
Математическим ожиданием случайной функции X(t) называют неслучайную функцию mx(t), которая при каждом значении аргумента t представляет собой математическое ожидание соответствующего сечения этой случайной функции.
Дисперсией случайной функции X(t) называют неслучайную функцию dx(t), которая при каждом значении аргумента t представляет собой дисперсию соответствующего сечения этой случайной функции.
Корреляционной функцией случайной функции X(t) называют неслучайную функцию двух аргументов Rx(tk,t1), которая при каждой паре значений аргументов tk и t1 равна корреляционному моменту соответствующих сечений случайной функции, т. е.
,
где - центрированная случайная функция.
Корреляционная функция характеризует статистическую связь между сечениями случайной функции, т.е. внутреннюю структуру случайной функции. При tk = t1 корреляционная функция обращается в дисперсию, действительно,
.
5.8. Нормированной корреляционной функцией случайной функции X(t) называют неслучайную функцию двух аргументов rx(tk,tk1), определяемую по формуле:
,
при tk = t1 rx(tk ,tk1) = 1.
5.9. Стационарной случайной функцией называют случайную функцию, математическое ожидание которой постоянно ( , а её корреляционая функция зависит только от разности между аргументами:
,
где τ = t1 - t2.