- •120200 «Фотограмметрия и дистанционное зондирование»
- •Глава 1. Основы теории информации.
- •1.1. Информация. Общие понятия
- •Символ источника сообщений - это любое мгновенное состояние источника сообщений.
- •1.2.Измерение информации
- •1.3.Структурное (комбинаторное) определение количества информации (по Хартли).
- •1.4.Статистическое определение количества информации (по Шеннону).
- •1.5.Свойства функции энтропии источника дискретных сообщений.
- •1.6 Информационная емкость дискретного сообщения.
- •1.7. Информация в непрерывных сообщениях.
- •1.8. Энтропия непрерывных сообщений.
- •1.9. Экстремальные свойства энтропии непрерывных сообщений.
- •1.10. Информация в непрерывных сообщениях при наличии шумов.
- •Глава 2. Основы теории кодирования.
- •2.1. Кодирование. Основные понятия.
- •2.2. Избыточность кодов.
- •2.3. Эффективное кодирование равновероятных символов сообщений.
- •2.4. Эффективное кодирование неравновероятных символов сообщений
- •2.5. Алгоритмы эффективного кодирования неравновероятных взаимнонезависимых символов источников сообщений
- •2.6. Алгоритмы эффективного кодирования неравновероятных взаимозависимых символов сообщений
- •2.7. Недостатки алгоритмов эффективного кодирования.
- •2.8. Помехоустойчивое (корректирующее) кодирование. Общие понятия
- •2.9. Теоретические основы помехоустойчивого кодирования
- •2.10. Некоторые методы построения блочных корректирующих кодов
- •2.11. Кодирование как средство защиты информации от несанкционированного доступа.
- •Глава 3. Передача информации по каналам связи.
- •3.1. Канал связи. Общие понятия.
- •3.2. Передача дискретных сообщений по каналам связи.
- •3.3. Передача непрерывных сообщений по каналам связи.
- •3.4. Согласование каналов с сигналами.
- •Лабораторный практикум. Лабораторная работа №1. Информация в дискретных сообщениях.
- •П.1.А. Используя формулу Хартли, найти энтропию указанного источника дискретных сообщений (н1).
- •Лабораторная работа №2. Информация в непрерывных сообщениях.
- •Лабораторная работа № 3. Эффективное кодирование неравновероятных символов источника дискретных сообщений.
- •Некоторые полезные сведения из теории вероятностей.
- •Случайные события.
- •2. Алгебра событий
- •Случайные величины.
- •4.Статистические характеристики случайных величин.
- •5.Случайные функции.
- •Литература.
Случайные величины.
3.1. Случайной величиной называют величину, которая в результате опыта может принимать то или иное численное значение, не известное заранее.
3.2. Дискретной (прерывной) случайной величиной называют случайную величину, которая может принимать только конечное число различных значений.
3.3. Непрерывной случайной величиной называют случайную величину, которая может принимать бесконечное число различных значений, заполняющих какой- либо промежуток.
3.4. Законом распределения случайной величины называют всякое соотношение, устанавливающее связь между всеми возможными значениями случайной величины и соответствующими им вероятностями.
3.5. Для дискретных случайных величин, в качестве закона распределения, чаще всего используют ряд распределения. Ряд распределения представляет собой таблицу, в верхней части которой размещены все возможные значения дискретной случайной величины, а в нижней части - соответствующие им вероятности.
|
Формальным признаком правильности составления ряда распределения является выполнение условия:
.
3.6. Для непрерывных случайных величин в качестве закона распределения часто используют функцию распределения (функция распределения может быть использована в качестве закона распределения и для дискретных величин). Функцией распределения случайной величины X называют функцию F(x), выражающую вероятность того, что случайная величина X примет значение меньше, чем x, т.е.
F(x) = P(X<x).
Из определения функции распределения вытекают ее основные свойства:
В общем случае график функции распределения имеет вид:
Из определения F(x) вытекает важное соотношение, выражающее вероятность попадания случайной величины X в интервал от a до b:
.
3.7. Наряду с функцией распределения, в качестве закона распределения непрерывных случайных величин используют и функцию плотности распределения вероятности (f(x)), которая определяется как производная функции распределения, т.е.
f(x)=F '(x).
Из определения функции плотности распределения вероятности вытекают ее основные свойства:
В общем случае график функции плотности распределения вероятности f(x) имеет вид:
График функции f(x) называют кривой распределения.
3.8. Элементом вероятности для случайной величины X называют величину f(x)dx, выражающую вероятность попадания случайной величины X в элементарный отрезок dx, примыкающий к точке x.
3.9. Вероятность попадания случайной величины X в конечный промежуток от a до b определяется соотношением:
,
из которого следует свойство 4 п.3.7.
3.10. Из соотношения п. 3.9. совместно с п.3.6, можно получить выражение, связывающее функцию распределения (F(x)) и функцию плотности распределения вероятности (f(x)) случайной величины:
.