- •А.А. Халафян
- •Лекция 1. Теории вероятностей. История возникновения. Классическое определение вероятности
- •Классическое определение вероятности
- •Лекция 2. Теоремы сложения и умножения вероятностей. Статистическое, геометрическое определение вероятности
- •Статистическое определение вероятности
- •Геометрическое определение вероятности
- •Последовательность испытаний. Формула Бернулли
- •Лекция 3. Аксиоматическое построение теории вероятностей. Аксиоматика колмогорова
- •Лекция 4. Случайная величина. Функция распределения
- •Основные свойства функции распределения
- •X1 x2 … xn …, причём xn→-∞, n→∞.
- •Лекция 6. Интегральная теорема муавра–лапласа, теорема бернулли
- •Лекция 7. Непрерывные случайные величины
- •Свойства непрерывной случайной величины
- •Законы распределения непрерывных случайных величин Равномерное распределение
- •Экспоненциальное распределение
- •Нормальное распределение
- •Лекция 8. Понятие многомерной случайной величины
- •Аналогично закон распределения y имеет вид
- •Лекция 9. Функция распределения многомерной случайной величины
- •Плотность вероятностей двумерной случайной величины
- •Лекция 10. Свойства плотности вероятностей двумерной случайной величины
- •Лекция 11. Функции от случайных величин
- •Лекция 12. Теорема о плотности суммы двух случайных величин
- •Лекция 13. Распределения стьюдента, фишера .Числовые характеристики случайных величин
- •Числовые характеристики случайных величин
- •Свойства математического ожидания случайной величины
- •Лекция 14. Числовые характеристики случайных величин (продолжение)
- •Другие характеристики центра группирования случайной величины
- •Характеристики вариации случайной величины
- •Свойства дисперсии
- •Свойства среднеквадратического отклонения
- •Лекция 15. Вычисление дисперсии основных распределений
- •Лекция 16. Числовые характеристики меры связи случайных величин
- •Лекция 17. Предельные теоремы теории вероятностей. Неравенство чебышева. Закон больших чисел
- •Неравенство Чебышева
- •Закон больших чисел
- •Закон больших чисел для одинаково распределенных случайных величин
- •Закон больших чисел в форме Бернулли
- •Лекция 18. Центральная предельная теорема
- •Лекция 19. Математическая статистика. Предмет математической статистики. Вариационные ряды
- •Лекция 20. Средние величины. Показатели вариации
- •Свойства среднего арифметического
- •Показатели вариации (изменчивости) вариационного ряда
- •Свойства дисперсии
- •Статистическая выборка
- •Лекция 21. Оценка параметров генеральной совокупности
- •Лекция 22. Точечные и интервальные оценки параметров распределения Метод наибольшего правдоподобия
- •Метод моментов
- •Интервальная оценка
- •Лекция 23. Проверка статистических гипотез
- •Лекция 24. Проверка гипотезы о равенстве средних
- •Проверка гипотезы о равенстве дисперсий
- •Проверка гипотезы о законе распределения
- •Лекция 25. Элементы регрессионного и корреляционного анализов
- •Линеаризующие преобразования
- •Линейный множественный регрессионный анализ
- •Множественный корреляционный анализ
- •Библиографические ссылки
Лекция 22. Точечные и интервальные оценки параметров распределения Метод наибольшего правдоподобия
Существует два способа оценки параметров распределения: интервальный и точечный. Точечные методы указывают лишь точку, в окрестности которой находится неизвестный оцениваемый параметр. Интервальные способы дают возможность найти интервал, в котором с некоторой вероятностью (задаваемой исследователем) находится неизвестное значение параметра. Рассмотрим некоторые методы точечной оценки параметров.
Пусть имеется генеральная совокупность, Х – случайная величина, имеющая распределение р(x,). Если Х – дискретная, то р(x,) – вероятность, если Х – непрерывная, то р(x,) – плотность, Х1, …, Хn – выборка. Необходимо найти такое распределение р(x,), которое бы лучше всего соответствовало выборке. Соответствие выборки Х1, …, Хn закону распределения, содержащего параметр , означает, что вероятность получить тот же набор Х при другом значении параметра меньше. Приходим к следующей оптимизационной задаче – при заданных Х1, …, Хn определить значение параметра Θ, чтобы р(x,) (вероятность или плотность распределения) была наибольшей. В такой постановке х – фиксированная точка, а Θ – переменная. Функцию L(Θ) = р(x,) называют функцией правдоподобия.
Более точная математическая формулировка задачи оптимизации следующая.
Если Θ – замкнутой области допустимых значений, необходимо найти такое Θ*, чтобы
. (1)
Из анализа известно, что точка максимума не изменится, если вместо L() рассмотреть lnL(), которая называется логарифмической функцией максимального правдоподобия. Если максимум функции lnL() достигается внутри допустимой области , то в точке максимума * справедливо необходимое условие экстремума
(2)
Система уравнений (2) называется системой уравнений правдоподобия. Так как система (2) является лишь необходимым условие, то найденные * могут быть и точками перегиба. Поэтому необходимо проверить выполнение достаточных условий экстремума (например, по знаку второй производной). Если система не имеет решений внутри области, то это означает, что решение может быть на границе области.
Так как Х – выборка и следовательно Х1, …, Хn – независимые, одинаково распределенные случайные величины, то
L() = р(X,Θ) = р(X1,Θ), …, р(Xn, Θ), . (3)
Пример 1. Пусть Х имеет нормальное распределение. Есть выборка объема n, 1 = a, 2 = 2, тогда
Первое уравнение системы будет иметь вид
, . (4)
Второе уравнение системы будет иметь вид
или
(5)
Из соотношений (5), (6) составим систему (7), которая называется системой уравнений правдоподобия
(6)
Решив систему относительно неизвестных 1, 2, получим
Метод моментов
Известно, что эмпирическая функция распределения (плотность) является состоятельной оценкой теоретической функции распределения (плотности), т.е. с увеличением числа наблюдений эмпирическая функция сколь угодно мало отличается от теоретической. Если теоретическая функция распределения зависит от каких-либо параметров, то для оценки этих параметров можно воспользоваться выборочными моментами. Пусть, например, плотность распределения содержит два параметра Θ1 и Θ2 т.е. Θ = (Θ1, Θ2). Первые два момента можно выразить через функцию распределения и следующим образом:
Е сли есть выборка из генеральной совокупности, то выборочные моменты можно найти по известным формулам:
Так как выборочные моменты являются состоятельными оценками, то они с ростом n сходятся по вероятности к функциям 1() и 2() в точке Θ = (Θ1, Θ2)
Следовательно, при больших n, 1() , 2() . Заменяя приближенное равенство на точное, получим систему, состоящую из двух уравнений с двумя неизвестными:
, (7)
которую надо решить относительно 1 и 2.
Метод моментов содержит неоднозначность, так как можно получить систему уравнений (7), используя также и центральные моменты – , а следовательно, получим и другие значения 1 и 2.
Пример 2. Пусть имеется нормальное распределение с неизвестными параметрами:
а = 1, 2 = 2.
Т аким образом, если случайная величина имеет нормальное распределение, то оценки а и σ2 вычисляются по формулам