4.1 Метод моментов

Теоретические моменты выражаются через параметры распределения. Для основных видов распределений приведем выражение некоторых моментов через параметры распределения (таблица 4.1.1).

Таблица 4.1.1

Вид распределения	Параметры	Основные моменты
Биномиальное распределение
Закон Пуассона	а
Нормальное распределение
Равномерное распределение	А, В
Показательное распределение

Метод моментов состоит в приравнивании теоретических и эмпирических моментов. Составляется столько уравнений, сколько неизвестных параметров нужно оценить. Конечно, выбираются те моменты, которые выражаются через неизвестные параметры. В качестве оценок неизвестных параметров берется решение полученного уравнения или системы уравнений.

Задача 1. Дана выборка случайной величины Х, распределенной по закону Пуассона. Методом моментов оценить неизвестный параметр распределения.

Приведем закон распределения генеральной случайной величины:

Неизвестным является параметр а. Нам известно выражение математического ожидания случайной величины Х через параметр а: Эмпирическим математическим ожиданием является оценка математического ожидания Приравняем теоретическое и эмпирическое математическое ожидание:

Тогда и решение этого уравнения:

Получена оценка параметра а.

Пример 1. Случайная величина Х показывает число нестандартных изделий в партии, она распределена по закону Пуассона. Дана выборка случайной величины Х:

	0	1	2	3	4
	130	45	20	3	2

(число партий, в которых обнаружено нестандартных изделий).

Методом моментов оценить неизвестный параметр распределения.

Найдем объем выборки:

Найдем оценку математического ожидания:

Используем решение задачи 1:

Задача 2. Дана выборка случайной величины Х, распределенной равномерно. Методом моментов оценить параметры распределения.

Генеральная случайная величина равномерно распределена на отрезке концы которого являются параметрами. Математическое ожидание и дисперсия случайной величины Х выражаются через параметры:

Приравниваем эти теоретические моменты к эмпирическим:

Очень часто используется обозначение:

Пример 2. Дана выборка случайной величины Х, распределенной равномерно:

	2	4	6	8	10
	36	40	39	40	45

Методом моментов оценить неизвестные параметры распределения.

Оценим математическое ожидание и дисперсию.

Объем выборки:

Сумма всех выборочных значений:

Находим эмпирическое математическое ожидание:

Найдем сумму квадратов отклонений выборочных значений от оценки математического ожидания:

Находим несмещенную оценку дисперсии:

Используем результаты задачи 2:

4.2 Метод максимального (наибольшего) правдоподобия

Дана выборка генеральной случайной величины Х. Неизвестными параметрами распределения случайной величины Х являются

Случайная выборка состоит из независимых случайных величин, распределение каждой из которых совпадает с распределением случайной величины Х, то есть

если Х дискретна;

если Х непрерывна.

Здесь указана зависимость от параметра вероятности принятия случайной величиной Х значения х, или значение плотности распределения случайной величины Х в точке х.

Функция правдоподобия – это функция значение которой в точке определяется соотношением:

Когда случайная величина Х дискретна, функция правдоподобия в точке равна вероятности того, что случайная выборка принимает значение .

Если случайная величина Х непрерывна, то функция правдоподобия в точке равна значению плотности совместного распределения в точке

Чем больше значение функции правдоподобия в точке тем чаще (с большей вероятностью) случайная выборка принимает значения или очень близкие к нему (в случае непрерывного распределения). Поэтому в роли точечных оценок неизвестных параметров выбирают значения при которых достигается максимум функции правдоподобия:

Максимум рассматривается по области допустимых значений Методом максимального правдоподобия выбираются оценки, при которых выборка наиболее вероятна (наиболее правдоподобна).

Точка максимума не изменится, если вместо L взять

Напомним необходимое условие нахождения экстремума функции нескольких переменных:

Задача 1. Дана выборка генеральной случайной величины Х, распределенной по показательному закону. Методом максимального правдоподобия оценить неизвестный параметр распределения.

Запишем плотность распределения случайной величины Х:

при

при

Неизвестным параметром распределения является Во введенных обозначениях

Генеральная случайная величина Х распределена по показательному закону, поэтому все выборочные значения неотрицательны.

Удобнее рассматривать максимум логарифма функции правдоподобия:

Рассмотрим необходимое условие максимума:

Решим это уравнение:

При переходе через знак меняется с плюса на минус, достаточное условие максимума выполнено.

Пример 1. Дана выборка случайной величины, распределенной по показательному закону:

	0	0,1	0,2	0,3	0,5
	35	30	15	5	2

Методом максимального правдоподобия оценить неизвестный параметр распределения.

Найдем объем выборки:

Найдем сумму всех выборочных значений:

Используем результат задачи 1:

Задача 2. Случайная величина Х (число появлений события А в N независимых испытания) распределена по биномиальному закону с неизвестным параметром р. Дана выборка случайной величины Х. Методом максимального правдоподобия оценить параметр р.

В роли неизвестного параметра здесь выступает р:

Используем формулу Бернулли:

Составим функцию правдоподобия:

Перейдем к логарифму этой функции:

Рассмотрим необходимое условие максимума:

В качестве оценки правдоподобия нужно принять величину:

Пример 2. Отдел технического контроля проверил партий по изделий в каждой партии и получил выборку:

	0	1	2	3	4	5	6	7
	2	3	10	22	26	20	11	6

где это число партий, в которых обнаружилось изделий первого сорта. Генеральная случайная величина Х, показывающая число изделий первого сорта в партии из 10 изделий, распределена биномиально. Методом максимального правдоподобия оценить неизвестный параметр р (вероятность того, что изделие первого сорта).

Найдем сумму всех выборочных значений:

Используем результат задачи 2:

Рассмотрим случай, когда требуется оценить два неизвестных параметра.

Задача 3. Дана выборка случайной величины Х, распределенной по нормальному закону. Методом максимального правдоподобия оценить неизвестные параметры распределения.

Запишем плотность распределения нормального закона:

Неизвестными являются два параметра а и В данной задаче Составим функцию правдоподобия:

Рассмотрим логарифм функции правдоподобия:

Составим систему для нахождения оценок неизвестных параметров:

Ее решение:

По сравнению с методом моментов метод максимального правдоподобия дает однозначное решение при оценке неизвестных параметров. А метод моментов является более простым в объяснении.