2.2 Методы получения оценок.

a. Метод моментов

Хронологически первым общим методом нахождения точечных оценок неизвестных параметров распределения явился метод моментов, предложенный английским статистиком К. Пирсоном в 1894 году. Суть этого метода состоит в следующем.

Пусть X = (x₁, …, x_n) – простая случайная выборка из генеральной совокупности F(x, θ), x R, θ, где θ = (θ₁, …, θ_r) – r неизвестных параметров распределения генеральной совокупности (случайной величины ξ), вид которого известен. Предполагается, что теоретическое распределение F(x, θ) имеет первые r начальных _k = Mξ^k и/или центральных _k = M(ξ – Mξ)^k моментов (по количеству неизвестных параметров распределения, т.е. k = 1  r). Метод моментов состоит в приравнивании значений выборочных и теоретических значений, т.е. ,k = 1  r ,(начальные и центральные моменты могут использоваться как по отдельности, так и совместно). Так как теоретические моменты представляют собой известные функции неизвестных параметров, т.е. _k =_k (θ), _k =_k (θ), k = 1  r, то получаем систему r уравнений с r неизвестными, решая которую получают значения точечных оценок параметров по выборке, полученных методом моментов.

Пример 2.1. Оценка параметров формы с и масштаба b = 1/λ гамма-распределения.

Математическое ожидание и дисперсия случайной величины ξ , имеющей гамма-распределение выражаются через параметры формы и масштаба этого распределения с помощью соотношений:

Mξ = m = bc = c/λ; Dξ = ₂ = b²c = c/λ².

Если в качестве выборочных оценок, полученных по выборке объёма n, использовать выборочные среднее и выборочную дисперсию (без поправки на смещение), то оценки параметров распределения получаются как решения системы уравнений= bc = c/λ;

= b²c = c/λ². Получаем: b = 1/λ = ; c = .

Оценки, полученные методом моментов, при определённых условиях (непрерывность функций, выражающих оцениваемые параметры через теоретические моменты) получаются состоятельными. Их часто используют в качестве первых приближений, т.е основываясь на них, можно находить последующие приближения.

Обычно метод моментов приводит к несмещённым или асимптотически несмещённым оценкам.

Замечание 2.1. Метод моментов неприменим, когда теоретические моменты нужного порядка не существуют (например, для распределения Коши). Кроме того, получаемые системы уравнений часто сложно решаются, даже при небольшом числе неизвестных (например, трёх). Наконец, в одной и той же ситуации методом моментов можно получитьразныеоценки, потому что оцениваемые параметры можно по-разному выражать через моменты распределения генеральной совокупности.

b. Метод максимального правдоподобия.

Метод максимального правдоподобия является одним из наиболее универсальных методов оценивания параметров распределений. В частных случаях этот метод применялся ещё Гауссом, но как общий метод был впервые предложен Р. Фишером в 1912 году и получил дальнейшее развитие в ряде его работ.

Пусть X = (x₁, …, x_n) – простая случайная выборка из генеральной совокупности F(x, θ), x R, θ, где θ = (θ₁, …, θ_r) – r неизвестных параметров распределения генеральной совокупности (случайной величины ξ), вид которого известен.

Строится функция правдоподобия L(X, θ) с известным типом распределения, но неизвестным параметром θ, следующим образом:

L(X, θ) = f (x₁, θ)· f (x₂, θ)·…· f (x_n, θ), если теоретическое распределение абсолютно непрерывное;

L(X, θ) = P(x₁, θ)· P(x₂, θ)·…· P(x_n, θ), если теоретическое распределение дискретное, где P(x_k, θ) = P{ξ = x_k} – вероятность того, что случайная величина ξ примет значение x_k.

Функция L(X, θ), рассматриваемая при фиксированной выборочной реализации X как функция параметра θ, называется функцией правдоподобия.

Определение 2.6. Оценкой максимального правдоподобия θ^* параметра θ называется такая точка параметрического множества , в которой функция правдоподобия L(X, θ) при заданном X достигает максимума, т.е.

(2.2)

Если максимум функции достигается вовнутренней точке множества  и она дифференцируема по параметру θ , то оценка максимального правдоподобия (о.м.п.) θ^* удовлетворяет уравнению (системе уравнений, если параметр векторный) правдоподобия

. (2.3)

Таким образом, для поиска м.п. оценок во многих случаях фактически используются методы поиска экстремума функции.

Пример 2.2. О.м.п. в общей нормальной моделе N(θ₁, θ₂²).

Имеется выборка X = (x₁, …, x_n), извлеченная из генеральной совокупности с функцией распределения

.

Составим функцию правдоподобия

.

Прологарифмируем функцию правдоподобия

.

Найдём частные производные и запишем систему уравнений правдоподобия

Решая эту систему относительно неизвестных θ₁ и θ₂², находим:

.

Обе оценки состоятельны и эффективны, причем первая (выборочное среднее) является несмещённой оценкой, а вторая (выборочная дисперсия) – асимптотически несмещённой (поправка на смещение достигается умножением на n/(n – 1)).

ММП-оценки, как правило, являются асимптотически несмещёнными и состоятельными.

Во многих случаях ММП-оценки совпадают с ММ-оценками, хотя это происходит не всегда.

Замечание 2.2. Если функция правдоподобия достигает максимального значения в нескольких точках, то все они по определению считаются ММП-оценками. Кроме того следует напомнить , что не всегда для поиска максимума функции правдоподобия следует прибегать к её дифференцированию и/или логарифмированию: так в некоторых случаях максимум функции правдоподобия (как и самой плотности распределения) может оказаться на границе их области определения.