Метод наибольшего правдоподобия.

Метод наибольшего правдоподобия точечной оценки неизвестных параметров заданного распределения сводится к отысканию максимума функции одного или нескольких оцениваемых параметров.

1. Распределение дискретной случайной величины.

Пусть x – дискретная случайная величина, которая в результате n-опытов приняла возможные значения x₁, x₂,…, x_n, при этом вид закона распределения случайной величины x задан, однако не известен параметр θ, которым определяется этот закон. Требуется найти его точечную оценку θ*.

Обозначим вероятность того, что в результате испытания случайная величина x примет значение x_i как P(x_i, θ).

Функцией правдоподобия дискретной случайной величины x называют L(x₁, x₂,…, x_n, θ)=P(x₁, θ)∙P(x₂, θ) ∙ … ∙ P(x_n, θ), то есть произведение вероятностей.

Оценкой наибольшего правдоподобия параметра θ называют такое значение θ*, при котором функция правдоподобия достигает максимума:

.

Так как функции l и lnL достигают максимума при одном и том же значении θ, то можно вместо отыскания максимума функции l вычислять максимум функции lnL. В ряде случаев это удобнее.

Для отыскания точки максимума функции необходимо вычислить производную функции lnL(θ)/dθ=0.

Решив это уравнение относительно параметра θ, получим значение аргумента θ*, при котором функция правдоподобия достигает экстремума.

Для проверки того, что функция правдоподобия достигает максимума в точке θ*, необходимо вычислить вторую производную lnL(θ)/dθ².

Если она отрицательна, то функция правдоподобия достигает максимума.

2. Распределение непрерывной случайной величины.

Для непрерывной случайной величины считаем, что известна функция плотности вероятности f(x), но не известен параметр θ, которым определяется эта функция.

Функция правдоподобия в этом случае имеет такой же вид, как и для дискретного случая. Поэтому оценку наибольшего правдоподобия неизвестных параметров для распределения непрерывной случайной величины проводят таким же образом, как и для дискретной случайной величины.

Если функция плотности вероятности f(x) определяется двумя неизвестными параметрами θ₁ и θ₂, то функция правдоподобия является функцией двух неизвестных параметров θ₁ и θ₂

L(x₁, x₂,…, x_n, θ₁, θ₂)=P(x₁, θ₁, θ₂)∙P(x₂, θ₁, θ₂) ∙ … ∙ P(x_n, θ₁, θ₂).

Для отыскания экстремума функции берётся производная по первому и второму параметру и решается система с двумя неизвестными, откуда находят θ*₁ и θ*₂, которые определяют точку, в которой функция правдоподобия достигает максимума:

dL(θ₁, θ₂)/dθ₁=0

dL(θ₁, θ₂)/dθ₂=0.

Распределение выборочных характеристик.

Рассмотрим случайную величину x, которая имеет функцию распределения f(x). Пусть x₁, x₂,…, x_n – выборка, состоящая из n значений случайной величины x. Любая величина, вычисленная по этим выборочным значениям, также будет случайной.

Рассмотрим, например, среднее значение выборки . Если из одной и той же случайной величины x извлекают ряд различных выборок объёма n, то , вычисленная по этим выборкам, будут, как правило, различаться между собой. Следовательно, выборочная средняя также представляет случайную величину, которая имеет некоторую функцию распределения f(x). Эту функцию распределения называют выборочным распределением выборочного среднего .

Рассмотрим некоторые общие выборочные распределения, часто встречающиеся на практике.

1. Распределение выборочного среднего при известной дисперсии.

Рассмотрим среднее значение выборки объёма n независимых наблюдаемых значений случайной величины x:

.

Исследуем случай нормального распределения случайной величины x с математическим ожиданием m _x и известной дисперсией .

Математическое ожидание выборочного среднего значения составляет:

М[ ]=М[ ]= М[ ]=m _x.

Таким образом, математическое ожидание выборочного среднего значения равно математическому ожиданию случайной величины x.

Кроме того, распределение выборочного среднего значения выборки нормально распределено.

Используя нормированное (гауссово) распределение, выборочное распределение среднего значения выборки можно описать при помощи преобразования:

.

D[ ]= D[ ]= .

(*).

Эта величина имеет нормированное (гауссово) распределение. Исходя из выражения (*), можно сделать следующее утверждение относительно среднего значения выборки до извлечения выборки.

P( > )=

где - квантиль нормального распределения уровня .

Необходимо отметить, что это утверждение остаётся справедливым лишь до извлечения выборки, так как после извлечения выборки вероятность того, что превышает некоторую заданную величину, равна 0 или 1.