1.1. Обычный метод наименьших квадратов (мнк) и его предпосылки

Параметры модели регрессии αиβоцениваются на основе выборочных данных. На основе этих же выборочных данных оценивается дисперсияε. Одним из методов получения этих оценок является обычный метод наименьших квадратов (МНК). Суть МНК состоит в минимизации суммы квадратов отклонений фактических значений зависимой переменнойуот их условных математических ожиданий, определяемых по уравнению регрессии:=α+βx(здесь математическое ожиданиеyобозначено через).

Итак, пусть для оценки параметров модели (1.1) организована выборка, содержащая nпар значений переменных (x_i,y_i), гдеiпринимает значения от 1 доn(i=). Тогда реализация МНК приведет к минимизации функцииQ:

Q==.

Приравнивая частные производные функции Qпоαиβк нулю получим систему нормальных уравнений для вычисления оценок параметровαиβ. Обозначим эти оценки соответственно черезаиb.

Приведем один из вариантов формул для вычисления таких оценок:

a= –b,b=. (1.2)

Известно также, что несмещенной оценкой дисперсии случайных отклонений является остаточная дисперсия, вычисляемая из соотношения

=.

Итак, оцененная модель линейной парной регрессии имеет вид:

y=a+bx +e, (1.3)

где е – отклонения фактических значений зависимой переменной уот расчетных. Последние рассчитываются из соотношения=a+bx.

Различие между εиесостоит в том, чтоε– это случайная величина и предсказать ее значения не представляется возможным, в то время каке– это оцененные по выборке значения отклонений (е = у – ), и эти отклонения можно считать случайной выборкой из совокупности значений остатков регрессии и анализировать с использованием статистических методов.

Как было отмечено, МНК определяет оценки коэффициентов уравнения регрессии на основе минимизации суммы квадратов отклонений или остатков ε, поэтому важно знать их свойства. Для получения «хороших» МНК-оценок необходимо, чтобы выполнялись следующие основные предпосылки МНК, а следовательно, и регрессионного анализа.

1. В модели (1.1) остатки ε(в том числе и зависимая переменнаяy) являются случайными величинами, а независимая переменнаяx– величина неслучайная.

2. Математическое ожидание εравно нулю, т.е. М(ε) = 0.

3. Остатки гомоскедастичны, что означает постоянство их дисперсии, (независимость дисперсии от номера значений переменной х), т. е.D(ε) =D(y) =².

4. Значения εне зависят друг от друга или, говорят, что в остатках должна отсутствовать автокорреляция.

5. Остатки подчиняются нормальному закону распределения.

Для получения несмещенных, эффективных и состоятельных оценок параметров уравнения регрессии достаточно выполнения предпосылок 1 – 4. Предпосылка о неслучайности (детерминированности) независимой переменной влечет ее независимость (некоррелированность) с остатками. Пятая предпосылка необходима для правомерности использования оценок точности уравнения регрессии и его параметров.

В дальнейшем уравнение =a+bxбудем называть выборочным уравнением регрессии или просто уравнением регрессии, а его коэффициенты, соответственно, свободным членом и коэффициентом уравнения регрессии.

Свободный член уравнения регрессии обычно не интерпретируется. Можно интерпретировать лишь его знак. Так, если а < 0, ах и уположительны, то относительное изменение зависимой переменнойyпроисходит более интенсивно, чем относительное изменение независимой переменнойx, и наоборот.

Коэффициент регрессии (b) показывает, на сколько в среднем изменится зависимая переменная (в своих единицах измерения) при изменении независимой переменной на единицу своего измерения.

При этом необходимо иметь в виду, что рассматриваемые коэффициенты являются оценками параметров уравнения регрессии =α+βxсо всеми вытекающими отсюда последствиями, в том числе и необходимостью получения оценок точности уравнения регрессии и его параметров.

Рассмотрим некоторые из них.