Гетероскедастичность

Рассмотрим классическую модель множественной регрессии:

- матричный вид.

,

- матрица ковариаций. Но в реальности это условие не всегда выполняется.

- свойство матрицы ковариаций. Возьмем . Т.е. имеет место Гетероскедастичность. Причем в начале рассмотрим случай, когда матрица диагональная.

Итак, в общем случае оценка имеет вид: . Рассмотрим математическое ожидание: . Это возможно, если X – постоянная, в противном случае, из-под знака математического ожидания выражаем выборочные значения.

Таким образом, получаем, что оценки все равно будут являться несмещенными. Теперь проверим эффективность. При выполнении условий Гаусса-Маркова следует из теоремы. Рассмотри дисперсию оценки:

.

Для классической модели: . Тогда . Если же матрица ковариаций не известна, то вместо нее мы используем оценку матрицы.

Если же случай не классический, то

.

Полученная оценка является несмещенной, т.е. статистики Фишера и Стьюдента неверны. Смещенность в обе стороны и значимость-незначимость также.

Выясним проблему построения эффективных оценок.

Первый случай, допустим, что - известна. Пусть матрица является невырожденной, положительно определенной матрицей, тогда можно найти такую матрицу P, что .

Домножим исходное уравнение

,

введем новые обозначения:

,

проверим выполнение условий Гаусса-Маркова:

- в силу линейности преобразования;

.

Таким образом, для полученного уравнения имеет классическую модель, но тогда при помощи метода наименьших квадратов получаем эффективные оценки. В этом случае работает теорема Айткена. В модели Айткена наблюдения не являются ни независимыми, ни одинаково распределенными.

Теорема Айткена.

Рассмотрим линейную регрессионную модель , где . Тогда наилучшая аффинная несмещенная оценка существует для каждой матрицы X полного ранга по столбцам, и для нее справедливо представление:

.

Так как оценка линейна по , следовательно, она будет линейна и по y. Эта оценка называется оценкой Айткена или оценкой по обобщенному методу наименьших квадратов (General Least Square).

При этом коэффициент не имеет смысла, так как модель не содержит свободного члена.

Рассмотрим частный случай, когда матрица ковариаций имеет вид:

, в этом случае , тогда матрица . Рассматриваем уравнение: , тогда каждое уравнение системы имеет вид:

,

переходим к новым переменным. Данный метод называется взвешенным методом наименьших квадратов (WLS – Weighst Least Square).

При этом, как правило, не известно. Оценить эти дисперсии невозможно, так как число параметров больше чем число наблюдений.

Итак, если матрица ковариаций не известна, то возможны две ситуации. В первом случае известна форма функциональной зависимости дисперсий остатков от некоторого меньшего числа сопутствующих переменных, тогда используется двухшаговая процедура.

Двухшаговая процедура:

Допустим, известна линейная зависимость: .

Первый шаг. При помощи обобщенного метода наименьших квадратов оценивается регрессия . В результате получаются оценки и остатки регрессии . Далее оценивается вспомогательная регрессия: при помощи обобщенного метода наименьших квадратов. Получаем состоятельные оценки в том случае, если Гетероскедастичность действительно имеет соответствующую функциональную форму. Тогда - состоятельная оценка для дисперсии остатков.

Второй шаг. Можно использовать взвешенный метод наименьших квадратов с состоятельными оценками для дисперсии остатков. Но так как прогнозные значения для дисперсии могут быть отрицательными, то может возникнуть проблема, что делать в этом случае. Просто отбрасывать соответствующие наблюдения нельзя в силу неслучайности выбора. Поэтому чаще используется другая форма: .

В конце снова необходимо проверить результаты на гетероскедастичность.

Если же функциональная форма зависимости неизвестна. В этом случае используется обычный обобщенный метод наименьших квадратов и добавляются поправки к стандартным ошибкам на гетероскедастичность.