43

Лекция 5

Тема: ОБОБЩЕННЫЙ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ

И ЕГО ВАРИАНТЫ В СЛУЧАЕ ГЕТЕРОСКЕДАСТИЧНОСТИ

План лекции

1. Обобщенный метод наименьших квадратов

2. Метод взвешенных наименьших квадратов

3. Стандартные ошибки и их корректировка

4. Тесты на гетероскедастичность

1. Классическая регрессионная модель

(1.1)

Строится в предположении выполнения ряда условий, в том числе

3а. , 3b. .

Если выполнение первого условия не вызывает сомнения, то надеяться на выполнение второго условия имеет смысл только тогда, когда выборочные наблюдения достаточно однородны. В практике построения регрессионных моделей, часто встречаются ситуации, в которых нереалистичность этого предположения становится очевидной. Наблюдения либо коррелированны между собой, либо их дисперсии не равны постоянной величине. Случай неравенства дисперсий в эконометрике называется гетероскедастичностью (в отличие от гомоскедастичности – равенства дисперсий). В этом случае возникает необходимость в построении регрессионных моделей без предположения, что выполняется условие 3b.

Выясним, что происходит, если в основе построения множественной регрессии положены следующие гипотезы:

1. - спецификация модели;

2. - детерминированная матрица, имеющая максимальный ранг m+1;

3а. ,

3b. , где матрица положительно определена.

Модель, которая строится в предположении выполнения данных условий, называется обобщенной регрессией. Она отличается от классической только условием 3b. Если для ее построения применить МНК, то полученные оценки вектора

(4.1.2)

обладают следующими свойствами:

1. они в силу условия 3а несмещенные, так как

;

2. их ковариационная матрица равна

Как правило, матрица неизвестна и ковариационную матрицу заменяют оценкой

, (4.1.3)

где .

Проверим оценку ковариационной матрицы на несмещенность, для чего вычислим ее математическое ожидание

. (4.1.4)

В свою очередь,

(4.1.5)

.

Здесь использован тот факт, что

,

так как

и матрица обладает свойствами: , , .

Таким образом, математическое ожидание ковариационной матрицы может быть записано в виде

, (4.1.6)

что в общем случае не совпадает с .

Следовательно, оценка матрицы ковариации вектора , полученная с помощью обычного МНК, является смещенной и требуется в данной ситуации применять модифицированный МНК. Способ модификации дает теорема Айткена. В соответствии с этой теоремой для обобщенной регрессионной модели оценка

(4.1.7)

имеет наименьшую матрицу ковариаций в классе линейных несмещенных оценок вектора .

Таким образом, для применения обобщенного метода наименьших квадратов (ОМНК), также как и для получения оценки ковариационной матрицы, необходимо знать матрицу , которая на практике чаще всего не известна. Самый простой способ, позволяющий справиться с этой проблемой положен в основу так называемого доступного обобщенного метода наименьших квадратов, суть которого в том, что сначала каким либо образом получают оценку матрицы , а затем эту оценку используют вместо матрицы.

2. 4.2.1. Неоднородность дисперсии. Частным случаем обобщенного метода наименьших квадратов является метод взвешенных наименьших квадратов. Его обычно применяют для построения моделей с гетероскедастичностью. Предположения, лежащие в основе построения этой модели, выглядят следующим образом.

1. - спецификация модели;

2. - детерминированная матрица, имеющая максимальный ранг m+1;

3а. ,

3b. , где матрица диагональная с неравными элементами.

В некоторых случаях удобно считать, что элементы ковариационной матрицы представимы в виде , а весовые коэффициенты нормированы так, что . Если для всех t =1, 2, . . . , n , то модель с гетероскедастичностью сводится к классической.

Применение формулы (4.1.7) для расчета оценок регрессионного уравнения в условиях гетероскедастичности эквивалентно минимизации взвешенной суммы квадратов

.

Последнее выражение позволяет понять содержательный смысл метода взвешенных наименьших квадратов. Как было показано выше, применение стандартного МНК к неоднородным данным дает неэффективные оценки. Причина в том, что не учитывается зависящий от дисперсии уровень статистического вклада каждого слагаемого. «Взвешивание» каждого отклонения с помощью величины , предусмотренное в методе взвешенных наименьших квадратов, устраняет неоднородность, причем более точным наблюдениям (с меньшей дисперсией) придается «больший вес».

В практических расчетах применяют различные приемы для устранения эффектов гетероскедастичности в зависимости от того, что принимается за оценку неизвестной дисперсии.

4.2.2. Пропорциональность дисперсии независимой переменной. Если есть основания считать, что дисперсия ошибки прямо пропорциональна квадрату одной из независимых переменных модели, т.е. , то путем деления на эту независимую переменную всех (зависимой и независимых) переменных модели случай гетероскедастичности сводится к классической модели.

В более сложном случае можно считать, что дисперсия зависит от нескольких независимых переменных, например и

.

Тогда моделирование осуществляется в три этапа с использованием идей доступного МНК. На первом этапе с помощью стандартного МНК строится регрессия

,

и вычисляются остатки, квадраты которых принимаются за оценки .

На втором этапе для этих оценок строится регрессия, расчетные значения которой используются для получения весовых коэффициентов, применяемых в методе взвешенных наименьших квадратов на завершающем этапе построения модели.

4.2.3. Двухуровневая дисперсия. Встречаются ситуации, когда данные неоднородны по дисперсии, но их можно разделить на две группы однородных. Пусть, например, в первой группе наблюдение с дисперсией для t=1, , а во второй - наблюдений с дисперсией для . Значения и неизвестны.

Для этого случая также можно предложить многоэтапную процедуру оценивания коэффициентов регрессии на основе доступного МНК.

На первом этапе стандартным МНК получают коэффициенты обычной регрессии и с ее помощью рассчитывают остатки .

На втором этапе в соответствии с группировкой данных строят оценки неизвестных значений дисперсий

, .

На следующем этапе все переменные первых уравнений делятся на , а остальные – на . К преобразованным уравнения применяется обычный МНК, завершающий построение модели.

Этот подход к построению регрессии в условиях гетероскедастичностью с двухуровневой дисперсией допускает обобщение на случай, когда дисперсия имеет не два, а несколько различных уровней.

3. Как было показано выше, применение обычного МНК для оценки вектора параметров в условиях гетероскедастичности позволяет получить несмещенные состоятельные оценки этого вектора, но стандартные ошибки полученных оценок смещены. Проблема их корректировки возникает потому, что большинство компьютерных пакетов при оценивании коэффициентов регрессии вычисляют стандартные ошибки этих коэффициентов по формуле обычного МНК, т.е. , и, следовательно, эффект гетероскедастичности в них не учитывается. Рассмотрим два способа, позволяющих получить стандартные ошибки с поправкой на гетероскедастичность.

4.3.1. Стандартные ошибки в форме Уайта. В этой форме стандартные ошибки вычисляются тогда, когда матрица ковариаций вектора ошибок диагональна, т.е. , . Учитывая, что оценка МНК может быть представлена в виде

,

ковариационная матрица записывается следующим образом

. (4.3.1.1)

Распишем произведение матриц через сумму

,

где

- s-ая вектор-строка матрицы регрессоров.

Уайт показал, что замена неизвестных величин на остатки в квадрате позволяют получить состоятельную оценку матрицы ковариаций оценок коэффициентов регрессии в виде следующего выражения

. (4.3.1.2)

Рассчитанные по это формуле ошибки называются стандартными ошибками в форме Уайта.

4.3.2. Стандартные ошибки в форме Невье-Веста. Если ненулевые элементы матрицы стоят не только на главной диагонали, но и на соседних диагоналях, отстающих от главной не более, чем на L (при , ), то выражение

, (4.3.2.1)

как показали Невье-Вест дает состоятельную оценку матрицы ковариаций оценок коэффициентов регрессии. В формулу (4.3.2.1) включены весовые коэффициенты , от выбора которых зависят стандартные ошибки. Существует несколько способов выбора этих весовых коэффициентов. Простейший случай следует исключить из рассмотрения, так как при таком выборе весовых коэффициентов может оказаться, что матрица (4.3.2.1) не является неотрицательно определенной. Обычно рассматривают два способа, предложенные Бартлеттом

1) ;

и Парзеном:

2) .

В большинстве случаев рекомендуется использовать весовые коэффициенты Парзена.

Рассчитанные по формуле (4.3.2.1) стандартные отклонения принято называть стандартными ошибками в форме Невье-Веста или стандартными ошибками с учетом гетероскедастичности и автокорреляции.

4. Наличие гетероскедастичности не является очевидным фактом. Поэтому при построении регрессионных моделей возникает вопрос о тестировании на гетероскедастичность. Как правило, в этих тестах проверяется нуль-гипотеза против альтернативной гипотезы предположение н выполняется.

4.4.1. Тест Уайта. В этом тесте используется идея, состоящая в том, что наличие гетероскедастичности является следствием взаимосвязи дисперсии ошибок с регрессорами. Тест построен на проверке этой взаимосвязи без использования каких-либо предположений относительно структуры гетероскедастичности. Последовательность проверке в соответствии с тестом Уайта состоит в следующем. Сначала с помощью обычного МНК строится регрессионная модель и находятся остатки , . После чего строится регрессия квадратов этих остатков на все регрессоры, их квадраты и попарные произведения. В предположении, что гипотеза имеет место, величина асимптотически имеет распределение , где - коэффициент детерминации, а m - число регрессоров второй модели. Если , то отвергается. Тест универсален и может применяться в любых ситуациях. Однако, в тех случаях, когда гипотеза отвергается, с помощью этого теста не удается установить структурную форму гетероскедастичности и, поэтому либо применяется другой тест, либо используются стандартные ошибки в форме Уайта.

4.4.2. Тест Голдфельда-Куандта. Тест используется в тех случаях, когда есть основания предполагать, что дисперсия ошибки зависит от некоторой независимой переменной. Краткое описание теста выглядит так:

1) данные упорядочиваются по убыванию той независимой переменной, от которой в соответствии с предположением зависит дисперсия ошибки;

2) наблюдений, расположенных в средине упорядоченного ряда, исключаются ( рекомендуется брать равным четверти общего числа наблюдений);

3) по первым и последним строятся независимо друг от друга два регрессионных уравнения и с их помощью рассчитываются соответствующие вектора остатков и ;

4) из полученных остатков рассчитывается статистика . Если верна гипотеза , то имеет распределение Фишера с степенями свободы. Если статистика больше табличного значения, то гипотеза отвергается.

Этот тест можно использовать в тех случаях, когда есть предположение, что дисперсия принимает два значения (двухуровневая дисперсия).

4.4.3. Тест Бреуша-Пагана. Тест рекомендуется применять, если априори предполагается, что дисперсия есть линейная функция от некоторых дополнительных переменных, т.е.

, ,

где

- вектор независимых переменных;

- неизвестные параметры.

Проверка с помощью этого теста осуществляется так:

1) строится обычная регрессия и с ее помощью рассчитываются компоненты вектора остатков ;

2) полученные остатки используются для получения оценки дисперсии

;

3) строится регрессионное уравнение

,

для которого рассчитывается объясненная часть вариации, т.е. сумма квадратов отклонений расчетных значений от среднего значения, обозначаемая обычно RSS;

4) статистика RSS/2 сравнивается с табличным значением и, если RSS/2 превосходит табличное значение, то нуль-гипотеза (отсутствие гетероскедастичности) отбрасывается. Возможность такой проверки обеспечивается результатом, установленным Бреушем и Паганом, в соответствии с которым при выполнении гипотезы величина RSS/2 асимптотически имеет распределение .

В тех случаях, когда среди расчетных значений уравнения регрессии, построенного в п. 3), имеется много отрицательных, можно рекомендовать использовать вместо линейной зависимости экспоненциальную форму гетероскедастичности

, .

Использование экспоненциальной формы приводит к замене линейной регрессии п. 3) на регрессию

.