1.2. Гетероскедастичность и автокорреляция остатков

При оценке параметров уравнения регрессии мы применяем метод наименьших квадратов. При этом делаем определенные предпосылки относительно случайной составляющей . В модели

у = а + b₁  x + 

случайная составляющая  представляет собой ненаблюдаемую величину. После того как проведена оценка параметров модели, рассчитав разности фактических и теоретических значений результативного признака у, можно определить оценки случайной составляющей (у ). При изменении спецификации модели, добавлении в нее новых наблюдений выборочные оценки остатков_i, могут меняться. Поэтому в задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений _i, т.е. остаточных величин.

В предыдущем разделе рассматривались формальные проверки статистической достоверности коэффициентов регрессии и корреляции с помощью t-критерия Стьюдента и F-критерия. При использовании этих критериев делаются предположения относительно поведения остатков _i. Остатки представляют собой независимые случайные величины, и их среднее значение равно 0; они имеют одинаковую (постоянную) дисперсию и подчиняются нормальному распределению.

Оценки параметров регрессии должны отвечать определенным критериям: быть несмещенными, состоятельными и эффективными.

Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Следовательно, при большом числе выборочных оцениваний остатки не будут накапливаться и найденный параметр регрессии b_i можно рассматривать как среднее значение из возможного большого количества несмещенных оценок.

Для практических целей важна не только несмещенность, но и эффективность оценок. Оценки считаются эффективными, если они характеризуются наименьшей дисперсией.

Степень реалистичности доверительных интервалов параметров регрессии обеспечивается, если оценки будут не только несмещенными и эффективными, но и состоятельными. Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки.

Исследования остатков _i предполагают проверку наличия следующих пяти предпосылок МНК (см. условия ГауссаМаркова):

1. Случайный характер остатков.

Для этого строится график зависимости остатков _iот теоретических значений результативного признака .Если на графике нет направленности в расположении точек _i, то остатки _i представляют собой случайные величины и МНК оправдан, теоретические значения хорошо аппроксимируют фактические значенияу.

2. Нулевая средняя величина остатков, не зависящая от х_i.

Вторая предпосылка МНК относительно нулевой средней величины остатков означает, что (у ) = 0. Это выполнимо для линейных моделей и моделей, нелинейных относительно включаемых переменных. Для моделей, нелинейных по оцениваемым параметрам и приводимых к линейному виду логарифмированием, средняя ошибка равна нулю для логарифмов исходных данных. Так, для модели вида

3. Гомоскедастичность  дисперсия каждого отклонения _i одинакова для всех значений х.

В соответствии с третьей предпосылкой метода наименьших квадратов требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора х_i остатки имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность (рис. 1).

Гомоскедастичность остатков означает, что дисперсия остатков _i одинакова для каждого значения х.

Наличие гетероскедастичности в отдельных случаях может привести к смещенности оценок коэффициентов регрессии, хотя несмещенность оценок коэффициентов регрессии в основном зависит от соблюдения второй предпосылки МНК, т.е. независимости остатков и величин факторов.

Гетероскедастичность будет сказываться на уменьшении эффективности оценок b_i. В частности, становится затруднительным использование формулы стандартной ошибки коэффициента регрессии , предполагающей единую дисперсию остатков для любых значений фактора.

Рассмотрим тесты, которые позволяют провести анализ модели на гомоскедастичность.

При малом объеме выборки, что наиболее характерно для эконометрических исследований, для оценки гетероскедастичности может использоваться метод ГольдфельдаКвандта, разработанный в 1965 г. Гольдфельд и Квандт рассмотрели однофакторную линейную модель, для которой дисперсия остатков возрастает пропорционально квадрату фактора. Для того чтобы оценить нарушение гомоскедастичности, они предложили параметрический тест, который включает в себя следующие шаги:

1. Упорядочение п наблюдений по мере возрастания переменной х.

2. Исключение из рассмотрения С центральных наблюдений; при этом (п  С)/2 > р, где р  число оцениваемых параметров.

Из экспериментальных расчетов, проведенных авторами метода для случая одного фактора, рекомендовано при п = 30 принимать С = 8, а при п = 60 – соответственно С = 16.

3. Разделение совокупности из (п  С) наблюдений на две группы (соответственно с малыми и большими значениями фактора х) и определение по каждой из групп уравнений регрессии.

4. Определение остаточной суммы квадратов для первой (S₁) и второй (S₂) групп и нахождение их отношения: R = S₁/S₂, где S₁ > S₂.

При выполнении нулевой гипотезы о гомоскедастичности отношение R будет удовлетворять F-критерию с (пС2р)/2 степенями свободы для каждой остаточной суммы квадратов. Чем больше величина R превышает табличное значение F-критерия, тем более нарушена предпосылка о равенстве дисперсий остаточных величин.

Критерий ГольдфельдаКвандта используется и при проверке остатков множественной регрессии на гетероскедастичность.

Наличие гетероскедастичности в остатках регрессии можно проверить и с помощью ранговой корреляции Спирмэна. Суть проверки заключается в том, что в случае гетероскедастичности абсолютные остатки _i коррелированы со значениями фактора х_i. Эту корреляцию можно измерять с помощью коэффициента ранговой корреляции Спирмэна:

, (31)

где d  абсолютная разность между рангами значений х_i и |_i|.

Статистическую значимость  можно оценить с помощью t-критерия:

. (32)

Сравнив эту величину с табличной величиной при  = 0,05 и числе степеней свободы (п  m). Принято считать, что если t_ > t_, то корреляция между _i и х_i статистически значима, т. е. имеет место гетероскедастичность остатков. В противном случае принимается гипотеза об отсутствии гeтероскедастичности остатков.

Рассмотренные критерии не дают количественной оценки зависимости дисперсии ошибок регрессии от соответствующих значений факторов, включенных в регрессию. Они позволяют лишь определить наличие или отсутствие гетероскедастичности остатков. Поэтому если гетероскедастичность остатков установлена, можно количественно оценить зависимость дисперсии ошибок регрессии от значений факторов. С этой целью могут быть использованы тесты Уайта, Парка, Глейзера и др.

Тест Уайта предполагает, что дисперсия ошибок регрессии представляет собой квадратичную функцию от значений факторов, т.е. при наличии одного фактора ² = а+ bx + cx² + u, или при наличии факторов:

² = a + b₁x₁ + b₁₁+b₂x₂ + b₂₂+b₁₂x₁x₂ + … + b_px_p + b_pp + + b_1px₁x_p + b_2px₂x_p + … + u.

Так что модель включает в себя не только значения факторов, но и их квадраты, а также попарные произведения. Поскольку каждый параметр модели =f(х_i) должен быть рассчитан на основе достаточного числа степеней свободы, то чем меньше объем исследуемой совокупности, тем в меньшей мере квадратичная функция сможет содержать попарные произведения факторов. Например, если регрессия строится по 30 наблюдениям как y_i = a + b₁x + _i, то последующая квадратичная функция для остатков может быть представлена лишь как

² = а + b₁x + b₁₁х² + u,

поскольку на каждый параметр при х должно приходиться не менее 67 наблюдений. В настоящее время тест Уайта включен в стандартную программу регрессионного анализа в пакете Econometric Views. О наличии или отсутствии гетероскедастичности остатков судят по величине F-критерия Фишера для квадратичной функции регрессии остатков. Если фактическое значение F-критерия выше табличного, то, следовательно, существует четкая корреляционная связь дисперсии ошибок от значений факторов, включенных в регрессию, и имеет место гетероскедастичность остатков. В противном случае (F_факт < F_табл) делается вывод об отсутствии гeтероскедастичности остатков регрессии.

Тест Парка также относится к формализованным тестам гетероскедастичности. Предполагается, что дисперсия остатков связана со значениями факторов функций ln ² = а + b ln х + и. Данная регрессия строится для каждого фактора в условиях многофакторной модели. Проверяется значимость коэффициента регрессии b по t-критерию Стьюдента. Если коэффициент регрессии для уравнения ln² окажется статистически значимым, то, следовательно, существует зависимость ln² от lnх, т.е. имеет место гетероскедастичность остатков.

Если тесты Уайта и Парка предназначены для оценки гетероскедастичности для квадрата остатков ², то тест Глейзера основывается на регрессии абсолютных значений остатков ||, т.е. рассматривается функция |_i| = а + b + и_i. Регрессия |_i| от х_i строится при разных значениях параметра с, и далее отбирается та функция, для которой коэффициент регрессии b оказывается наиболее значимым, т.е. имеет место наибольшее значение t-критерия Стьюдента или F-критерия Фишера и R².

При обнаружении гетероскедастичности остатков регрессии ставится цель ее устранения, чему служит применение обобщенного метода наименьших квадратов (см. ниже).

4. Отсутствие автокорреляции остатков. Значения остатков _i, распределены независимо друг от друга.

Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений.

При построении регрессионных моделей чрезвычайно важно соблюдение данного условия. Коэффициент корреляции между _i и _i-1, где _i  остатки текущих наблюдений, _i-1  остатки предыдущих наблюдений может быть определен как

, (33)

что соответствует формуле линейного коэффициента корреляции. Если этот коэффициент окажется существенно отличным от нуля, то остатки автокоррелированы и функция плотности вероятности F() зависит от j-й точки наблюдения и от распределения значений остатков в других точках наблюдения.

Отсутствие автокорреляции остатков обеспечивает состоятельность и эффективность оценок коэффициентов регрессии. Особенно актуально соблюдение данной предпосылки МНК при построении регрессионных моделей по рядам динамики, где при наличии тенденции последующие уровни динамического ряда, как правило, зависят от своих предыдущих уровней.

5. Остатки подчиняются нормальному распределению.

Предпосылка о нормальном распределении остатков позволяет проводить проверку параметров регрессии и корреляции с помощью критериев tиF. Вместе с тем оценки регрессии, найденные с применением МНК, обладают хорошими свойствамидаже при отсутствии нормального распределения остатков, т.е. при нарушении пятой предпосылки метода наименьших квадратов.

Наряду с предпосылками метода наименьших квадратов как метода оценивания параметров регрессии при построении регрессионных моделей должны соблюдаться определенные требования относительно переменных, включаемых в модель. Прежде всего, число переменных т должно быть не больше, чем . Иначе параметры регрессии оказываются статистически незначимыми. В общем виде применение МНК возможно, если число наблюдений п превышает число оцениваемых параметров т, т.е. система нормальных уравнений имеет решение только тогда, когда п > т.

При несоблюдении основных предпосылок МНК приходится корректировать модель, изменяя ее спецификацию, добавлять (исключать) некоторые факторы, преобразовывать исходные данные для того, чтобы получить оценки коэффициентов регрессии, которые обладают свойством несмещенности, имеют меньшее значение дисперсии остатков и обеспечивают в связи с этим более эффективную статистическую проверку значимости параметров регрессии. Этой цели, как уже указывалось, служит применение обобщенного метода наименьших квадратов.