2.3.2. Оценка параметров уравнения множественной регрессии с автокоррелированными остатками

Пусть рассматривается уравнение простой регрессии y_i=a+bx_i+e_i, в котором остаткиe_iне удовлетворяют 3-й предпосылке МНК, т. е. в них наблюдается автокорреляция. Будем считать, что это автокорреляция первого порядка, т. е. наблюдается зависимость между остатками вида:e_i=r_a¹e_i-1+u_i. В этой зависимости коэффициентr_a¹является коэффициентом корреляции между соседними членами ряда. При этом предполагается, что при перекрестной информации наблюдения упорядочены по величине анализируемого показателя. Остаткиu_i=e_i–r_a¹e_i-1в этом случае уже не зависят друг от друга. Запишем исходное уравнение для индексаi-1:

y_i-1=a+bx_i-1+e_i-1,

умножим его на r_a¹и вычтем из исходного уравнения. Получим:

y_i – r_a¹ y_i-1 = a(1– r_a¹) + b(x_i – r_a¹ x_i-1) + (e_i – r_a¹e_i-1)

или

y_i* = a* + b x_i* + u_i.

В последнем уравнении остатки уже не зависимы.

Такое преобразование называется авторегрессионным преобразованием первого порядка, а метод – двухшаговой процедурой Дарбина. Оценив параметры полученного уравнения обычным МНК, получим эффективные оценки исходного уравнения. Такое преобразование рекомендуется применять в случае, если коэффициент Дарбина – Уотсона близок к 1 и известен коэффициент автокорреляции r_a¹.

Если коэффициент автокорреляции неизвестен, тогда применяется процедура Кохрейна – Оркатта. Это итерационная процедура. На первом шаге обычным МНК получают оценки исходного уравнения и на их основе вычисляются остатки, которые затем участвуют в расчете первого приближения коэффициента автокорреляции первого порядка (r_a¹) из соотношенияe_i=r_a¹e_i-1+u_i. Оценивr_a¹, используем его в автокорреляционном преобразовании для получения преобразованного уравненияy_i* =a* +bx_i* +u_i. Оценив параметры этого уравнения, рассчитываем для него остатки, которые затем снова используются для получения преобразованного уравнения и т. д. Этот процесс продолжается до тех пор, пока на очередной итерации коэффициентr_a¹либо не изменится, либо изменится мало (на величину допустимой точности). Рассчитанное таким образом уравнение затем используется для получения эффективных оценок исходного уравнения. Этот метод и носит название процедуры Кохрейна-Оркатта по имени ее авторов.

Пример. Применение двухшагового автокорреляционного преобразования и процедуры Кохрейна – Оркатта для устранения автокорреляции остатков

Если для ранее рассмотренного примера формально применить двухшаговую автокорреляционную процедуру с коэффициентом автокорреляции первого порядка, равным 0,89 (он получается таким, если оценить автокорреляцию по уравнению e_i=r_a*e_i-1+u_i), то после удаления незначимых переменных получим (см. рис. 26)

Рис. 26. Уравнение регрессии после использования двухшаговой процедуры Дарбина и пошаговой процедуры исключения незначимых переменных

В данном случае уравнение получилось с одной значимой переменной и низкой общей значимостью (R² = 23 %), хотя проблема автокорреляции остатков ослабла. Применив оптимизационную процедуру Кохрейна – Оркатта, получим следующее уравнение (см. рис. 27):

Рис. 27. Уравнение регрессии после применения метода Кохрейна – Оркатта и пошаговой процедуры исключения незначимых переменных

Проблема с автокорреляцией еще более ослабла, да и уравнение стало более точным, но вряд ли можно заплатить такую чрезмерную цену за решение проблемы автокорреляции остатков (значительная потеря точности уравнения регрессии и потеря значимой переменной).

Следует отметить, что подобный негативный результат использования описанных методов не закономерность, а, скорее, исключение. Есть много примеров удачного использования таких методов, в том числе один из них приведен ниже.

Подобным преобразованиям подвергаются переменные и в случае множественной регрессии.

Пример.Оценка параметров уравнения множественной регрессии с автокоррелированными остатками из-за ошибки в спецификации уравнения регрессии

Рассмотрим случай ошибочного выбора набора объясняющих переменных. В этом случае избавление от автокорреляции в остатках добиваются путем добавления в уравнение регрессии дополнительной переменной.

Пусть имеется информация об объемах продаж по некоторому региону (у), а также о доходах населения этого региона (х₁) и проценте безработных в регионе (х₂) за последние 17 периодов:

Рассчитаем сначала уравнение зависимости продаж от доходов (рис. 28):

Рис. 28. Отчет о простой регрессии

Как видим, уравнение регрессии довольно точно описывает эту зависимость: коэффициент детерминации равен 99,8 %. Но коэффициент Дарбина – Уотсона, равный 0,72, и его уровень значимости, равный нулю, говорят о наличии автокорреляции в остатках, что подтверждается также и графиком остатков (см рис. 29). Их значения явно не случайны:

Рис. 29. График остатков для простой регрессии

Добавим теперь в уравнение регрессии факторную переменную х₂– процент безработных. Получим:

Рис. 30. Отчет о множественной регрессии

Добавление еще одной переменной в уравнение регрессии его точность не изменило (уравнение и так было точным), но зато после этого автокорреляция остатков исчезла (коэффициент Дарбина – Уотсона стал равен почти двум).

Рассмотренные выше два примера иллюстрируют факт, что решение проблемы автокорреляции остатков не однозначно. В одних случаях это достигается просто, в других – сложнее.

Заметим, что в обоих случаях мы применяли регрессионный анализ к временным рядам.