3.10. Обобщенный метод наименьших квадратов

Обобщенный метод наименьших квадратов (ОМНК) применяется в тех случаях, когда нарушены условия Гаусса — Маркова, касающиеся характера случайных остатков, а именно:

— гомоскедастичность (постоянство дисперсии) случайных остатков;

— некоррелированность остатков между собой. Нарушение этих условий означает, что ковариационная матрица остатков не является скалярной. Она будет иметь вид

(3.60)

На главной диагонали этой матрицы расположены диспер­сии случайных остатков для различных наблюдений (i = 1 -п), не одинаковые по своей величине. Ковариации случайных остатков ив общем случае также ненулевые. Если осталь­ные условия построения классической нормальной линейной модели выполняются, то модель

(3.61)

называется обобщенной линейной моделью.

Напомним, что формула для расчета вектора - столбца неиз­вестных параметров с помощью обычного МНК в матричной форме имеет вид.

Сущность обобщенного метода наименьших квадратов со­стоит в том, чтобы устранить нарушения предпосылок МНК, «скорректировав» расчеты параметров уравнения регрессии с учетом значений ковариационной матрицы остатков. Такая «корректировка» может быть проведена с использованием формулы

), (3.62)

где — ковариационная матрица остатков.

Доказательство эффективности оценок, полученных с помо­щью обобщенного МНК (ОМНК), содержатся в теореме Айткена.

Теорема Айткена.В классе линейных несмещенных оценок вектораAдля обобщенной линейной модели оценкаимеет наименьшую ковариационную матрицу.

Следовательно, ОМНК- оценка является несмещенной. Ковариационная матрица случайных остатков является невырожденной симметричной матрицей, поэтому она мо­жет быть представлена через некую невырожденную матри­цуР следующим образом:

= РР^Т. (3.63)

В свою очередь, обратная матрица может быть выра­жена как

(3.64)

Запишем формулу оценок параметров линейной регрессии по ОМНК, используя вместо матрицы матрицуР.

(3.65)

Если произвести замену переменных

(3.66)

то оценка будет иметь вид оценки параметров по обычно­му МНК:

(3.67)

Иначе говоря, если преобразовать переменные X и Y по фор­мулам, то применение к ним обычного МНК приведет к тому же результату, что и применение ОМНК к исходным переменным.

Преобразование переменных приводит к следующе­му виду обобщенной модели регрессии:

Получены два способа приме­нения ОМНК: с использованием ковариационной матрицы остатков и формулы (3.62) и с использованием матрицыР и модели с преобразованными переменными (3.65), для реше­ния которой достаточно применить обычный МНК.

Если предпосылки МНК о гомоскедастичности и некорре­лированности остатков выполняются, то матрица превра­щается в скалярную и обобщенный метод наименьших ква­дратов дает тот же результат, что и обычный МНК.

Основная проблема, возникающая при использовании ОМНК, заключается в том, что фактические значения элементов ма­трицы неизвестны. Поэтому для применения этого метода используют ихоценки, полученные на основе исследования имеющихся в распоряжении данных. В этом случае говорят о доступном ОМНК.

Для оценки элементов ковариационной матрицы остатков выдвигают разные предположения об их характере и структуре.

Как правило, считают, что гетероскедастичность остатков присуща данным пространственных выборок, а автокорре­ляция остатков — временным рядам. Поэтому в зависимости от характера исходных данных часто предполагают или гетеро­скедастичность остатков при условии отсутствия автокорреля­ции, или их автокорреляцию при условии гомоскедастичности.

Если остатки только гетероскедастичны, ковариационная матрица остатков

(3.68)

Таким образом, следует дать оценку не всем элементам матри­цы , а только еепэлементам, стоящим на главной диагонали.

Обобщенный метод наименьших квадратов можно с учетом матрицы (3.568 записать в виде системы нормальных уравнений

В данной системе переменные и их попарные произведения называют еще

методом взвешенных наименьших квадратов. Подчеркнем, что весовой коэффициент значений исходных переменных х и у для каждого номера наблюдения будет свой. То есть для первого наблюдения все переменные делятся на , для второго — на, для последнего,n-го на­блюдения,— на.

В качестве оценок дисперсий случайных остатков можно использовать квадраты остатков, полученных при применении обычного МНК.

Процедура применения ОМНК в данном случае предпола­гает следующие шаги:

к исходным данным применяется обычный МНК и вычи­сляются случайные остатки ;

делаются предположения относительно функциональ­ной зависимости дисперсии случайных остатков от ка­ких-либо переменных:

(3.69)

В качестве функции, может, например, использоваться фун­кция по тесту Уайта

или любая другая аналогичная функция;

с помощью МНК находят параметры модели (3.69), ис­пользуя в качестве фактических значений зависимой переменной случайные остатки , найденные на пер­вом шаге;

по модели (3.69 рассчитывают выровненные значения случайных остатков . Эти значения рассматривают как оценки неизвестных дисперсий случайных остатков, т.е. диагональных элементов матрицы (3.68);

определяют параметры множественной линейной рег­рессии с помощью ОМНК в зависимости от алгоритма, выбранного для расчета параметров: по формуле (3.46) или с использованием преобразованных переменных с применением к ним обычного МНК. В последнем слу­чае возникает вопрос о виде матрицы (Р^-1).

Так как в рассматриваемом случае матрица имеет только диагональные элементы, то обратная к ней матрицатак­же является диагональной и имеет вид

Тогда матрица равна

С учетом преобразования переменных уравнение множе­ственной линейной регрессии будет иметь вид

Отметим, что полученное уравнение регрессии не имеет свободного члена.

Применение ОМНК для случая гетероскедастичности остат­ков еще более упрощается, если предполагается зависимость дисперсии случайных остатков от квадратов значения ка­кой-то одной переменной :

,

где - номер наблюдения;j – номер переменной.

В этом случае ковариционная матрица остатков будет иметь вид

Диагональные элементы матрицы Q уже известны и равны квадратам фактических значений переменной . Постоянный множительпри расчётах по формуле (3.46) сокращается, поэтому матрицуможно заменить матрицейбез этого множителя

.

Матрица в этом случае равна

.

Использование значений какой-либо независимой перемен­ной в качестве основы для оценки ковариационной матрицы остатков позволяет дать экономическую интерпретацию ре­зультатов, полученных по ОМНК.

Как было выявлено ранее, случайные остатки в модели рег­рессии

гетероскедастичны, корень из дисперсии случайных остат­ков и значения независимой переменной х₃связаны линейно. То есть мы можем предположить, что.

В этом случае можно применить метод взвешенных наи­меньших квадратов, разделив каждую переменную, входя­щую в уравнение регрессии, на соответствующее значение переменной х₃:

Преобразование переменных затронет также столбец мно­жителей - единиц при свободном члене

Модель с преобразованными переменными будет иметь вид

или

Ниже приведена табл. 3.9, содержащая преобразованные переменные по данным примера 1.

Преобразование переменных при применении ОМНК для модели регрессии поступления налогов от количе­ства занятых, объема отгрузки в обрабатывающих про­изводствах и производства энергии

Таблица 3.9

№ п/п	Субъект РФ
1	Республика Ингушетия	1,940	0,00136	0,146	0,363
2	Еврейская автономная область	1,240	0,00049	0,040	1,404
3	Республика Тыва	1,300	0,00049	0,050	0,213
4	Республика Алтай	2,351	0,00085	0,074	1,044
5	Карачаево-Черкесская Республика	0,783	0,00023	0,044	2,555
6	Республика Калмыкия	2,618	0,00067	0,082	0,621
7	Республика Адыгея	1,467	0,00033	0,062	4,188
8	Республика Северная Осетия — Алания	1,769	0,00030	0,098	3,323
9	Магаданская область	0,838	0,00012	0,012	0,299
10	Кабардино-Балкарская Республика	1,312	0,00017	0,061	3,041
11	Республика Хакасия	0,525	0,00006	0,014	2,248
12	Чукотский автономный округ	1,496	0,00016	0,005	0,085
13	Республика Марий Эл	1,332	0,00013	0,043	6,166
14	Псковская область	1,799	0,00018	0,057	5,687
15	Чеченская Республика	1,656	0,00016	0,058	0,094
16	Республика Карелия	0,773	0,00007	0,023	2,721
17	Курганская область	0,996	0,00008	0,032	3,168
18	Республика Мордовия	1,650	0,00014	0,060	8,959
19	Костромская область	0,579	0,00005	0,016	2,415
20	Камчатский край	1,025	0,00008	0,015	0,884
21	Орловская область	1,363	0,00010	0,039	3,963
22	Ивановская область	0,724	0,00005	0,027	2,316
23	Республика Дагестан	1,127	0,00008	0,088	1,673
24	Тамбовская область	1,494	0,00011	0,052	5,013
25	Новгородская область	1,877	0,00011	0,036	9,002
26	Республика Бурятия	1,438	0,00008	0,031	2,367
27	Смоленская область	0,435	0,00002	0,012	1,795
28	Курская область	0,457	0,00002	0,012	1,538
29	Забайкальский край	1,494	0,00007	0,035	0,578
30	Липецкая область	1,226	0,00006	0,033	13,218
31	Ульяновская область	1,297	0,00006	0,038	4,646
32	Пензенская область	1,776	0,00008	0,053	5,912
33	Кировская область	1,030	0,00005	0,033	3,651
34	Чувашская Республика	1,278	0,00006	0,036	5,033
35	Астраханская область	2,167	0,00009	0,045	3,283
36	Брянская область	2,242	0,00010	0,054	5,437
37	Амурская область	1,435	0,00006	0,025	0,994
38	Калужская область	2,315	0,00010	0,051	15,601
39	Тульская область	1,131	0,00004	0,031	7,468
40	Вологодская область	1,210	0,00004	0,027	10,193
41	Алтайский край	1,202	0,00004	0,045	4,644
42	Тверская область	0,717	0,00002	0,015	2,294
43	Белгородская область	1,740	0,00005	0,040	12,444
44	Владимирская область	1,626	0,00005	0,034	7,110
45	Мурманская область	0,999	0,00003	0,014	1,427
46	Воронежская область	0,920	0,00003	0,027	3,200
47	Рязанская область	1,527	0,00004	0,022	3,991
48	Калининградская область	2,407	0,00006	0,030	9,565

По преобразованным данным получена следующая модель:

Все коэффициенты полученной модели значимы (таблич­ное значение критерия Стьюдента равно 2,015 (= 0,05;df= = 44)). В данном уравнении параметр при пе­ременной является свободным членом исходной моде­ли, а параметр, равный 0,723, — коэффициентом регрессии при переменной. Таким образом, в исходном виде уравне­ние регрессии будет иметь вид

Сопоставив полученное уравнение с исходным

можно отметить существенное изменение практически всех параметров.

Анализ случайных остатков нового уравнения также проведем по тесту Гольфельда – Квандта. Все расчётные значения критерия Фишера получились меньше критического, следовательно нет оснований отвергнуть гипотезу о гомоскедастичности остатков.