Ведение в социально - экономическую статистику. Учебник. Новосибирск, 2004. 739 с

8.5. Метод инструментальных переменных

273

Это означает, что

M 0α = 0.

Рассуждая так же, как при доказательстве соотношения (8.7), легко установить,

что

E(M ) = M 0 + σ2Ω,

(M — фактическая матрица ковариации X ) т.е.

(E(M ) − σ2Ω)α = 0.

Таким образом, если считать, что Ω известна, а σ2 — минимизируемый параметр (в соответствии с логикой МНК), то решение задачи

(M − σ2Ω)a = 0, σ2 → min!

даст несмещенную оценку вектора α . А это, как было показано в пункте 6.4, есть задача регрессии в метрике Ω−1 (см. (6.37)). Преобразованием в пространстве переменных она сводится к «обычной» ортогональной регрессии.

Т.е. если для устранения последствий нарушения гипотезы g4 используется преобразование в пространстве наблюдений, то при нарушении гипотезы g2 надо «работать» с преобразованием в пространстве переменных.

Несмотря на то, что методы ортогональной регрессии и регрессии в метрике Ω−1 в наибольшей степени соответствуют реалиям экономики (ошибки есть во всех переменных, стоящих как в левой, так и в правой частях уравнения регрессии), они мало используются в прикладных исследованиях. Основная причина этого заключается в том, что в большинстве случаев невозможно получить надежные оценки матрицы Ω. Кроме того, ортогональная регрессия гораздо сложнее простой с вычислительной точки зрения, и с теоретической точки зрения она существенно менее изящна и прозрачна.

В следующем параграфе излагается еще один метод, который позволяет решить проблему ошибок в переменных (и в целом может использоваться при любых нарушениях гипотезы g2).

8.5. Метод инструментальных переменных

Предполагаем, что в регрессии x = zα + ε переменные-факторы z являются случайными, и нарушена гипотеза g2 в обобщенной формулировке: ошибка ε зависит от факторов z, так что корреляция между z и ошибкой ε не равна нулю. Такую

274	Глава 8. Нарушение гипотез основной линейной модели

регрессию можно оценить, имея набор вспомогательных переменных y, называемых инструментальными переменными. Часто инструментальные переменные называют просто инструментами.

Для того, чтобы переменные y можно было использовать в качестве инструментальных, нужно, чтобы они удовлетворяли следующим требованиям:

1)Инструменты y некоррелированы с ошибкой ε. (В противном случае метод даст несостоятельные оценки, как и МНК.) Если это условие не выполнено, то такие переменные называют негодными инструментами4.

2)Инструменты y достаточно сильно коррелированы с факторами z. Если данное условие не выполнено, то это так называемые «слабые» инструменты. Если инструменты слабые, то оценки по методу будут неточными и при малом количестве наблюдений сильно смещенными.

Обычно z и y содержат общие переменные, т.е. часть факторов используется в качестве инструментов. Например, типична ситуация, когда z содержит константу; тогда в y тоже следует включить константу.

Пусть имеются N наблюдений, и X , Z и Y — соответствующие данные в матричном виде. Оценки по методу инструментальных переменных (сокращенно IV от англ. instrumental variables) вычисляются по следующей формуле:

aIV = Z Y Y Y −1 Y Z −1

Z Y Y Y −1 Y X.

(8.8)

В случае, если количество инструментальных переменных в точности равно количеству факторов, ( rank Y = n + 1) получаем собственно классический метод инструментальных переменных. При этом матрица Y Z квадратная и оценки вычисляются как

aIV = Y Z −1 Y Y Z Y −1 Z Y Y Y −1 Y X.
Средняя часть формулы сокращается, поэтому
aIV = Y Z −1 Y X.	(8.9)

Рассмотрим вывод классического метода инструментальных переменных, т.е. случай точной идентификации (ср. с (6.15) в главе 6):

Умножим уравнение регрессии x = zα + ε слева на инструменты y (с транспонированием). Получим следующее уравнение:

y x = y zα + y ε.

4В модели ошибок в переменных ошибка регрессии имеет вид ε − εz α, где ε — ошибка в исходном уравнении, а εz — ошибка измерения факторов z . Чтобы переменные y можно было использовать в качестве инструментов, достаточно, чтобы y были некоррелированы с ε и εz .

8.5. Метод инструментальных переменных

275

Если взять от обеих частей математическое ожидание, то получится

E(y x) = E(y zα),

где мы учли, что инструменты некоррелированы с ошибкой, E(y ε) = 0.

Заменяя теоретические моменты на выборочные, получим следующие нормальные уравнения, задающие оценки a:

Myx = Myz a,

где Myx = N1 Y X и Myz = N1 Y Z. Очевидно, что эти оценки совпадут с (8.9). Фактически, мы применяем здесь метод моментов.

Метод инструментальных переменных можно рассматривать как так называемый двухшаговый метод наименьших квадратов. (О нем речь еще пойдет ниже в пункте 10.3.)

1-й шаг. Строим регрессию каждого фактора Zj на Y . Получим в этой регрессии расчетный значения Zjc. По формуле расчетных значений в регрессии

Zjc = Y (Y Y )−1 Y Z. Заметим, что если Zj входит в число инструментов, то по этой формуле получим Zjc = Zj , т.е. эта переменная останется без изменений. Поэтому данную процедуру достаточно применять только к тем факторам, которые не являются инструментами (т.е. могут быть коррелированы с ошибкой). В целом для всей матрицы факторов можем записать Zc = Y (Y Y )−1 Y Z.

2-й шаг. В исходной регрессии используются Zc вместо Z. Смысл состоит в том, чтобы использовать факторы «очищенные от ошибок».

Получаем следующие оценки:

a2M = Zc Zc −1 Zc x =

= Z Y Y Y −1 Y Y Y Y −1 Y Z −1 Z Y Y Y −1 Y x = = Z Y Y Y −1 Y Z −1 Z Y Y Y −1 Y x = aIV .

Видим, что оценки совпадают.

Если записать оценки в виде aIV = (Zc Z)−1 Zc x, то видно, что обобщенный метод инструментальных переменных можно рассматривать как простой метод инструментальных переменных с матрицей инструментов Zc.

Такая запись позволяет обосновать обобщенный метод инструментальных переменных. Если исходных инструментов Y больше, чем факторов Z, и мы хотим построить на их основе меньшее количество инструментов, то имеет смысл сопоставить каждому фактору Zj в качестве инструмента такую линейную комбинацию исходных инструментов, которая была бы наиболее сильно коррелирована с Zj . Этому требованию как раз и удовлетворяют расчетные значения Zjc.

276	Глава 8. Нарушение гипотез основной линейной модели

Другое обоснование обобщенного метода инструментальных переменных состоит, как и выше для классического метода, в использовании уравнений E(y x) = = E(y zα). Заменой теоретических моментов выборочными получим уравнения Myx = Myz a, число которых больше числа неизвестных. Идея состоит в том, чтобы невязки Myx − Myz a были как можно меньшими. Это достигается минимизацией следующей квадратичной формы от невязок:

		(Myx − Myz a) Myy−1(Myx − Myz a),
где Myy =	1	Y Y . Минимум достигается при
	N
		a = Mzy M −1Myz	−1	Mzy M −1Myx.
		yy		yy

Видим, что эта формула совпадает с (8.8). Эти рассуждения представляют собой применение так называемого обобщенного метода моментов, в котором количество условий на моменты может превышать количество неизвестных параметров.

Чтобы можно было использовать метод инструментальных переменных на практике, нужна оценка ковариационной матрицы, с помощью которой можно было бы вычислить стандартные ошибки коэффициентов и t-статистики. Такая оценка имеет вид

MaIV = s2 Zc Zc −1 .

Здесь s2 — оценка дисперсии ошибок σ2, например s2 = e e/N или s2 = = e e/(N − 1). Остатки рассчитываются по обычной формуле e = x − ZaIV . (Здесь следует помнить, что остатки, получаемые на втором шаге тут не годятся, поскольку они равны x − ZcaIV . Если использовать их для расчета оценки дисперсии, то получим заниженную оценку дисперсии и ковариационной матрицы. Отсюда следует, что из регрессии второго шага можно использовать только оценки коэффициентов. Стандартные ошибки и t-статистики требуется пересчитывать.)

Обсудим теперь более подробно проблему идентификации5.

Чтобы можно было вычислить оценки (8.8), нужно, чтобы выполнялись следующие условия:

1)Матрица инструментов должна иметь полный ранг по столбцам, иначе (Y Y )−1 не существует.

2)Z Y (Y Y )−1 Y Z должна быть невырожденной.

В частности, матрица Z Y (Y Y )−1 Y Z необратима, когда rank Y < rank Z.

Предположим, что матрица факторов Z имеет полный ранг, т.е. rank Z = n+1.

5См. также обсуждение идентификации в контексте систем уравнений ниже в пункте 10.2.

8.5. Метод инструментальных переменных

277

Т.е. если rank Y < n + 1, то уравнение неидентифицируемо, т.е. невозможно вычислить оценки (8.8). Таким образом, количество инструментов (включая константу) должно быть не меньше n + 1 (количество регрессоров, включая константу). Если rank Y > n + 1, то говорят, что уравнение сверхидентицировано. Если количество инструментов равно n + 1, то это точная идентификация.

Если возможен случай сверхидентификации, то это обобщенный метод инструментальных переменных. При точной идентификации ( rank Y = n + 1) получаем собственно классический метод инструментальных переменных.

Таким образом, необходимое условие идентификации имеет следующий вид:

rank Y rank Z(= n + 1).

Это так называемое порядковое условие идентификации, условие на размерность матриц.

Словесная формулировка порядкового условия:

Количество инструментов Y должно быть не меньше количества регрессоров Z (учитывая константу).

Заметим, что можно сначала «вычеркнуть» общие переменные в Z и Y и смотреть только на количество оставшихся. Количество оставшихся инструментов должно быть не меньше количества оставшихся регрессоров.

Почему это только необходимое условие? Пусть, например, некоторый фактор Zj ортогонален Y . Тогда Zjc = 0, и невозможно получить оценки aIV , т.е. данное условие не является достаточным.

Необходимое и достаточное условие идентификации формулируется следующим образом:

Матрица Zc имеет полный ранг по столбцам: rank Zc = n + 1.

Это так называемое ранговое условие идентификации.

Встречаются случаи, когда ранговое условие идентификации соблюдается, но матрица Zc близка к вырожденности, т.е. в Zc наблюдается мультиколлинеарность. Например, если инструмент Zj является слабым ( Zj и Y почти ортогональны), то Zc близка к вырожденности. Один из способов проверки того, является ли инструмент слабым, состоит в анализе коэффициентов детерминации и F -статистик в регрессиях на первом шаге.

278	Глава 8. Нарушение гипотез основной линейной модели

8.6. Упражнения и задачи

Упражнение 1

Таблица 8.1

Z1	Z2	1
26.8	541	1
25.3	616	1
25.3	610	1
31.1	636	1
33.3	651	1
31.2	645	1
29.5	653	1
30.3	682	1
29.1	604	1
23.7	515	1
15.6	390	1
13.9	364	1
18.8	411	1
27.4	459	1
26.9	517	1
27.7	551	1
24.5	506	1
22.2	538	1
19.3	576	1
24.7	697	1

Дано уравнение регрессии X = Zα + ε = −1.410z1 + + 0.080z2 + 56.962 + ε, где ε — вектор-столбец нормальный случайных ошибок с нулевым средним и ковариационной матрицей

E εε = σ2Ω =
				1	ρ	ρ2	· · ·			ρN −1
		σ2		ρ	1	ρ	· · ·			ρN −2
=				ρ2		1				ρN −3 (8.10)
					ρ		· · ·
	1	−	ρ2
				.	.	.	.	.		.
				.	.	.			.	.
				.	.	.				.
				ρN −1	ρN −2	ρN −3 · · ·				1

с ρ = 0.9 и σ2 = 21.611.

Используя нормальное распределение с незасисимыми на-

блюдениями, средним 0			и ковариационной матрицей (8.10),
получите 100	выборок		вектора		ε размерности (N × 1),
k = 1, . . . , 100,	где	N	=	20.	Эти случайные	векторы
потом используйте		вместе		с известным вектором		α =

= (−1.410, 0.080, 56.962) и матрицей регрессоров (табл. 8.1).

Сначала получите ожидаемое значения X0 = Zα, затем, чтобы получить 100 выборок вектора X размерности (20 × 1), добавьте случайные ошибки: X0 + ε = X .

1.1.Рассчитайте невырожденную матрицу D такую, что

D−1D−1 = Ω.

1.2.Найдите истинную матрицу ковариации для МНК-оценки (a = (Z Z)−1 Z X ):

E (a − α) (a − α) =

= E Z Z −1 Z εε Z Z Z −1 =

= σ2 Z Z −1 Z ΩZ Z Z −1

8.6. Упражнения и задачи	279
и истинную матрицу ковариации для ОМНК-оценки
(aомнк = Z Ω−1Z −1 Z Ω−1X ):
E (aомнк − α) (aомнк − α) = σ2 (Z D DZ) = σ2	Z Ω−1Z −1 .
Результат поясните.

1.3.Используйте 10 из 100 выборок, чтобы посчитать по каждой выборке значения следующих оценок:

–МНК-оценки

a = (Z Z)−1 Z X ;

–ОМНК-оценки

aомнк = Z Ω−1Z −1 Z Ω−1X ;

–МНК-оценки остаточной дисперсии

sˆ2	=	(x − Za) (x − Za)			;
e			N − n − 1
– ОМНК-оценки остаточной дисперсии
sˆ2			=	(x − Zaомнк) Ω−1 (x − Zaомнк)			.
ej омнк				N − n		− 1

Объясните результаты.

1.4.Вычислите среднее и дисперсию для 10 выборок для каждого из параметров, полученных в упражнении 1.3 и сравните эти средние значения с истинными параметрами.

1.5.На основе упражнения 1.3 рассчитайте Sa21 омнк, который является первым диагональным элементом матрицы sˆ2e омнк Z Ω−1Z −1 и Sa21 , который является первым диагональным элементом матрицы sˆ2e (Z Z)−1 . Сравните различные оценки Sa21 и Sa21 омнк друг с другом и с соответствующими значениями из упражнения 1.2.

1.6.На основе результатов упражнений 1.3 и 1.5 рассчитайте значения t-статис- тики, которые могут быть использованы для проверки гипотез: H0 : α1 = 0.

1.7.Повторите упражнение 1.3 для всех 100 выборок, постройте распределения частот для оценок и прокомментируйте результаты.

280 Глава 8. Нарушение гипотез основной линейной модели

Упражнение 2

Предположим, есть данные, состоящие из 100 выборок X , по 20 значений в каждой, сгенерированных при помощи моде-

	Таблица 8.2			ли X = Zα + ε = α1z1 + α2z2 + 1N β + ε, где εi — нормально
	z1	z2	1N	и независимо распределенная случайная величина с E (εi) = 0,
				E ε2	= σ2	и σ2 = e(γ1zi2+γ2). Наблюдения за X были полу-
				i	i	i
	13,9	364	1	чены с использованием следующих значений параметров: α =
				= (α1	α2	β) = (	1.410, 0.080, 56.962) и γ = (γ1 γ2)				=
	15,6	390	1
						−
				= (0.25, −2) , а матрица значений факторов, упорядоченных
	18,8	411	1	в соответствии с величиной				z2 , имеет следующий вид (табл.
	27,4	459	1	8.2).
	24,5	506	1	2.1. Найдите матрицу ковариации для
	23,7	515	1		– ОМНК-оценки aомнк = Z Ω−1Z −1 Z Ω−1X ;
	26,9	517	1
					– МНК-оценки a = (Z Z)−1 Z X .
	22,2	538	1
				Что вы можете сказать об относительной эффективности
	26,8	541	1	этих оценок?
	27,7	551	1	2.2. Используйте 10 из 100 выборок, чтобы посчитать по
	19,3	576	1	каждой выборке значения следующих оценок:
					– МНК-оценки a = (Z Z)−1 Z X ;
	29,1	604	1
	25,3	610	1					N	−1	N
					– оценки γ		=	yiyi		yi ln(ei2), где yi	=
	25,3	616	1				i=1			i=1
					= (zi2, 1) и ei = xi − zia;
	31,1	636	1
					– ОМНК-оценки a, используя найденую оценку γ.
	31,2	645	1
				Сравните все эти оценки друг с другом и с соответствую-
	33,3	651	1
				щими истинными значениями.
	29,5	653	1	2.3. На основе упражнения 2.2 рассчитайте Sa21 омнк, кото-
	30,3	682	1	рый является первым диагональным элементом матри-
				цы sˆe2		омнк(Z Ω−1Z)−1 ,		Sa21 , который является первым
	24,7	697	1
				диагональным элементом матрицы sˆ2 (Z Z)−1, а также

e

Sa21 Уайта, который является первым диагональным элементом скорректированной оценки ковариационной матрицы (оценка Уайта или устойчивая к гетероскедастичности оценка). Сравните различные оцен-

ки Sa21 , Sa21 омнк и Sa21 Уайта друг с другом и с соответствующими значениями из упражнения 2.1.

8.6. Упражнения и задачи

281

2.4.На основе результатов упражнений 2.1 и 2.3 рассчитайте значения t-статис- тики, которые могут быть использованы для проверки гипотез H0 : α1 = 0.

2.5.Возьмите те же выборки, что и в упражнении 2.2, и проведите проверку на гетероскедастичность с помощью:

–критерия Бартлета;

–метода второй группы (метод Голдфельда—Квандта) с пропуском 4-х значений в середине выборки;

–метода третьей группы (метод Глейзера).

2.6.Выполните упражнение 2.2 для всех 100 выборок и, используя результаты, оцените математическое ожидание и матрицу среднеквадратических ошибок для каждой оценки. Есть ли среди оценок смещенные? Что можно сказать об относительной эффективности МНК-оценки и ОМНК-оценки?

Упражнение 3

Предположим, есть данные, состоящие из 100 выборок X , по 20 значений в каждой, сгенерированных при помощи модели X = Zα+ε = α1z1 +α2z2 +1N β + + ε, где εi = ρεi−1 + ηi , и η — нормально распределенная случайная величина

	с E (ηi) = 0, E η2	= σ2	. Наблюдения за X были получены с использованием
	i	η		α	−
	следующих значений параметров:
					= (α1 α2 β) = ( 1.410, 0.080, 56.962),

ρ= 0.8 и ση2 = 6.4, а матрица значений факторов взята из упражнения 1.

3.1.Найдите матрицу ковариации для:

–ОМНК-оценки aомнк = Z Ω−1Z −1 Z Ω−1X ;

–МНК-оценки a = (Z Z)−1 Z X .

Что вы можете сказать об относительной эффективности этих оценок?

3.2.Используйте 10 из 100 выборок, чтобы посчитать по каждой выборке значения следующих оценок:

– МНК-оценки a = (Z Z)−1 Z X ;

	N
	eiei−1
– оценку r =	i=2	;
	N
	e2
	i
	i=1

– ОМНК-оценки, используя найденую оценку r.

282	Глава 8. Нарушение гипотез основной линейной модели

Сравните все эти оценки друг с другом и с соответствующими истинными значениями.

3.3.Возьмите те же выборки, что и в упражнении 3.2, и проверьте гипотезу об автокорреляции ошибок.

3.4.Найдите скорректированную оценку ковариационной матрицы, устойчивую к гетероскедастичности и автокорреляции (оценку Ньюи—Уэста).

3.5.Выполните упражнение 3.2 для всех 100 выборок и, используя результаты, оцените математическое ожидание и матрицу среднеквадратических ошибок для каждой оценки. Есть ли среди оценок смещенные? Что можно сказать об относительной эффективности МНК-оценки и ОМНК-оценки?

Упражнение 4

Для уравнения X = Zoα+ε = −1.410z10 +0.080z20 +1N 56.962+ε, z1 = z10 +εz1 , z2 = z20 + εz2 и при предположении, что εi N (0, 21.611), εz1 N (0, 21.700)

и εz2 N (0, 21.800), были генерированы 20 значений выборки. Результаты приведены в таблице 8.3.

Предполагая, что истинная матрица факторов Z0 неизвестна, выполните следующие задания:

4.1.Найдите МНК-оценки a = (Z Z)−1 Z X параметров уравнения регрессии

X = Zα + ε = α1z1 + α2z2 + 1N β + ε.

4.2. Рассчитайте ковариационную матрицу ошибок измерения факторов — W и ковариационный вектор — w и оцените параметры регрессии как

a = (M − W )−1(m − w).

4.3.Найдите оценку через ортогональную регрессию.

4.4.Сравните эти все оценки друг с другом и с соответствующими истинными значениями.

Задачи

1.Какие свойства МНК-оценок коэффициентов регрессии теряются, если ошибки по наблюдениям коррелированы и/или имеют разные дисперсии?

2.Как оцениваются параметры уравнения регрессии, если известна матрица ковариации ошибок и она не диагональна с равными элементами по диагонали?