ЭКОНОМЕТРИКА и математическая экономика / Анатольев С. Эконометрика для продолжающих. РЭШ. 2002

Поэтому при бутстрапе нужно помнить про рецентрирование. Итак, инструменталь-

ная оценка есть

2SLS = (: : :) 1 Xxizi0

Xzizi0

1 Xziyi;

а е¼ бутстраповский

b

аналог

2SLS

= (: : : ) 1 Xxi zi0 Xzi zi0 1 Xzi yi Xziei

:

b

b

Соответственно,

Xzizi0

Xzizi0ei2

Xzizi0

Xzixi0

(: : :) 1;

V2SLS = n(: : :) 1 Xxizi0

1

1

b

1

xi zi0

zi zi0

1

b

zi zi0

1

1

V2SLS = n(: : : )1

n

ui ui0

zi xi0

(: : : )

:

Здесь

n

X

X

X

X

X

b ui = zi ei

j=1 zjej.

b

P

b

6Инструментальные переменные во временных рядах

Рассмотрим следующую модель временного ряда:

yt = x0t + et; E[etjIt 1] = 0; It 1 = fyt 1; yt 2 : : : ; xt; xt 1; : : :g:

Возьм¼м вектор инструментов

zt = (yt 1; yt 2; : : : ; yt ly ; x0t; x0t 1; : : : ; x0t lx )0:

Он валидный, так как все элементы принадлежат It 1, è

E[etjzt] = E[E[etjIt 1]jzt] = 0:

При таким образом выбранном инструменте инструментальная оценка b2SLS ñîâ-

падает с МНК-оценкой (упражнение: почему?), и, соответственно, обладает теми же свойствами. Поэтому в данной задаче обычно используют расширение инструментальных оценок оценки обобщенного метода моментов. То же самое справедливо и в более общей модели, допускающей автокорреляцию ошибок:

yt = x0t + et; E[etjIt q] = 0; zt = fyt q; : : : ; yt ly ; x0t; : : : ; x0t lx g0:

VI Оценивание нелинейной регрессии среднего

1Нелинейность по отношению к регрессорам

Пусть условное среднее E[yjx] = g(x; ) для некоторой нелинейной функции g( ; ). Â

этом случае мы имеем дело с нелинейной моделью. Тем не менее, существуют случаи нелинейностей, сводящиеся к линейному случаю с помощью трансформаций.

51

Пусть g(x; ) нелинейна по регрессорам x и линейна по параметрам , тогда можно выполнить такую трансформацию x ! z, ÷òî E[yjz] = z0 .

Пример 1. Пусть условное среднее выражается нелинейной функцией от регрессоров следующего вида:

g(x; ) = 0 + 1x1 + 2x2 + 3x1x2 + 4x21 + 5x22:

Тогда подходящей трансформацией будет:

z = (1; x1; x2; x1x2; x21; x22)0:

Пример 2. Условное среднее выражается нелинейной функцией регрессоров следующего вида:

g(x; ) = 0 + 1x + 2x2 + + pxp:

Соответствующая трансформация регрессоров:

z = (1; x; : : : ; xp):

Необходимо отметить о сложности в интерпретации коэффициентов. Маржинальное влияние регрессора x åñòü

@g(x; ) = 1 + 2 2x + + p pxp 1: @x

Неясно, какое x подставлять в данную формулу, чтобы получить численное значение.

Можно оценить в каком-то конкретном x, которое определяется из контекста задачи,

или использовать среднее значение x, или же оценить в средних значения трансфор-

мированных регрессоров x; x2; : : : ; xp 1. В любом случае коэффициенты 1; 2; : : : ; p

сами по себе не имеют экономического смысла. Имеет смысл только их определ¼нные комбинации.

Линейными по-существу моделями называются такие, которые, несмотря на обманчивую нелинейность, можно преобразовать к линейному виду. Рассмотрим такой пример:

y = AK L1 exp(e); E[ejA; K; L] = 0:

Здесь логарифмическая трансформация модели сводит ее к линейному случаю:

E[log Y j log A; log K; log L] = log A + log K + (1 ) log L:

52

i=1

Ясно, что явное аналитическое выражение для b получить в общем случае невоз- можно, поэтому для нахождения НМНК-оценок пользуются численными методами.

53

g(xi; b))g (xi; b) = 0:

2Нелинейные регрессионные модели

В данной главе мы рассмотрим нелинейные модели, которые не приводятся к линейным, т.е.

E[yjx] = g(x0 ) 6= z0

для любой функции z(x).

Примеры.

x

g(x; ) = 1 + 2 1 + 3x

g(x; ) = 1 + 2e 3x

g(x; ) = ( 1 + 2x1)1[x2 3] + ( 4 + 5x1)1[x2 > 3]

Пусть функция g(x; ) дифференцируема по обоим аргументам.

@g(x; )

Определение. Величина @ 0 = g (x; ) называется квазирегрессором. В обычной линейной регрессии

g(x; ) = x0 ) g (x) = x;

т.е. квазирегрессор не зависит от параметра . Однако в общем случае квазире-

грессоры зависят от параметров модели. Этот факт усложняет определ¼нные этапы оценивания и инференции.

3Оценивание нелинейным методом наименьших квадратов

Нам известно, что параметр есть решение минимизационной задачи

= arg minE[(y g(x; b))2]:

b

Используя принцип аналогий, получим оценку нелинейного метода наименьших ква-

дратов (НМНК) :

n

= arg min 1 X(yi g(xi; b))2:

b n

i=1

Условие первого порядка есть

n

1 X

n

(yi

Получение НМНК-оценки методом концентрации.

Одним из численных методов получения НМНК-оценки является метод концентрации. Разделим параметры задачи на две группы, удовлетворяющие условиям

= ( 10 ; 20 )0; g(x; ) = 10 x( 2):

Грубо говоря, условное среднее линейно по параметрам 1 и нелинейно по парамет-

ðàì 2. Кроме того, предполагается, что число параметров 2 невелико, чтобы можно было быстро бегать по их сетке.

Пример. В качестве примера приведем следующую модель:

g(x; ) = 1 + 2e 3x:

Тогда соответствующее разделение параметров следующее:

1 = ( 1; 2)0; 2 = 3 ) x( 2) = (1; e 3x)0:

В подобных случаях используется двухуровневая процедура оценивания парамет-

ðîâ:

= arg 2

" 1

n

=1 (

i

1

i(

2))

#

min

min

1

n

y

0 x

2

:

Xi

b

1.	При фиксированном параметре 2 параметр 1 оценивается с помощью МНК:
	b1( 2) = (X0( 2)X( 2)) 1X0( 2)Y; X( 2) = (x1( 2); : : : ; x2( 2))0:
2.	Численно решается оптимизационная задача									#
	2 = arg	2	"n	=1 (	i	1	i(		2))
		min	1	n	y	0 x			2	:
				Xi
	b					b

Поскольку размерность 2 маленькая, то оптимум легко находится на сетке.

Приведем алгоритм метода концентрации.

Для параметра 2 на некотором интервале [ 2; 2] строится сетка.

Для каждого 2 на этой сетке оценивается b1( 2) с помощью МНК и вычисля-

ется целевое значение 1	n	(yi 1( 2)0xi( 2))2	.
n	Pi=1
		b

Из всех значений 2 на сетке выбирается то, для которого целевое значение наименьшее.

54

Если необходимо, в окрестности полученного значения 2 строится более мелкая сетка, и процедура повторяется.

Получение НМНК-оценки методом линеаризации. Другим численным ме-

тодом получения НМНК-оценки является линеаризация условия первого порядка.

Допустим, что b1 начальное предположение о численном значении оцениваемых параметров. Тогда с помощью линеаризации предлагается итеративная процедура

перехода bj ! bj+1. Эта процедура продолжается до тех пор, пока для достаточно

малого " не будет выполнено условие jbj+1 bjj < ". Более детально: линеаризованное условие первого порядка для НМНК-оценки есть

n

1 X

n

(yi g(xi; bj) g (xi; bj)(bj+1 bj))g (xi; bj) 0:

i=1

Вводя обозначение

dj =	=1 g (xi; j)g (xi; j)0!			1	i=1 g (xi; j)(yi g(xi; j));
	n	b	b		n	b	b
	Xi				X

имеем итеративную процедуру в виде

bj+1 = bj + dj:

Åñëè dj слишком велико (процедура не сходится), то выбирается некоторое j 2 [0; 1], такое, чтобы целевая функция была минимальной, а процедура модифицируется как

bj+1 = bj + jdj:

4Асимптотические свойства НМНК-оценки

Определение. Говорят, что задача удовлетворяет условию идентификации, если b = тогда и только тогда, когда g(x; ) = g(x; b) с вероятностью 1.

Если это условие выполнено, то ввиду тожества

E[(y g(x; b))2] = E[(y g(x; ))2] + E[(g(x; ) g(x; b))2]

минимизатор левой части равен истинному значению параметра и определ¼н однозначно.

Примеры.

Рассмотрим линейную модель. Пусть матрица Qxx = E[xx0] невырождена. Тогда при 6= b выполняется соотношение:

E[(x0 x0b)2] = ( b)0Qxx( b) > 0:

Следовательно, x0 6= x0b с вероятностью 1.

55

Рассмотрим теперь пример, где нет идентификации:

g(x; ) = 1 + 2e 4+ 3x = 1 + elog 2+ 4+ 3x:

Идентифицировать параметры 2 è 4 одновременно невозможно.

Определение. Последовательность случайных функций fzi( )gni=1 удовлетворяет равномерному закону больших чисел (РЗБЧ), если

1

n

1

n

p

Xi

X

kn

( )

n

i

k !

0:

i

sup

z

p lim

z

( )

=1

i=1

Лемма. Если последовательность fzi( )gni=1 удовлетворяет РЗБЧ и

1	n	p	1	n
	Xi	b		X
n	=1	zi( n) ! p lim	n	zi( ):
				i=1

p

bn ! , òî

Доказательство. Запишем последовательность неравенств, воспользовавшись РЗБЧ и теоремой Манна-Вальда:

n

zi( n) p lim n

zi( )

1

n

1

n

i=1

i=1

X

b

X

1

n

1

n

1

n

1

n

z

(

)

p lim

z

( )

+

p lim

z

( )

p lim

z

( )

n

n

n

n

i=1

i

n

i=1

i

i=1

i

i=1

i

n

n

X

n b

X

X

X

n

n

n

1

1

b

1

b

1

i

i( )

+

lim

i

( )

i

( )

n

i=1

n

i=1

n

i=1

n

i=1

n

sup

X

z ( )

p lim

X

p

X

z

p lim

X

z

z

p

0:

!

b

Как следствие, при выполнении РЗБЧ для соответствующих слагаемых имеем состоятельность следующих оценок:

	1		n		p	1		n		p
ãäå	b		X	b		b		Xi	b	b
	Qe2xx = n		i=1	xixi0ei2	! Qe2xx; Qgg = n			=1	g (xi; )g (xi; )0 ! Qgg;

Qgg = E[g (x; )g (x; )0]:

Теорема. Пусть выполнены следующие требования:

1.Выполнено условие идентификации;

2.Функция g(x; ) дважды непрерывно дифференцируема по b;

3.Для следующих последовательностей выполняется РЗБЧ:

(yi g(xi; ))2; g (xi; )g (xi; )0; (yi g(xi; ))	@g (xi; )	;
	@ 0

56

4.Матрица Qgg = E[g (x; )g (x; )0] невырождена;

5.Матрица Qe2gg = E[g (x; )g (x; )0e2] существует.

Тогда НМНК-оценка состоятельна и асимптотически нормальна:

p	p		d	1	2	1
b ! ;		n(b ) ! N(0; Qgg			Qe ggQgg ):

Доказательство.

1. Состоятельность: Для любого " > 0 с вероятностью, стремящейся к 1 при

n ! 1, имеем:

1

n

1

n

"

Xi

b

X

n

(yi g(xi; ))2 <

n

(yi g(xi; ))2 +

3

;

=1

i=1

так как оценка

минимизирует

1

n

2

:

Поскольку РЗБЧ выпол-

няется для (yi

n

g(xi; ))2,

Pi=1(yi g(xi; b))

b

1

n

"

b

Xi

b

E[(yi g(xi; ))2] <

n

(yi g(xi; ))2 +

3

:

=1

Аналогично,

n

1

"

Xi

n

(yi g(xi; ))2 < E[(yi g(xi; ))2] + 3:

=1

Суммируя эти три неравенства, получаем:

E[(y g(xi; b))2] < E[(y g(xi; ))2] + ":

Теперь определим ". Для этого выберем открытую окрестность , N( ). Ïî-

скольку решает задачу на минимум, должно быть выполнено следующее соотношение:

inf E[(y g(x; b))2] > E[(y g(x; ))]:

b2N( )c

Выберем следующее ":

"	inf		E[(y		g(x; b))2]		E[(y		g(x; ))];
	= b	N( )c
	2

тогда выполнено следующее соотношение:

E[(y		g	x; 2	<	inf
		(	b)) ]		b2N( )c

что означает, что b 2 N( ). Следовательно,

E[(y g(x; b))2];

p

b ! .

57

2. Асимптотическая нормальность: Разложим условие первого порядка в ряд Тэйлора вокруг :

1

n

Xi

n

(yi g(xi; ))g (xi; ) +

+ n

=1

@ i0

g (xi; )g (xi; )0#

( ) = 0;

=1 "(yi g(xi; ))

1

n

@g (x ; )

Xi

n

e

b

b

e

e

b

ãäå

лежит между

покомпонентно. Следовательно,

1

1

@g (x ; )

pn( ) = (n

è

"(yi g(xi; ))

g (xi; )g (xi; )0#)

=1

@ i0

b

Xi

b

b

e

e

1

n

d

Xi

p

(yi g(xi; ))g (xi; ) !

n

=1

d

@g (x; )

1

! E (yi g(xi; ))

g (x; )g (x; )0

N (0; Qe2gg)

@ 0

= N Qgg1Qe2qqQgg1 :

Теорема доказана.

Рассмотрим специальный случай условной гомоскедастичности:

E[e2jx] = 2 = const:

Как и для линейной модели, имеет место упрощение:

2	2	Qgg	p		d	2	1
Qe	gg =		)	n(b ) ! N(0;			Qgg ):

5Асимптотическая эффективность и ВНМНК-оценка

НМНК-оценку можно рассматривать как аналоговую оценку, полученную из условия E[eg (x; )] = 0. Можно построить другую аналоговую оценку, несколько изменив условие нескоррелированности:

	E e	g (x; )		= 0:
		2(x)

Это условие следует из регрессионного предположения. Согласно принципу аналогий

n

1 X

n

(yi

i=1

g(xi; ))	g (xi; )	= 0:
	2(xie)
e

58

Решение , полученное из этого уравнения, является оценкой взвешенного нелиней-

íîãî

e

метода наименьших квадратов (ВНМНК-оценкой). Она решает минимизацион-

ную задачу

1 n

= arg min

(yi g(xi; b))

;

Xi

состоятельна и

e

2(xi)

b

n

=1

асимптотически нормальна:

p

p

d

1

e ! ;

n(e ) ! N(0; Q 2 );

gg

Q 2

= E

g (x; )g (x; )0

:

2(x)

gg

В условиях условной гетероскедастичности ВНМНК-оценка более асимптотически эффективна по сравнению с НМНК, точно так же как ОМНК по сравнению с МНК

для линейной регрессии. Можно ещ¼ утверждать, что ВНМНК-оценка e является

асимптотически эффективной в классе оценок, удовлетворяющих условию

n

1 X

n

(yi g(xi; bIV ))zi = 0;

i=1

ãäå zi произвольная функция от xi, имеющая ту же размерность k 1.

6Приложение: модель бинарного выбора

Рассмотрим следующую нелинейную модель:

yi = (	0	иначеi0	; i	eijxi N(0; 1):
	1	x + e		0;

Найд¼м форму регрессии:

E[yjx] = P fx0 + e 0jxg = P fe x0 jxg = (x0 ):

Видно, что регрессия нелинейная. НМНК-оценка в этом случае есть

n

b = arg min 1 X(yi (x0ib))2

b n

i=1

с асимптотическими свойствами

p	p		d	1	2	1
b ! ;		n(b ) ! N(0; Qgg			Qe ggQgg );

ãäå

g (x; ) = f(x0 )x; Qgg = E[f(x0 )2xx0]; Qe2gg = E[f(x0 )2(y (x0 ))2xx0]:

59

Асимптотически эффективная ВНМНК-оценка есть

e	1	n	(y			(x0b))2
		Xi	b					b
= arg min				i				i	;
b	n	=1 (xi0 )(1						(xi0 ))

èáî

2(x) = V ar[yjx] = (x0 )(1 (x0 )) 6= const:

Выведем е¼ асимптотические свойства:

! ;

pn( ) ! N

0; E

(x0 )(10

(x0

0

))

!

:

p

d

f(x )2xx

1

e

e

7Инференция при неидентифицированности некоторых параметров при нулевой гипотезе

В нелинейных моделях может сложиться особая ситуация, когда тестирование статистических гипотез нестандартно. Рассмотрим два примера.

Пример 1. Регрессия с гладкими порогами:

y = ( 1 + 2x) + ( 3 + 4x)	1	+ e; E[ejx] = 0:
	1 + ex 5

Если нулевая гипотеза состоит в том, что 3 = 4 = 0 (т.е. тестируется линейность модели), то при этой нулевой гипотезе параметр 5 неидентифицируем.

Пример 2. Рассмотрим следующую разновидность ARCH-M модели:

yt = 0 + x0t 1 + t2 + et; E[etjIt 1] = 0; E[e2t jIt 1] = t2 = 0 + 1e2t 1:

Если нулевая гипотеза состоит в отсутствии ARCH эффекта, т.е. H0 : 1 = 0, то при нулевой гипотезе параметр неидентифицируем, так как условная дисперсия

постоянна и е¼ влияние поглощается свободным членом 0.

В таких ситуациях стандартная тестовая статистика (например, t или Вальдовская) асимптотически распределена не так, как мы привыкли, т.е. не как стандартно нормальная или хи-квадрат случайная величина. Вот как обычно решается подобная

проблема. Пусть = ( 10 ; 20 )0, ãäå 1 идентифицируется при нулевой гипотезе, а 2

нет. Построим Вальдовскую статистику W ( 2) для всех возможных значений 2. Тогда суп-Вальдовская статистика

sup W = supW ( 2)

2

сходится к некоторому нестандартному распределению, которое получают с помощью симуляций.

Помимо привед¼нных выше, примерами являются тестирование на линейность самовозбуждающихся пороговых авторегрессий и тестирование на отсутствия структурных сдвигов.

60