ЭКОНОМЕТРИКА и математическая экономика / Анатольев С. Эконометрика для продолжающих. РЭШ. 2002

независимых на-

Вальда,								x1		x1	. По теореме Манна
								g x2		= x2
Рассмотрим непрерывно дифференцируемую функцию
			1 1		d	N(0; 1)
	x						;
				2 2	! N(0; 1)
		x

т.е. интересующая нас величина имеет распределение Коши. Применяя же Дельта

Метод, имеем:	G =					@ x2							=			1 ; 1						;
							x1
					@(x1; x2)											2			2
											( 1)
													2
òàê ÷òî																					2
pn x1						1							00; 1 +					2 2				1	:
									d
								! N B
																		1				C
			x	2			2											2
													@									A

5Предельные теоремы для независимых наблюдений

Основными инструментами построения статистических выводов в асимптотическом

подходе являются Законы Больших Чисел (ÇÁ×) è Центральные Предельные Теоре-

мы (ЦПТ). ЗБЧ представляет собой результат о сходимости выборочного среднего к популяционному среднему, ЦПТ дает представление о предельном распределении определенным образом нормированного центрированного выборочного среднего. Существует довольно большое количество формулировок ЗБЧ и ЦПТ. Нас будут интересовать предельные теоремы для двух основных случаев: случай

блюдений и случай стационарных эргодичных временных рядов . Далее приводятся

ЗБЧ и ЦПТ для независимых или серийно нескоррелированных скалярных случайных величин.

Теорема Колмогорова (независимые одинаково распределенные наблюде-

ния). Пусть случайные величины fZng1i=1 независимы и одинаково распределены. Кроме того, пусть существует математическое ожидание EjZij. Тогда

n

1 X

n

i=1

as

Zi ! E[Zi]:

Теорема Колмогорова (независимые неоднородные наблюдения). Пусть слу-

чайные величины							2	1	i2
1	, òî	fZngi1=1 независимы и имеют конечные дисперсии i . Åñëè Pi=1 i2 <
		n	=1	Zi E	"n i=1 Zi#		! 0:
		1	n			1 n	as
			Xi			X

Теорема Чебышева (нескоррелированные наблюдения). Пусть случайные ве-

личины fZng1 Cov(Zi; Zj) = 0 äëÿ i 6= j. Åñëè 1 Pn 2 ! i=1 нескоррелированы, т.е. n2 i=1 i n!1

11

0, òî

n	=1	Zi E	"n i=1 Zi#		! 0:
1	n		1	n	p
	Xi			X

Теорема Линдберга-Леви (независимые одинаково распределенные наблю-

дения). Пусть случайные величины fZng1i=1 независимы и одинаково распределены с математическим ожиданием E[Zi] = и дисперсией V ar[Zi] = 2. Тогда:

p 1 n

X

n n

i=1

!

Z d (0; 2): i ! N

Теорема Ляпунова (независимые неоднородные наблюдения). Пусть слу-

чайные величины fZng1i=1 независимы с математическим ожиданием E[Zi] = i, äèñ-

персией V ar[Zi] = i2	и третьим центральным моментом E[jZi ij3] = i. Тогда,
åñëè				in=1 i)1=3
	(
		(Pi=1 i2)						n!!1
		n P		n		1=2			0;
òî							! N
		P(	in=1 i2)1=2
		i=1(Zi			i)			d	(0; 1):

P

6Асимптотические статистические выводы

Идея построения статистических выводов при помощи асимптотического метода довольно очевидна. Вместо точного распределения оценки берется асимптотическое, на основании которого строятся распределения тестовых статистик.

Пример. Пусть	p
					d	2	):
		n(Zn ) ! N(0;

В данном случае мы имеем дело с выборочным средним Zn, которое согласно ЦПТ имеет асимптотически нормальное распределение. Заметим, что в данном ñлучае распределение зависит от неизвестного параметра 2, поэтому статистика Zn является

асимптотически непивотальной статистикой .

Определение. Статистика называется (асимптотически) пивотальной, если ее (асимптотическое) распределение не зависит от неизвестных параметров.

Возвращаясь к нашему примеру, мы можем получить пивотальную статистику,

построив состоятельную оценку дисперсии b2 :

p

p

(

n )

(Zn )

Z

n

=

n

d

(0; 1);

! N

b

b

12

так как согласно ЦПТ		p					d
			n(Zn )=					, а в силу состоятельности оценки
							! N(0; 1)
2	p
	, = ! 1. Теперь, зная асимптотическое распределение построенной статисти-
b	b

ки можно построить доверительный интервал. Так асимптотический доверительный интервал для будет

Zn pnq1N 2				; Zn + pnq1N 2				:
			(0;1)				(0;1)
		b				b

Предположим теперь, что нам нужно протестировать гипотезу H0 : = 0. Ñî- гласно построенному нами -процентному доверительному интервалу гипотеза будет

отвергаться, если pnjZn

0j= > q1N 2

. В противном случае гипотеза принимает-

b

(0;1)

ся. Осталось построить

состоятельную оценку дисперсии. Оказывается, выборочная

дисперсия будет состоятельной оценкой для дисперсии:

= v

= v

1 n

1

n

)2 p ;

(Zi

Zn)2

(Zi

)2

(Zn

un i=1

un i=1

!

u X

u

X

b t

t

p

p

поскольку из ЗБЧ следует, что 1

n

] = 2 è (Zn )2

n Pi=1(Zi

)2 ! E[(Zi )2

! 0.

7Асимптотика для стационарных временных рядов

До сих пор мы рассматривали асимптотические свойства оценок в случае независимых наблюдений, и если у нас есть последовательность Z1, Z2, Z3, : : :, Zn, ìû могли сказать, что у нас имеется n наблюдений. В случае временных рядов (наблю-

дений во времени) это, вообще говоря, не так. Каждая траектория Z1; Z2; Z3; : : : ; ZT

представляет собой в общем случае одно наблюдение, а из одного наблюдения делать статистические выводы проблематично. Поэтому на природу исходных данных приходится накладывать какую-то структуру. Часто для этого используются пред-

положения о стационарности и эргодичности ряда. Грубо говоря, стационарность

это стабильность распределения Zt во времени, а эргодичность это потеря

памяти , или асимптотическая независимость от начальных данных . Дадим более четкие определения:

Определение. Временной ряд называется строго стационарным, если совместное распределение Zt; Zt 1; : : : ; Zt k не зависит от t для любых k.

Поскольку точное определение эргодичности использует понятия теории меры, дадим интуитивное определение:

Определение . Временной ряд Zt называется эргодичным, если Zt è Zt+k асимпто- тически независимы при k ! 1.

13

также является стационарным и

Приведем примеры различных стационарных или нестационарных и эргодичных или неэргодичных временных рядов.

Пример 1 (стационарные эргодичные ряды).

Zt iid, независимые одинаково распределенные наблюдения,

"t iid(0; 2), сильный белый шум ,

AR(1) : zt = zt 1 + "t, j j < 1,

MA(1) : zt = "t + "t 1.

Пример 2 (нестационарные неэргодичные ряды).

zt = zt 1 + "t, случайное блуждание . Здесь дисперсия наблюдений растет со

временем: V ar(zt) = V ar(zt 1)+ "2, т.е. ряд не может быть стационарен. Кроме

неэргодичен.	t	"i, è ðÿä
	zt = z0 + Pi=1
того, начальные данные не забываются со временем:

Пример 3 (стационарные неэргодичные ряды).

Пусть z N(0; 1) è zt = z + "t, ãäå "t è z независимы. Очевидно, что ряд zt стационарен, но неэргодичен.

Пример 4 (нестационарные эргодичные ряды).

Сезонный ряд: zt = s( ; t) + "t, ãäå s( ; t) = s( ; t + ).

Результат. Если случайный процесс zt является стационарным и эргодичным, и если

Yt = f(zt; zt 1 : : :) есть случайная величина, то Yt эргодичным рядом.

Определение. Информацией в момент времени t называются все реализовавшиеся

значения zk вплоть до zt, ò.å. It = fzt; zt 1; : : :g.

Определение. Ðÿä zt называется последовательностью мартингальных прираще-

íèé (ПМП) по отношению к своему прошлому, если E[ztjIt 1] = 0. Сформулируем ЗБЧ и ЦПТ для временных рядов.

Теорема Биркоффа Хинчина (зависимые наблюдения). Пусть ряд fZtg+t=11

стационарен и эргодичен. Кроме того, пусть E[jZtj] < 1, тогда

T

1 X as

T

Zt ! E[Zt]

t=1

14

ïðè T ! 1.

Теорема Биллингслея (последовательность мартингальных приращений).

Пусть ряд fZtg+t=11 стационарен, эргодичен и является ПМП по отношению к своему прошлому. Кроме того, пусть 2 = E[Zt2] < 1, тогда

1			T
			Xt	d
				Zt ! N(0; 2)
pT =1

ïðè T ! 1.

Теорема (зависимые наблюдения). Пусть ряд fZtg+t=11 стационарен и эргоди-

чен. Кроме того, пусть

+1

X

2 = Cov[Zt; Zt j] < 1:

j=1

Тогда при определенных условиях,

	p		1		T
		T			Xt
				T
					=1

!

Z E[Z ] d (0; 2)

t t ! N

ïðè T ! 1.

Приведем примеры использования изложеных выше теорем для исследования асимптотических свойств оценок на временных рядах.

Пример. Рассмотрим авторегрессионный процесс первого порядка AR(1):

xt = xt 1 + "t; j j < 1; "t s iid(0; 2):

Нас интересуют асимптотические свойства МНК-оценки

	tT=2 xt 1xt				tT=2 xt 1"t
=	P tT=2 xt2		1	= +	P tT=2 xt2		1	:
b	P				P

По теореме Биркоффа Хинчина,

	1			T
				Xt			p
							xt 1"t ! E[xt 1"t] = 0;
T			1
				=2
				1			T
							Xt	p
								! E[xt2 1]:
		T			1		xt2 1
							=2

Следовательно, по теореме Слуцкого оценка b является состоятельной оценкой, т.е.

p

b! .

Теперь найдем асимптотическое распределение МНК-оценки:

1

T

PtT

rT 1:

T

1

1

2 xt2

1

T ( ) =

p

pT

1

t=2 xt 1"t

T

b

P

15

xt 1"t	q							P	p
Очевидно, что			T			1
				n! 1, à					tT 2 xt2 1 ! E[xt2 1	]. Покажем, что последователь-
			T 1			T	1
	!1

ность	является последовательностью мартингальных приращений по отноше-

нию к своему прошлому, т.е. информационному множеству It 1 = fxt 2"t 1; xt 3"t 2 : : :g:

E[xt 1"tjIt 1] = E[E[xt 1"tjxt 1; xt 2"t 1 : : :]jIt 1] = 0;

т.е. последовательность xt 1"t является ПМП. Таким образом, мы можем применить

ЦПТ Биллингслея:

p 1

T 1

	T
	Xt	d
		"t ! N(0; E[xt2 1"t2]):
	xt 1
	=2

2

Заметив, что E[xt2] = V ar[xt] = 2V ar[xt 1] + 2

=

1

2 , получим окончательный

результат:

p

d

2

T (

):

) ! N(0; 1

Соответствующая пивотальная

b

статистика будет

p

T ( )

d

(0; 1):

1 2

! N

p b

b

В результате, 95%-ный доверительный интервал для есть

" #

rr

CI		=	1:96	1 2	; + 1:96	1 2	:
				T b		T b
		b			b

Обратимся еще раз к ЦПТ для зависимых наблюдений. Вид вариационной матрицы в асимптотическом распределении оценки требует некоторого пояснения. Когда мы

имеем дело с последовательностью мартингальных приращений Zt, ó íàñ E[ZtZt j] = 0 äëÿ j > 0, поэтому асимптотическая дисперсия для ПМП имеет простой вид:2 = E[Zt2]. Однако, вс¼ сложнее для более зависимых наблюдений:

V ar	"p1T t=1 Zt#				=	T V ar		" =1 Zt#	=
				T		1		T
				X				Xt

1

= T [T V ar(Zt) + (T 1)Cov(Zt; Zt+1) + (T 1)Cov(Zt; Zt 1) + + (T 2)Cov(Zt; Zt+2) + (T 2)Cov(Zt; Zt 2) + : : : +

		+1
+ Cov(Z1; ZT ) + Cov(ZT ; Z1)] T	!	X
		Cov(Zt; Zt j):
	!1	j=1

Рассмотрим пример с зависимыми наблюдениями, когда асимптотическую дисперсионную матрицу приходится считать по указанной выше формуле. Ясно, что в этом случае ошибки должны быть скоррелироваными.

16

Увы, такая оценка не будет состоятельной, т.е.

Пример. Рассмотрим процесс скользящего среднего первого порядка MA(1):

zt = "t + "t 1; "t iid(0; 2):

Заметим, что

V ar(zt) = (1 + 2) 2; Cov(zt; zt 1) = 2; Cov(zt; zt j) = 0; j > 1:

В этом случае,

+1
X							) = (1 + 2) 2	+ 2 2 = (1 + )2 2:
Cov(z		; z		t j
	t
j=1
Тогда, согласно ЦПТ для зависимых наблюдений,
		1				T
							d
						Xt
	pT =1 zt ! N(0; (1 + )2 2):
Обратим внимание на то, что в этом случае zt								не является ПМП относительно It =

fzt 1; zt 2; zt 3 : : :g, ò.ê. E[ztjzt 1; zt 2; : : :] = "t 1 6= 0.

Для получения пивотальной статистики возникает необходимость состоятельного оценивания асимптотической дисперсионной матрицы. Вид искомой оценки может быть

1

T

T 1

1

T

b

X

Xj

X

=

T

(Zt Z)(Zt Z)0 +

=1

T

f(Zt Z)(Zt j Z)0 + (Zt Z)(Zt+j Z)0g:

t=1

t=j+1

p

b 9 . Äåëî â òîì, ÷òî èç-çà конечности выборки невозможно состоятельно оценить крайние члены ряда. Таким образом, используя эргодичность, необходимо обрезать ряд на слагаемом номер m << T ,

таком, чтобы при T ! 1 мы имели m ! 1 и m=T ! 0. Ньюи и Уэст предложили состоятельную оценку вариационной матрицы, которая по построению является

положительно определенной :

m

1 mj

j

1

1 min(T;T +j)

:

NW = j= m

+j

T t=max(1;1+j)(Zt Z)(Zt j Z)0

b

X

X

Для практического использования была предложена следующая формула выбора m:

m = "4		100		#	:
		T		1=3

Такой выбор m дает хорошие результаты в смысле точности оценок, за исключением

тех случаев, когда затухание возмущений в процессе происходит медленно, т.е. корни соответствующих полиномов лежат близко к единичному кругу.

17

Вернемся к уже рассмотренному примеру MA(1): zt

= "t

+ "t 1. Вот результат,

который мы получили:

1

T

Xt

d

! N(0; (1 + )2 2):

pT =1 zt

Допустим теперь, что мы хотим получить состоятельную оценку для асимптотиче-

ской дисперсии. На практике у нас есть три возможных способа:

p

p

Мы можем построить состоятельные оценки ! è

2 ! 2, а затем сконстру-

ировать состоятельную оценку

b

b

z = (1 + )

2.

2

2

Зная, что искомая дисперсия выражается как 2 = V ar(zt) + 2Cov(zt; zbt 1), ìû

асимптотической дисперсии:

b

b

z

можем сконструировать состоятельную оценку в виде

2

\

\

,

z

= V ar(zt)+2Cov(zt; zt

1)

ãäå

\

1 T

2

\

1

bT

X

Xt

zt ; Cov(zt; zt 1) = T

V ar(zt) = T

ztzt 1:

t=1

=2

Мы можем использовать приведенную выше оценку Ньюи Уэста:

m	j	1	1 min(T;T +j)
z2 = j= m	1 mj+j		T t=max(1;1+j) ztzt j:
X			X

b

8Введение в асимптотику для нестационарных процессов

Если временной ряд не стационарен, а имеет стохастические тренды, построение статистических выводов значительно усложняется. Здесь мы рассмотрим простейший

пример важного класса нестационарных процессов. Пусть Xt описывается уравнени- ем случайного блуждания, т.е.:

Xt = Xt 1 + "t; X0 = 0; "t s iid(0; 2):

Тогда выборочное среднее выражается следующим образом:

T

1 X

T

t=1

X =

"T

+

2

"

+

+

T t + 1

"

+

+ "

:

T 1

T

t

T T

t

1

Следовательно,

T

t

!

T

T

T

!

V ar

1

T

X

= 2 1 +

T 1

2 +

+

2

2 +

1

2

;

t=1

X

ò.å.		=1 Xt!	= 2	6T		= O(T ):
V ar T
1		T		(T + 1)(2T + 1)
		Xt

18

Рассуждая аналогично, в результате мы получим:

1	T	p 1		T	p 1		T	p
	X	Xt ! V1;		X	Xt 1"t ! V2;		Xt	Xt2 1 ! V3;
T 3=2	t=1		T	t=1		T 2	=1

ãäå V1; V2; V3 некоторые случайные величины.

Если мы теперь используем МНК-оценку для , которое равно единице, то асимптотические свойства этой оценки будут следующие:

p V2

T (b 1) ! V3 :

Во-первых, МНК-оценка в данном случае суперсостоÿтельна, т.е. скорость сходимости к асимптотическому распределению превышает pT . Во-вторых, асимптотическое

распределение нестандартно: оно не является нормальным, зато обладает ненулевыми смещением и скошенностью. Оно носит название распределения Дики Фуллера.

II Бутстраповский подход

1Приближение истинного распределения бутстраповским

В основе бутстраповского подхода лежит идея, что истинное распределение данных можно хорощо приблизить эмпирическим. Таким образом может быть получено приближенное распределение интересующей нас статистики. Пусть из исходной популя-

ции с распределением F (x) была получена выборка размера n. Тогда эмпирическая функция распределения Fn(x) = n1 PTi=1 I(Xi 6 x) равномерно почти наверное стремится к F (x) ïðè n ! 1. Это свойство мотивирует использование бутстрапа.

Чтобы более наглядно пояснить бутстраповский метод, рассмотрим простейший пример. Пусть у нас есть всего два наблюдения:

y1	=	2 ;	y2	=	1 :
x1		1	x2		2

Допустим, нас интересует коэффициент регрессии y íà x, ò.å. yi = xi + "i. Â ýòîì случае МНК-оценка равна

=	x1y1 + x2y2	=	1 2 + 2 1	=	4	:
	x12 + x22
b			12 + 22		5

Эмпирическая функция распределения данных есть

(x; y)0 =	( (2; 1)00	с вероятностью	1=2
	(1; 2)	с вероятностью	1=2

19

По отношению к этому распределению данные из двух наблюдений распределены следующим образом:

	8	(2; 1)00	; (2; 1)00	с вероятностью 1=4
	>	(1; 2)	; (1; 2)	с вероятностью 1=4
(x1; y1)0; (x2; y2)0 =				с вероятностью
	>	(1; 2)0	; (2; 1)0		1=4
	>
	>
	<
	>	(2; 1)0	; (1; 2)0	с вероятностью 1=4
	>

>

>

:

Это распределение и является бутстраповским. Соответственно, МНК-оценка распределена согласно ее бутстраповскому распределению

	8
	> 1=2		с вероятностью 1=4
	<
b2	=	4=5	1=2
	>	2	с вероятностью 1=4
	:

Используя это бутстраповское распределение, можно строить доверительные интервалы или тестировать гипотезы обычным образом.

Пример, рассмотренный нами, был чрезвычайно прост: размер исходной выборки был равен 2. В общем случае, когда мы имеем n наблюдений, количество вариантов для бутстраповских статистик имеет порядок nn. Таким образом, в вычислительном

плане задача сильно усложняется по мере роста n.

2Приближение с помощью симуляций

Как упоминалось, при увеличении размера выборки объем вычислений для получе- ния бутстраповского распределения быстро возрастает. Поэтому, как правило, процедура бутстрапирования осуществляется с помощью симуляций. Здесь мы приведем описательный алгоритм построения бутстраповских доверительных интервалов.

Бутстраповский алгоритм.

1.Выбрать количество псевдовыборок B (обычно хватает 1000). Для b = 1; 2; : : : ; B построить псевдовыборки (z1; z2; : : : ; zn)b, вытягивая элементы псевдовыборок случайным образом с возвращением из исходной выборки (z1; : : : ; zn). Для каждой псевдовыборки вычислить псевдостатистику bb = b((z1; : : : ; zn)b).

2.Полученные псевдостатистики b1; : : : ; bB отсортировать в порядке возрастания.

В качестве квантилей q ; q			;
которых построить доверительный интервал.		b	b		2)+1], на основе
1	1 2 взять значения	[B 1]	[B(1

20