ЭКОНОМЕТРИКА и математическая экономика / Анатольев С. Эконометрика для продолжающих. РЭШ. 2002

3Какие статистики бутстрапить?

Ответ на вопрос, какие статистики лучше использовать при построении доверительных интервалов с помощью бутстрапа, кроется в двух простых соображениях. Вопервых, бутстраповское распределение центрировано не около истинного значения статистики, а около его выборочного аналога. Во-вторых, полагается бутстрапировть асимптотически пивотальные статистики.

Рассмотрим несколько вариантов бутстраповских статистик, используемых для построения доверительных интервалов и подчеркнем их положительные и отрицательные качества. Пусть нас интересует построение статистических выводов относитель-

но параметра из ее оценки b.

Эфроновский доверительный интервал. В данном случае бутстрапируе-

мой статистикой является сама оценка, т.е. b = b. Таким образом, мы полу-

чаем бутстраповское распределение fbb = bb gBb=1. Соответствующие квантили распределения q =2; q1 =2, а доверительный интервал

CIE = [q =2; q1 =2]:

Эфроновский доверительный интервал был популярен, когда бутстраповский подход только начинал использоваться. На самом деле, этот доверительный интервал дает плохую аппроксимацию для истинных уровней значимости, поскольку сохраняет смещение исходной выборки.

Холловский доверительный интервал. Холл предложил использовать для

построения доверительного интервала рецентрированную статистику b= b ,

что снимает проблему смещения, связанного с конечностью выборки. Таким образом, получается бутстраповское распределение fbb = bb bgBb=1. Соответ- ствующие квантили q =2; q1 =2, а доверительный интервал

CIH = [b q1 =2; b q =2]:

Холловский доверительный интервал дает лучшую, чем Эфроновский, аппроксимацию уровней значимости. Плюсом использования Холловского доверительного интервала является отсутствие необходимости оценивания стандартных ошибок, хотя, как увидим впоследствии, такая стратегия оборачивается серьезным минусом.

t-процентный доверительный интервал. Такой интервал использует в ка-

честве бутстрапируемой статистики t-статистику, т.е. b . Таким образом,

se(b)

21

находят бутстраповское распределение статистики					( se( ) )		B
							и соответству-
					b
ющие квантили			1 =2, а сам t-процентный		b	b b	b=1
ÿò êàê	=2	;				b
	q		q	доверительный интервал стро-

CIt = [b se(b)q1 =2; b se(b)q =2]:

t-процентный доверительный интервал еще лучше аппроксимирует истинные уровни значимости, чем Холловский доверительный интервал. Но использовать его рекомендуется только если стандартные ошибки можно построить ка- чественно.

Симметричный t-процентный доверительный интервал. Такой интер-

вал использует в качестве бутстрапируемой симметризованную t-статистику
				(				)	)	B
вый квантиль					(
	j j	. Распределение бутстраповской статистики есть				j b j				, à ïðà-
	b
						b		b b		b=1
	se( )		. Симметричный t-процентный			se
	b	q					b
				доверительный интервал есть

CIjtj = [b se(b)q1 ; b+ se(b)q1 ]:

Симметричный t-процентный доверительный интервал имеет в определенных случаях преимущество перед t-процентным доверительным интервалом. А имен-

но, если асимптотическое распределение статистики b симметрично (как раз

как в случае асимптотической нормальности), то CIjtj дает лучшую аппрокси- мацию уровней значимости.

4Корректировка смещения

Бутстрап позволяет скорректировать смещение, связанное с конечностью выборки.

Пусть у нас есть смещ¼нная, но состоятельная статистика b:

E[b] 6= :

Тогда мы можем выразить смещение следующим образом:

Bias = E[b] :

Если у нас есть возможность качественно оценить смещение, то мы можем скорректировать исходную статистику:

[

e = b Bias:

22

Смещение же можно оценить с помощью бутстрапа:

B

Bias = E [bb ] b = B1 X bb :b

b=1

Таким образом, скорректированная статистика есть

= B		B	b !	= 2 :
1
e b		Xb	b b	b b
		=1

5Тестирование гипотез при помощи бутстрапа

Одной из основных целей бутстрапа является тестирование гипотез. Рассмотрим, как с помощью бутстрапа тестируются простейшие статистические гипотезы. Пусть

нулевая гипотеза имеет вид H0 : = 0, где скаляр.

Альтернативная гипотеза односторонняя: Ha : > 0: Бутстрапим t-

процентную статистику

=

b

b

(

)

se

и получаем бутстраповское распределениеbэтой статистики и соответствующий

квантиль:

( b

B

se( ) )

)

1

=

b

q

:

b

b b

b

b=1

Гипотеза H

отвергается, если

b0

> q

:

0

bse( )

1

Альтернативная гипотеза

b

Ha

: =

0

: В этом случае мы

двусторонняя:

6

бутстрапим симметричную t-процентную статистику

=

j j

:

b

b

(

)

se

Получаем бутстраповское распределение иbквантиль:

( b

se( )

)

B

) 1

b=1

b

b b

=

j

b

j

q

:

b

b0

Гипотеза H

отвергается, если

j

> q

:

0

jbse( )

1

b

23

Пусть нулевая гипотеза имеет вид H0 : = 0, где вектор. В этом случае

мы бутстрапим Вальдовскую статистику (с точностью до коэффициента пропорциональности)

b= (b )0Vb 1(b ):

Соответственно, получаем бутстраповское распределение и квантиль:

n b = ( b )0V 1		B	) q1 :
		( b )ob=1
b	b b b	b b

Гипотеза H0 отвергается, если b0 = (b 0)0Vb 1(b 0) > q1 :

Пусть теперь нулевая гипотеза имеет вид линейных ограничений на коэффициенты H0 : R = r, ãäå R матрица ограничений. В этом случае мы снова бутстрапим Вальдовскую статистику (с точностью до коэффициента пропорциональности)

		= (R r)0		(RV R0) 1	(R r):
Получаем бутстраповское		b	b	b	b
		распределение, из которого находим соответствующий кван-
òèëü:					B
n b = ( b )0R0(RV R0) 1R( b
					)ob=1	) q1 :
Заметим, что мы b	b	b	b	b	b

рецентрируем бутстраповскую статистику. Без этого бутстраповское распределение унаследовало бы смещение, свойственное первоначальной стати-

стике. Гипотеза H0 отвергается, если b= (Rb r)0(RVb R0) 1(Rb r) > q1 :

6Асимптотическое рафинирование

Иногда говорят, что с помощью бутстрапа достигается асимптотическое рафинирование. В этой главе мы обсудим, что такое асимптотическое рафинирование и в каких случаях оно имеет место.

Пусть у нас есть некоторая статистика b, истинное распределение которой F (x).

b

Обозначим бутстраповское распределение этой статистики через F (x). Говорят, что

b

с помощью бутстрапа достигается асимптотическое рафинирование, если ошибка ап-

проксимации истинного распределения F (x) бутстраповским F (x) большего по-
b
	b

рядка малости, чем ошибка аппроксимации асимптотическим распределением при стремлении объема выборки к бесконечности.

Приведем примеры, использующие разложение Эджворта функции распределения статистики вокруг предельного распределения.

Пример 1: асимптотически пивотальная t-статистика. Пусть бутстрапируе-

мая нами статистика есть

b= b : se(b)

24

Ее асимптотическое распределение, как мы уже видели, является стандартным нор-

d

мальным: ! N(0; 1) (т.е. статистика асимптотически пивотальная). Обозначим

точное

распределение статистики через

F (x)

, а бутстраповское через

F (x)

. Äëÿ

b

кумулятивной функции стандартного

нормального распределения используем обыч-

b

b

ное обозначение (x).

Итак, разложим истинное и бутстраповское распределения вокруг асимптотиче-

ского:

h

x; F

)

h

x; F

)

1

F (x) = (x) +

1(p

+

2(

+ O

;

n

n3=2

n

b

h

x; F

h

x; F

1

F

(x) = (x) +

1(p

b)

+

2(

b)

+ O

:

n

n3=2

n

Здесь h1(x; F )

четная по

x

, непрерывная по

F

функция,

h2(x; F )

нечетная по

x

,

b

непрерывная по F функция. Ошибки аппроксимации точного распределения асим-

птотическим и бутстраповским, соответственно, равны

h

x; F

)

1

1

(x) F

(x) =

1(p

+ O

p

= O

p

;

n

n

n

b

h

1(

x; F

h

(

x; F

)

1

1

F (x) F (x) =

b

)pn

1

+ O

= O

:

n

n

b

b

h1(x; Fb) h1(x; F )

Здесь мы воспользовались тем фактом, что разность

имеет асим-

птотику

p1n

, поскольку

p		F (x) F (x)
	n
		b

d

! N(0; P fxi

=	pn n		=1 1[xi x] E [1[xi x]]!
		1	n
			Xi

xgP fxi > xg):

Таким образом, в данном примере использование бутстрапа приводит к асимптотическому рафинированию.

Пример 2: асимптотически непивотальная статистика. Рассмотрим статисти-

êó	p
			d
	b= n(b ) ! N(0; V ):

Сохранив обозначение кумулятивных функций распределения для точного распределения и бутстраповского из предыдущего примера, обозначим асимптотическое

распределение через (x; V ). Заметим, что теперь наша статистика асимптотиче- ски непивотальная, т.е. ее асимптотическое распределение зависит от неизвестного параметра, в данном случае V . Как в предыдущем примере, разложим точное и бутстраповское распределения вокруг асимптотического:

F	(x) = (x; V ) +	1	(pn	) + O	n	;
	h		x; F		1

b

25

F (x) = (x; V ) +		1	(pn	)	+ O	n		:
	h		x; F			1
b			b

Ошибки аппроксимации для асимптотического и бутстраповского распределений счи- таются аналогично предыдущему примеру:

(x; V ) F

(x) =

h

1

(pn

)

+ O

n

= O pn

;

z; F

1

1

b

n

pn

F (x) F (x) = (x; V ) (x; V ) + O

= O

:

1

1

b

b

b

b

Как видно, в данном случае использование бутстрапа не приводит к асимптотиче- скому рафинированию. Вообще, как правило, бутстрапирование асимптотически непивотальных статистик не дает асимптотического рафинирования.

Пример 3: асимптотически пивотальная симметричная t-статистика. Òå-

перь рассмотрим в качестве примера симметричную t-статистику

			j		d
= jb					! jN(0; 1)j:
b

se(b)

Сохраняя обозначения предыдущих примеров, разложим точное и бутстраповское распределения:

f se( )

x

g

= 2 (x)

n

n3=2

F

(x) = P r x

1 + 2h2(x; F ) + O

1

;

b

b

b

2h2(x; F )

1

F (x) = 2 (x) 1 +

+ O

:

n

b

n3=2

b

Таким образом, ошибки аппроксимации для асимптотики и бутстрапа имеют порядки

2 (x) 1 F (x) = O

n ;

1

F (x) F

b

n3=2

n3=2

(x) = n

h2

(x; F ) h2

(x; F ) + O

= O

:

2

b

1

1

b

b

Таким образом, мы получаем асимптотическое рафинирование. Заметим, что бутстрапирование симметричного двустороннего теста имеет ошибку более высокого порядка, чем бутстрапирование одностороннего теста.

7Построение псевдовыборок при бутстрапе кросс-секций

Рассмотрим случай простейшей множественной регрессии с независимыми наблюдениями:

y = x0 + e; E[ejx] = 0; f(xi; yi)g s iid:

Существует несколько альтернативных способов построения псевдовыборки для этой регрессии:

26

1.Непараметрическое построение псевдовыборки. Из исходных наблюде-

íèé f(xi; yi)gni=1 случайно с возвращением извлекаются n наблюдений (xi ; yi ).

2.Построение псевдовыборки по остаткам. Сначала оценивается модель и

находится состоятельная оценка b. Затем вычисляются остатки: ebi = yi x0i b.

Из множества пар f(xi; ei)gn

b i=1 случайным образом с возвращением извлекаются n наблюдений (xi ; ebi ). Затем восстанавливается переменная левой части

yi = x0i b+ ebi . Заметим, что в данном контексте этот метод построения псевдовыборки идентичен непараметрическому методу, но идентичность пропадает в более сложных случаях.

3.	Построение псевдовыборки по остаткам (специальный случай). Åñëè
	исследователю заранее известно, что ошибки и регрессоры независимы, то эф-
	фективность бутстрапа можно увеличить, извлекая случайно с возвращением
	xi	èç fxigin=1 è ei		èç feigin=1 по отдельности.
4.	Построение		псевдовыборки по остаткам (специальный случай).		Åñ-
			b	b

ли исследователь знает, что ошибки и регрессоры независимы, и, кроме того, ошибки распределены нормально, т.е. ei N(0; 2), то эффективность бут-

страпа можно увеличить (по сравнению с предыдущим случаем), выбирая регрессоры и остатки для псевдовыборки по отдельности, и, кроме того, остатки

стоит извлекать из нормального распределения, т.е. xi извлекаются случайно с возвращением из N(0; b2).

8Построение псевдовыборок при бутстрапе временных рядов

Временной ряд отличается от кросс-секционной выборки тем, что наблюдения здесь зависимы, поэтому случайное перемешивание при непараметрическом бутстрапе разрушает эту зависимость, так что вероятностная структура псевдоданных уже не имитирует вероятностную структуру данных. Чтобы избежать этого, используется блочный бутстрап, в котором псевдовыборка строится из блоков исходной выборки. Аналогично случаю независимых наблюдений, во временых рядах возможно построение псевдовыборки по остаткам, однако такой способ применим только в тех редких случаях, когда ошибки или инновации серийно независимы. Рассмотрим несколько альтернативных способов построения блочной псевдовыборки.

1. Построение псевдовыборки из перекрывающихся блоков. Исходная вы-

борка делится на некоторое количество перекрывающихся блоков. Длина блока выбирается исследователем исходя из временной структуры ряда. Пусть fytgTt=1

27

исходная выборка, а l длина блока. Тогда в первый блок войдут наблюдения

y1; : : : ; yl, во второй y2; : : : ; yl+1, в третий y3; : : : ; yl+2, и наконец в T l+1-ûé

наблюдения yT l+1; : : : ; yT . При построении псевдовыборки блоки извлекаются случайно с возвращением.

2. Построение псевдовыборки из неперекрывающихся блоков. В данном

случае исходная выборка делится на некоторое количество неперекрывающихся блоков. Длина блока, так же как и в предыдущем случае, выбирается ис-

следователем. Пусть исходная выборка состоит из наблюдений fytgTt=1. Тогда в первый блок войдут наблюдения y1; : : : ; yl, во второй yl+1; : : : ; y2l, è íàêî-

нец, в последний T			-ый блок наблюдения	] l+1; : : : ; yl[Tl
	l		yl[Tl		]. При построении
псевдовыборки блоки извлекаются случайным образом с возвращением.

3. Построение стационарной псевдовыборки. Предыдущие два варианта по-

строения псевдовыборки, как правило, нарушают стационарность ряда, т.е. из стационарной исходной выборки получаются нестационарные псевдовыборки. Чтобы получить стационарную псевдовыборку, был предложен способ, основанный на нефиксированной длине блоков. А именно, задается вероятность

окончания блока p. Первый элемент псевдовыборки выбирается случайно. За-

тем с вероятностью (1 p) в текущий блок включается следующий элемент

исходной выборки, а с вероятностью p начинается новый блок, первый элемент

которого снова выбирается случайно из исходной выборки. Так продолжается, пока в псевдовыборку не будет набрано нужное количество элементов.

III Основные эконометрические понятия

Данный раздел кратко повторяет основные понятия, изученные в курсе статистики и теории вероятностей.

1Условное математическое ожидание

Пусть (X; Y ) пара случайных величин. Функция совместной плотности распределения

f(X;Y )(x; y) 0

обладает свойством нормировки

Z +1 Z +1

f(X;Y )(x; y)dxdy = 1:

1 1

28

Вероятность для (X; Y ) попасть в прямоугольник [a; b] [c; d] определяется как

Z d Z b

P rfa X b; c Y dg = f(X;Y )(x; y)dxdy:

c a

Маргинальная функция плотности распределения X связана с совместной плотностью (X; Y ) êàê

+1
fX (x) = Z 1	f(X;Y )(x; y)dy:
Условная плотность распределения Y ïðè X = x åñòü
fY jX=x(x; y) =		f(X;Y )(x; y)	:
		fX (x)

Условные вероятности попадания Y в отрезок [c; d] определяются выражениями

P rfc Y d j X = xg = Zc d fY jX=x(x; y)dy;
P rfc Y d j a X bg = Rc			Ra ab fX (x)dx	:
		d	b fX;Y (x; y)dxdy
Условное математическое ожидание Y при условииRX = x åñòü
+1
E[Y j X = x] = Z 1	yfY jX=x(x; y)dy:

Заметим, что функция условного математического ожидания E[Y j X] является слу- чайной величиной (так как X случаен). Имеет место закон последовательных мате-

матических ожиданий :

E[h(X; Y )] = E[E[h(X; Y ) j X]];

где h(X; Y ) произвольная функция от (X; Y ). В случае непрерывных распределений справедливость этого закона легко показать:

+1	+1	+1	+1	h(x; y)fY jX (x; y)dy fX (x)dx:
Z 1	Z 1	h(x; y)f(X;Y )(x; y)dxdy = Z 1	Z 1

2Предсказывание

Часто в эконометрике встречается ситуация, когда исследователь хочет по переменным X (называемых регрессорами) предсказать значение Y (называемой зависимой

переменной). Существует несколько полезных результатов, связанных с такой постановкой задачи.

Теорема. Оптимальным предиктором Y èç X в смысле минимизации среднеквадра-

тичной ошибки предсказания является условное математическое ожидание E[Y j X].

29

BLP (Y jX).

Доказательство. Пусть g(X) произвольный предиктор. Тогда среднеквадратич- ная ошибка предсказания будет выражаться следующим образом:

MSP E =	E[(Y g(X))2] = E[(Y E[Y jX] + E[Y jX] g(X))2] =
=	E[(Y E[Y jX])2] + E[(E[Y jX] g(X))2] E[(Y E[Y jX])2]:

Заметим, что равенство достигается при g(X) = E[Y jX], т.е. условное математиче-

ское ожидание действительно минимизирует среднеквадратичную ошибку предсказания.

Определение. Ошибкой оптимального предсказания называется величина e = Y

E[Y jX]:

Ошибка оптимального предсказания обладает следующими свойствами:

E[ejX] = 0 ) E[e] = 0 ) E[eh(X)] = 0:

Отсюда в частности следует, что условное математическое ожидание является несмещ¼нным предиктором.

Определение. Линейным предиктором Y по X называется любая линейная функ-

öèÿ îò X : g(X) = a + bX:

Теорема. Оптимальным линейным предиктором Y ïî X в смысле минимизации

среднеквадратичной ошибки предсказания является									наилучший линейный предик-
òîð			Cov(X; Y )
BLP (Y jX) = + X;									= E[Y ] E[X]:
		=					;
			V ar(X)
Доказательство. Задача минимизации
MSP E	=	E Y		a		bX 2		]	min
		[(				)			! a;b
имеет условия первого порядка
E[2(Y a bX)] = 0;			E[2(Y a bX)X] = 0:

Отсюда можно получить и из постановки теоремы.

Теорема. Наилучшей линейной аппроксимацией для условного среднего E[Y jX] в смысле минимизации среднеквадратичной ошибки аппроксимации является наилуч- ший линейный предиктор

Доказательство. Аналогично доказательству предыдущей теоремы нужно решить оптимизационную задачу

MSAE = E[(E[Y jX] a bX)2] ! min:

a;b

30