ЭКОНОМЕТРИКА и математическая экономика / Анатольев С. Эконометрика для продолжающих. РЭШ. 2002

Получим и из постановки предыдущей теоремы.

Определение. Ошибкой наилучшего линейного предсказания называется величина

u = Y BLP (Y jX).

Ошибка наилучшего линейного предсказания обладает свойствами

E[u] = 0; E[uX] = 0:

Теорема. Если условное среднее E[Y jX] линейно по X, òî E[Y jX] = BLP (Y jX):

3Свойства двумерного нормального распределения

Рассмотрим двумерную случайную величину, распределенную согласно нормально-

му закону:

!!

Y	Y		Y2	X Y
X N	X		X Y	Y2	:
		;

Ее плотность распределения задается следующим выражением:

f(X;Y )(x; y) =	1	exp	2
	2 X Y 1 2		6
			6
	p		6
			4

	x X	2		y Y		2		(x		X )(y		Y )
			+				2
	X			Y						X Y			3
															:
				2(1 2)								7
												7
														7
												5

Ниже перечислены свойства такого распределения.

1. Каждая из компонент двумерной нормальной величины распределена нормально:

XN( X ; X2 ):

2.Условное распределение Y jX = x нормально:

Y jX = x N	Y + X (x X ); Y2		(1 2) :
		Y

Из этого свойства также вытекает условная гомоскедастичность и E[Y jX] =

BLP [XjY ]:

3.Åñëè Y è X нескоррелированы (т.е. = 0), òî Y è X независимы.

4.Линейная функция от нормальной случайной величины является также нормальной случайной величиной:

A X	N A X ; A	X Y	Y2	!A0!:
Y	Y	Y2	X Y

Здесь A 2 2 матрица линейного преобразования.

31

4Свойства многомерного нормального распределения

Пусть Y многомерная величина, распределенная согласно нормальному закону, т.е.

Y N( ; );

ãäå k 1 вектор средних, k k дисперсионная матрица. Плотность распределения Y åñòü

fY (y) = (2 )k=2j j1=2 exp (						)0 2	(				)		:
1			y			1		y

Разобьем Y на две части:

Y =	Y2	N	2 ;	21	22!!	= N( ; ):
	Y1		1	11	12

Многомерное нормальное распределение обладает следующими свойствами:

1. Y1 N( 1; 11).

2. Y2jY1 = y1 N ( 2 + B0(y1 1); 22 B0 11B), ãäå B = 111 12.

3.Åñëè 12 = 0, òî Y1 è Y2 независимы.

4.g + HY N(g + H ; H H0), где g фиксированный вектор, а H матрица линейного преобразования.

5Принцип аналогий

При построении всевозможных оценок используют принцип аналогий, основная идея которого состоит в замене неизвестной истинной функции распределения известной эмпирической. Эту идею мы уже встречали при изучении бутстрапа. Пусть инте-

ресующий нас параметр известным образом зависит от функции распределения

X, FX (x). Тогда, согласно принципу аналогий, оценку b можно построить, заменив истинную функцию распределения FX (x) на ее выборочный аналог

	1		n
			Xi
	Fn(x) = n
			I[xi x]:
			=1

Приведем примеры.

Пример 1. Пусть интересующий нас параметр есть теоретическое среднее:

Z +1

= E[X] =

xdF (x):

1

32

Тогда, по принципу аналогий, его аналоговая оценка будет равна

+1		1 n
= Z 1	xdFn(x) = n i=1 xi:
b			X

Пример 2: МНК-оценка. Покажем, что МНК-оценка также является аналоговой оценкой. Пусть исходная модель будет

y = x0 + e; E[ex] = 0:

Тогда параметр находится из условия: E[(y x0 )x] = 0. Åãî âèä:

= (E(xx0)) 1E(xy):

Используя принцип аналогий, получим МНК-оценку:

=	1	n	!	1	1 n		!	:
	n	=1 xixi0			n i=1 xiyi
b		Xi				X

Пример 3: ещ¼ раз МНК-оценка. МНК-оценку можно получить как аналоговую и из условия минимизации среднеквадратичной ошибки прогноза. Исходная регрессионная модель в этом случае есть

E[yjx] = x0 :

Параметр находится из условия минимизации среднеквадратичной ошибки:

= arg minE[(y x0b)2]:

b

Соответствующее аналоговое условие записывается в виде

n

b = arg min 1 X(yi x0ib)2:

b n

i=1

Очевидно, что результатом решения этой задачи на экстремум вновь является МНКоценка.

6Основные понятия, связанные с регрессией

Сейчас и в дальнейшем мы не будем различать прописные и строчные буквы для обозначения случайных величин и их реализаций, иначе можно с ума сойти. Пусть

ó íàñ åñòü ïàðà (y; x), ãäå y скаляр, а x вектор.

Определение. Регрессией (в широком смысле) называется какое-либо свойство условного распределения y при заданном x как функция от x.

33

Приведем несколько примеров регрессий:

Пример 1. Регрессия среднего E[yjx].

Пример 2. Медианная регрессия Med[yjx].

Пример 3. Квантильная регрессия q [yjx].

Пример 4. Модальная регрессия Mode[yjx].

Рассмотрим подробнее регрессию среднего, которая наиболее часто используется в эконометрическом анализе. Ошибкой регрессии среднего называется величина e =

y E[yjx]: Эта ошибка обладает свойством E[ejx] = 0; и, как следствие, свойством

E[eh(x)] = 0 для любой функции h(x). В частности, E[e] = 0. Однако регрессоры x è

ошибка e могут не быть независимыми. Регрессию среднего среднего можно записать в привычном виде как

y = E[yjx] + e; E[ejx] = 0:

Пока еще не сделано никаких предположений, кроме существования введенных объектов.

Обычно исследователь, обладая совокупностью наблюдений f(yi; xi)gni=1, случай- ным образом выбранных из популяции (y; x), хочет оценить, используя эти данные,

функцию E[yjx]. Существует несколько различных подходов к данной задаче:

1. Непараметрическое оценивание: При таком подходе делаются слабые предположения о гладкости функции E[yjx] и, возможно, ее производной по x è

плотности распределения x.

2. Параметрическое оценивание: При таком подходе предполагается известным вид функции E[yjx] = g(x; ). Неизвестными являются конечное число параметров 2 Rk. Эти параметры оцениваются, что да¼т оценку и для g(x; ).

Таким образом, функция условного среднего параметризуется, отсюда и название метода. Параметрический метод оценивания является более эффективным, чем непараметрический, если спецификация модели правильная. Однако, если функция условного среднего параметризована неверно, то оценивание приводит

к несостоятельным оценкам для E[yjx].

3.Полупараметрическое оценивание: Полупараметрическое оценивание пред-

ставляет собой нечто среднее между параметрическим и непараметрическим подходами. Можно сказать, что E[yjx] параметризуется, но количество пара-

метров бесконечно. Примером являются так называемые индексные модели, где вид функции условного среднего нам неизвестен, однако известно, что она зависит от конечномерной линейной комбинации регрессоров.

34

IV Линейная регрессия среднего

1Метод наименьших квадратов

Пусть E[yjx] = x0 , тогда регрессия среднего записывается привычным образом как

y = x0 + e; E[ejx] = 0; f(yi; xi)gni=1 iid:

Предположим, матрица E[xx0] невырожденная. Тогда параметр , минимизирующий среднеквадратичную ошибку, будет единственным решением задачи

= arg minE[(y x0b)2]:

b

Пользуясь принципом аналогий, можно построить оценку для :

= arg

1

n

i i

1 n

i i!

1

1 n

i i

b n

=1

n i=1

n i=1

b

Xi

x0b)2 =

X

x x0

X

min

(y

x y :

Это и есть оценка метода наименьших квадратов, или МНК-оценка.

2Асимптотические свойства МНК-оценки

Для выяснения асимптотических свойств МНК-оценки перепишем ее в следующем

âèäå:				!	1 1 n
= +	1		n
	n		=1 xixi0			n i=1 xiei:
b			Xi				X

p

Как мы уже знаем, МНК-оценка состоятельна, т.е. b ! . Кроме того, МНК-оценка

асимптотически распределена по нормальному закону:

			1	n	1	1 n			d
pn( ) =				=1 xixi0!							;
			n			pn i=1			xiei ! N 0; Qxx1Qe2xxQxx1
		b		Xi				X
где мы использовали следующие обозначения:
		Qxx = E[xx0]; Qe2xx = E[e2xx0] = V ar[xe]:

Приведенные асимптотические свойства следуют из ЗБЧ и ЦПТ. Из закона больших

чисел следует, что				n
		1			p
				Xi
		n		=1	xixi0 ! E[xx0] = Qxx;
1		n			p
		Xi			! E[xe] = E[xE[ejx]] = 0;
	n		xiei
		=1

35

что влеч¼т состоятельность МНК-оценки. Из центральной предельной теоремы для независимых одинаково распределенных величин следует, что

1			n
			d
			Xi
p			xiei ! N (0; V ar[xe]) = N (0; Qe2xx) ;
	n
		=1

что влеч¼т асимптотическую нормальность МНК-оценки.

Рассмотрим специальный случай, когда регрессионная ошибка условно гомоскедастична, т.е. E[e2jx] = 2 = const: В этом случае Qe2xx = 2Qxx и асимптотическое распределение МНК-оценки имеет дисперсионную матрицу в упрощенном виде:

		d	0; 2Qxx1 :
pn( ) ! N
		b

Кроме того, легко построить состоятельную оценку этой дисперсионной матрицы:

1		n		p	1		n	p
b		Xi	(yi xi0	b	b		X	xixi0 ! Qxx:
2 = n		=1		)2 ! 2	; Qxx = n		i=1

Состоятельность первой оценки следует из ЗБЧ. Состоятельность последней довольно легко показать:

1

n

Xi

(yi xi0 )2

=

n

1

n

b

1

n

2

n

=1

X

Xi

X

=

n

n

(yi xi0 )2 +

n

(xi0 xi0 )2 +

n

(yi

xi0 )(xi0 xi0 ) =

1

i=1

1

n b

=1

2

n

b

i=1

n i=1 xixi0!

(yi xi0 )xi0( ):

= n i=1

(yi xi0 )2 + ( )0

( ) + n

=1

X

b

X

b

Xi

b

Далее, применяя ЗБЧ и теорему Слуцкого, получим:

1

n

p

Xi

n

=1

(yi xi0 )2 ! 2;

( )0

n

=1 xixi0!( ) ! 0;

1

n

p

b

Xi

b

n

2 X

n

(yi

i=1

xi0	)xi0	p
		( b) ! 0:

Вс¼ вместе влеч¼т состоятельность оценки условной дисперсии регрессионной ошиб-

êè:		n
1				p
		Xi	(yi xi0	b
n		=1		)2 ! 2:

36

Теперь рассмотрим общий случай условной гетероскедастичности. В этом случае

нам нужно состоятельно оценить матрицу Qe2xx. Можно показать, что состоятельной оценкой этой матрицы будет следующая:

1		n			p
b		Xi	xixi0	(yi xi0	b
Qe2xx =	n	=1			)2 ! Qe2xx:

Итак, состоятельная оценка дисперсионной матрицы МНК-оценки в случае условной гетероскедастичности запишется как

V = Qxx1Qe2xxQxx1:

Будем называть стандартной

b

b

b

b

j величину

ошибкой оценки

b

1

se( j) = r

hV ijj:

Тогда соответствующая

n

b

будет

b

t-статистика

асимптотически пивотальной оценкой,

асимптотическое распределение которой является стандартным нормальным:

t =

j j

d

(0; 1):

j

b (

j)

! N

se

Вальдовская статистика для

b

h( ) = 0

ограничений общего вида

, где число ограни-

чений l k, имеет асимптотическое распределение хи-квадрат:

W = h( )0 hHV H0i

h( ) ! 2

(l);

1

d

где использованы обозначения

b

b b b

b

@h( )

@h( )

H =

@ 0

; H =

@ b0 :

b

3Свойства МНК-оценки в конечных выборках

Введем следующие обозначения:

X = (x1; x2; : : : ; xn)0; y = (y1; y2; : : : ; yn)0; " = (e1; e2; : : : ; en)0:

Тогда уже знакомую нам регрессионную модель линейного условного среднего можно переписать в матричном виде

y = X + "; E["jX] = 0:

МНК-оценка в таком случае запишется как

b = (X0X) 1X0y = + (X0X) 1X0":

Эта оценка обладает следующими свойствами в конечных выборках:

37

Условная несмещ¼нность:

E[bjX] = + (X0X) 1X0E["jX] = :

Безусловная несмещ¼нность следует из условной несмещ¼нности.

Условная дисперсия оценки есть

V ar[bjX] = (X0X) 1X0 X(X0X) 1;

ãäå = V ar[yjX] = E[""0jX]:

4Обобщенный метод наименьших квадратов

Определение. Пусть E[yjX] = X . Классом линейных оценок называется класс, содержащий оценки вида A(X)y, ãäå A(X) матрица k n, которая зависит только от X.

Пример. Для МНК-оценки A(X) = (X0X) 1X0:

Определение. Пусть E[yjX] = X . Классом линейных несмещ¼нных оценок íà-

зывается класс, содержащий оценки вида A(X)y, ãäå A(X) матрица k n, зависящая только от X и удовлетворяющая условию A(X)X = Ik.

Пример. Äëÿ МНК-оценки A(X)X = (X0X) 1X0X = Ik:

Заметим, что V ar[A(X)yjX] = A(X) A(X)0. Мы хотим найти линейную несмещ¼н- ную оценку, которая минимизирует V ar[A(X)yjX].

Теорема (Гаусса-Маркова). Наилучшей линейной несмещ¼нной оценкой линейной

регрессии среднего является оценка e = A (X)y; ãäå

A (X) = (X0 1X) 1X0 1:

В этом случае дисперсионная матрица оценки имеет вид

V ar[ejX] = (X0 1X) 1:

Доказательство. Оценка e принадлежит классу линейных несмещ¼нных оценок,

èáî A (X)X = Ik: Возьмем произвольную матрицу A(X), такую, что A(X)X = Ik. Â этом случае имеют место следующие равенства:

(A(X) A (X))X = 0;

(A(X) A (X)) A (X)0 = (A(X) A (X)) 1X(X0 1X) 1 = 0:

38

Тогда

V ar[A(X)Y jX] = A(X) A(X)0 =

=(A(X) A (X) + A (X)) (A(X) A (X) + A (X))0 =

=(A(X) A (X)) (A(X) A (X))0 + V ar[A (X)Y jX] V ar[ejX]:

Следовательно, оценка e является наилучшей в классе линейных несмещ¼нных оце-

íîê.

Определение. Пусть E[yjX] = X . Оценка e = (X0 1X) 1X0 1y называется

оценкой обобщ¼нного метода наименьших квадратов (ÎÌÍÊ).

Следствие 1. ОМНК-оценка e является эффективной в классе линейных несмещ¼н-

ных оценок.

Следствие 2. Если ошибка линейной регрессии среднего обладает свойством услов-

ной гомоскедастичности, то e = b, т.е. МНК- и ОМНК-оценки совпадают.

Ниже приведена таблица, содержащая условные дисперсионные матрицы МНК- и ОМНК-оценок в конечных выборках для случаев условной гетеро- и гомоскедастич- ности.

				OLS	GLS
	Гомоскедастичность			2(X0X) 1	2(X0X) 1
	Гетероскедастичность			(X0X) 1X0 X(X0X) 1 (X0 1X) 1
вестна.		e	является недоступной, поскольку матрица неиз-
Замечание 1. ОМНК-оценка

Замечание 2. ОМНК-оценка e является частным случаем оценки взвешенного ме-

тода наименьших квадратов (ÂÌÍÊ)

bW LS = (X0W X) 1X0W Y;

ãäå W положительно определенная матрица.

5Асимптотические свойства ОМНК-оценок

Рассмотрим асимптотические свойства ОМНК-оценки. Для этого представим ее в

следующем виде:					!	1
= +	1		n	x x			1		n	x e	:
	n		i=1	2(i xi0i)			n		=1	2(ixii)
e			X						Xi

39

Пользуясь законом больших чисел и центральной предельной теоремой, получим:

1

n

xix0

p

Xi

i

! Qxx= 2

n

=1

2(xi)

1

n

x e

p

n i=1

2(ixii)

! E

X

1

n

xiei d

Xi

p

2(xi) ! N

n

=1

= E 2(x0 )			;
	xx
2(x) = 0;
xe
0; Qxx= 2		:

Последнее выражение следует из

"#

E	2(x)			2	2(x0 )E[e2jx]			= Qxx= 2 :
				= E
		xe				xx

Таким образом, ОМНК-оценка является состоятельной и асимптотически нормальной.

Ниже приведена таблица, содержащая асимптотические дисперсионные матрицы МНК- и ОМНК-оценок для случаев условной гетеро- и гомоскедастичности:

	OLS			GLS
Гомоскедастичность	2Qxx1		Qxx=1	2 = 2Qxx1
Гетероскедастичность	Q 1Qe2xxQ 1			Q 1	2
	xx	xx		xx=

Теорема. ОМНК-оценка e асимптотически эффективна в классе оценок вида

IV =	1		n	!	1	1		n
	n		i=1 zixi0			n		=1 ziyi;
b			X					Xi

ãäå zi = f(xi) для любой функции f : Rk ! Rk.

Доказательство. Заметим, что МНК- и ОМНК-оценки принадлежат указанному классу, т.к. для МНК zi = xi, à äëÿ ÎÌÍÊ zi = xi= 2(xi): Рассмотрим оценку

IV =	1		n	!	1	1		n
	n		i=1 zixi0			n		=1 ziyi:
b			X					Xi

Легко показать, что она состоятельна и асимптотически нормальна с асимптотиче- ской дисперсионной матрицей

Vzz = Qzx1Qe2zzQxz1;

40