ГЛАВА 3. МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ

Цель: научиться определению параметров уравнения множественной линейной регрессии методом наименьших квадратов и проведению анализа построенного уравнения.

Методические указания

В этой главе важно абсолютно все. Перед изучением необходимо повторить следующий материал из матричного анализа: умножение матриц, обратная матрица, решение системы линейных уравнений методом обратной матрицы. В этой главе все, что относится к парной линейной регрессии, обобщается на множественную линейную модель. В первой главе приведены функции программы Microsoft Office Excel, позволяющие проводить операции с матрицами. Обратите внимание, что по сравнению с предыдущей главой для определения социально-экономического смысла коэффициентов при объясняющих переменных важно отсутствие мультиколлинеарности (сильной линейной взаимосвязи) этих переменных. Запомните, что формула для расчета коэффициентов уравнения также следует из применения метода наименьших квадратов. Следует изучить рассмотренный ниже пример. Обратите внимание на взаимосвязь модели в исходных и в стандартизованных переменных.

§ 1. Определение параметров уравнения регрессии

На любой экономический показатель чаще всего оказывают влияние не один, а несколько факторов. В этом случае вместо парной рег-

рессии M (Y x)= f (x) рассматриваетсямножественнаярегрессия:

M (Y		x1,x2,...,xm)= f (x1,x2,...,xm).	(3.1)
Задача оценки статистической взаимосвязи			переменных
Y и X =(X1 , X2 , ..., Xm ) формулируется аналогично			случаю пар-

ной регрессии. Уравнение множественной регрессии может быть представлено в виде:

Y = f (β,X )+ε,

(3.2)

65

где Y и X =(X1 , X2 , ..., Xm ) — вектор независимых (объясняющих) переменных; β=(β0, β1, β2,..., βm) — вектор параметров

(подлежащих определению); ε — случайная ошибка (отклонение); Y — зависимая (объясняемая) переменная. Предполагается, что для данной генеральной совокупности именно функция f связывает исследуемую переменную Y с вектором независимых переменных

Y и X =(X1 , X2 , ..., Xm ).

Рассмотрим самую употребляемую и наиболее простую из моделей множественной регрессии — модель множественной линейной регрессии.

Теоретическое линейное уравнение регрессии имеет вид:

Y = β0 +β1 X 1+β2 X 2+...+βm X m +ε	(3.3)
или для индивидуальных наблюдений i (i=1, 2, ..., n)
yi = β0 +β1xi1+β2 xi2+...+βm xim +εi .	(3.4)

Здесь β=(β0, β1, β2,..., βm) — вектор размерности (т+1) неизвестных параметров. βj , j =(1, 2, ..., m) называется j-м теоретиче-

ским коэффициентом регрессии (частным коэффициентом регрессии). Он характеризует чувствительность величины Y к изменению Xj. Другими словами, он отражает влияние на условное математи-

ческое ожидание M (Y x1,x2,...,xm) зависимой переменной Y объяс-

няющей переменной Xj при условии, что все другие объясняющие переменные модели остаются постоянными, β0 — свободный член,

определяющий значение Y в случае, когда все объясняющие переменные Xj равны нулю.

После выбора линейной функции в качестве модели зависимости необходимо оценить параметры регрессии.

Пусть имеется n наблюдений вектора объясняющих переменных X =(X 1, X 2, ...,X m) и зависимой переменной Y:

{xi1, xi 2 , ..., xim , y i}, i =1, 2, ..., n.

66

Для того чтобы однозначно можно было решить задачу отыскания параметров β0, β1, β2,..., βm , должно выполняться неравенство

n ≥m+1 . Если n =m+1, то оценки коэффициентов вектора β

рассчитываются единственным образом.

Если число наблюдений больше минимально необходимого: n >m+1 , то возникает необходимость оптимизации, оценивания

параметров β0, β1, β2,..., βm , при которых формула дает наилучшее

приближение для имеющихся наблюдений.

Обычно рекомендуют, чтобы количество наблюдений (объем выборки) в 5-6 раз превышало число оцениваемых параметров уравнения.

В данном случае число ν=n−m−1 называется числом степеней свободы. Самым распространенным методом оценки параметров уравнения множественной линейной регрессии является метод наименьших квадратов (МНК). Напомним, что его суть состоит в минимизации суммы квадратов отклонений наблюдаемых значений

ˆ

зависимой переменной Y от ее значений Y , получаемых по уравнению регрессии.

Отметим, что изложенные ранее предпосылки МНК, позволяют проводить анализ в рамках классической линейной регрессионной модели.

Как и в случае парной регрессии, истинные значения параметров βj по выборке получить невозможно. В этом случае вместо

теоретического уравнения регрессии (3.3) оценивается так назы-

ваемое эмпирическое уравнение регрессии:

	Y =b0 +b1 X 1+b2 X 2+...+bm X m +e.	(3.5)
Здесь	b0, b1, ..., bm — оценки теоретических	значений
β0, β1, ..., βm	коэффициентов регрессии (эмпирические коэффици-

енты регрессии, e — оценка случайного отклонения ε). Для индивидуальных наблюдений имеем:

yi =b0 +b1xi1+b2 xi2+...+bm xim +ei , (i =1, 2, ..., n) (3.6)

67

Оцененное уравнение в первую очередь должно описывать общий тренд (направление) изменения зависимой переменной Y. При этом необходимо иметь возможность рассчитать отклонения от указанного тренда.

По данным выборки объема n : (xi1, xi 2, ..., xim, yi), i =1, 2, ..., n

требуется оценить значения параметров βj вектора β , т. е. провести параметризацию выбранной модели (здесь xij , j =1, 2, ..., m

значение переменной Xj в i-м наблюдении).

При выполнении предпосылок МНК относительно случайных отклонений εi, оценки b0, b1, ..., bm параметров β0, β1, ..., βm множе-

ственной линейной регрессии по МНК являются несмещенными, эффективными и состоятельными.

На основании (3.6) отклонение ei значения yi зависимой переменной от модельного значения ˆyi , соответствующего уравнению рег- рессиивi-мнаблюдении i =1, 2, ..., n , рассчитываетсяпоформуле:

ei=yi −ˆyi = yi−b0 −b1xi1−b2 xi2−...−bm xim . (3.7)

§ 2. Расчет коэффициентов множественной линейной регрессии

Представим данные наблюдений и соответствующие коэффициенты в матричной форме.

y1		1		x11
			1	x21
y2
Y =	,	X =
...		... ...
			1	xn1
yn

x12

x22

...

xn2

... x1m

... x2m

... ...

... xnm

	b0		e1
	b1		e2
,	B =	,	e=
	...		...
	bm		en

Здесь Y — n-мерный вектор-столбец наблюдений зависимой переменной Y; X — матрица размерности n×(m+1), в которой i-я строка i =1, 2, ..., n представляет i-е наблюдение вектора значений независимых переменных X 1,X 2, ...,X m , единица соответствует переменной при свободном члене b0; B — вектор-столбец размер-

68

ности (m+1) параметров уравнения регрессии (3.5); e — векторстолбец размерности n отклонений выборочных (реальных) значений yi зависимой переменной от значений ˆyi , получаемых по

уравнению регрессии:

ˆyi =b0 +b1xi1+b2 xi2+...+bm xim .	(3.8)
В матричном виде соотношение (20) примет вид:
e=Y −XB .	(3.9)
Согласно методу наименьших квадратов:
n
∑ei2 =eTe=(Y−XB)T (Y−XB)→min ,	(3.10)

i=1

где eT =( e1, e2, ..., en ) , т. е. надстрочный значок T означает транс-

понированную матрицу.

Можно показать, что условие (3.10) выполняется, если векторстолбец коэффициентов B найти по формуле:

B =(X T X )−1 X TY .

(3.11)

Здесь X T — матрица, транспонированная к матрице X,

(X T X )−1 — матрица, обратная к (X T X ). Соотношение (3.11)

справедливо для уравнений регрессии с произвольным количеством m объясняющих переменных.

Пример 3.1. Пусть объем предложения некоторого блага Y фирмы линейно зависит от цены X1 и заработной X2 сотрудников, производящих данное благо (табл. 3.1). Определим коэффициенты уравнения линейной регрессии. (Здесь предполагается знание матричной алгебры).

Таблица 3.1

Данные для множественной линейной регрессии

Y	20	35	30	45	60	69	75	90	105	110
X1	10	15	20	25	40	37	43	35	38	55
X2	12	10	9	9	8	8	6	4	4	5

69

Матрицы имеют вид:

	10					20								10		318	75
															11862		2116
1		12										X T X = 318								,
	15					35
1		10												75		2116	627
	20	9				30
1
	25	9				45
1													7,310816			−0,10049			−0,53537
1 40 8						60
										−1						0,001593
X =			, Y =					, (X T X )			= −0,10049							−0,006644 ,
1	37	8			69							−0,53537			−0,006644				0,043213
	43	6				75
1
1	35	4				90										639
	38	4
1					105
	55	5											X TY = 23818 ,
1					110											4077
			1			1		1		1	1		1	1		1	1	1
		X T = 10			15			20		25	40		37	43	35 38			55 ,
					10			9		9	8		8	6		4	4	5
			12
			b0										95,5
									−1
	B = b1			=(X T X )						X TY =			0,818 .
			b2									−7,680

Таким образом, уравнение регрессии имеет вид:

ˆ

Y =95,5+0,818X 1−7,680X 2 .

Отметим, что в случае двух объясняющих переменных:

n

X T X = ∑n xi1

i=n1

∑i=1 xi2

n

∑xi1

i=1

n

∑xi21 i=1

n

∑xi1xi2

i=1

n				n
∑xi2				∑ yi
i=1			i=1
n		T	n
∑xi1xi2	;	X Y =		∑xi1 yi	.
i=1				i=1
n				n
2
∑xi2			∑xi2 yi
i=1			i=1

70