черняк

		Квар		Випуск,	Капітал
	тал			тис грн, y	,
					тис грн, x
		2002/		129	787
	Q2
		2002/		131	809
	QЗ
		2002/		140	812
	Q4

1.Побудуйте регресію виглядуyt xt t .

2.Побудуйте надійні інтервали для коефіцієнтів моделі з рівнем надійності 99 %.

3.Перевірте модель на адекватність із рівнем надійності 95 %.

4.Визначте, на скільки зросте випуск підприємства при збільшенні розміру встаткування на 3 %.

5.Визначте, на скільки зросте випуск підприємства при збільшенні розміру встаткування на 1,2 млн грн.

Задача 1.16. Відома інформація про дохід підприємства у млн грн, y , і відношення його капіталу до кількості працівників K L :

y	K/L
2,	12,
263	116
2,	12,
266	137
2,	12,
284	259
2,	12,
300	364
2,	12,
367	805
2,	13,
412	109
2,	13,
442	313
2,	13,
508	757
2,	13,
538	960
2,	14,
585	280
2,	14,
653	745
2,	14,
667	845
2,	14,
670	859
2,	14,
686	975
2,	15,
698	056
2,	15,
728	259
2,	15,
749	409
2,	15,
795	728
2,	16,
896	429
2,	16,

31

y	K/L
945	772
3,	18,
245	906
3,	19,
268	077
3,	19,
284	193
3,	19,
297	282
3,	19,

350668

1.Оцініть функцію Солоу yt K L t .

2.Побудуйте надійні інтервали для коефіцієнтів моделі з рівнем надійності 95 %.

3.Перевірте модель на адекватність із рівнем надійності 90 %.

4.Визначте, на скільки зросте дохід підприємства при збільшенні відношення капіталу до праці на 1 %.

5.Визначте, на скільки зросте дохід підприємства при збільшенні відношення K L на

0,4.

Задача 1.17. Для даних задачі 1.16 визначте залежність доходу підприємства від часу, побудувавши трендову регресію yt t t .

1.Перевірте значущість коефіцієнта , 0,01.

2.Побудуйте надійні інтервали для коефіцієнтів моделі з рівнем надійності 90 %.

3.Перевірте модель на адекватність із рівнем надійності 99 %.

4.Визначте, на скільки зростає в середньому дохід підприємства за один період спостережень.

5.Зробіть прогноз доходу підприємства на наступний період.

Задача 1.18. Відома інформація про дохід підприємства у млн грн, y , і відношення його капіталу до працівників K L :

y	K L
7,	6,
203	242
7,	6,
941	771
7,	6,
314	322
5,	5,
969	337
5,	5,
577	044
6,	5,
048	396
6,	5,
509	737
6,	6,
990	088
5,	5,
808	217
6,	5,
015	372
5,	5,
537	014
7,	6,

32

y	K L
663	573
5,	5,
571	039
6,	5,
063	407
7,	6,
427	404
6,	5,
730	899
7,	6,
713	608
6,	5,
804	953
5,	5,
959	330
7,	6,
540	485
6,	5,
330	605
7,	6,
089	160
7,	6,
907	747
5,	5,
831	235
5,	5,

536013

1.Оцініть функцію Солоу yt K L t .

2.Побудуйте надійні інтервали для коефіцієнтів моделі з рівнем надійності 90 %.

3.Перевірте модель на адекватність із рівнем надійності 95 %.

4.Визначте, на скільки зросте дохід підприємства при збільшенні відношення капіталу до праці на 2 %.

5.Визначте, на скільки зросте дохід підприємства при збільшенні відношення K L на

0,1.

Задача 1.19. Для даних задачі 1.18 визначте залежність доходу підприємства від часу, побудувавши трендову регресіюyt t t .

1.Перевірте значущість коефіцієнта , 0,05 .

2.Побудуйте надійні інтервали для коефіцієнтів моделі з рівнем надійності 95 %.

3.Перевірте модель на адекватність із рівнем надійності 95 %.

4.Визначте, на скільки зростає в середньому дохід підприємства за один період спостережень.

5.Зробіть прогноз доходу підприємства на наступний період.

Задача 1.20. На основі даних про рівень нагромадження (млрд грн), S , та дохід (млрд грн) Y побудуйте регресію вигляду St Yt t :

S	Y
2	1
,9	5,8
3	1
,0	6,5
3	1
,1	7,2
3	1

33

S	Y
,3	7,9
3	1
,4	8,6
3	1
,5	9,3
3	2
,7	0,0
3	2
,8	0,7
3	2
,9	1,4
4	2
,0	2,1
4	2
,2	2,8
4	2
,3	3,5
4	2
,4	4,2
4	2
,6	4,9
4	2
,7	5,6
4	2
,8	6,3
4	2
,9	7,0
5	2
,1	7,7
5	2
,2	8,4
5	2
,3	9,1
5	2
,5	9,8
5	3
,6	0,5
5	3
,7	1,2
5	3
,8	1,9
6	3
,0	2,6
6	3
,1	3,3
6	3
,2	4,0
6	3
,4	4,7
6	3
,5	5,4
6	3
,6	6,1
6	3
,7	6,8

1.Визначте значущість коефіцієнтів регресії, 0,05 .

2.Перевірте модель на адекватність із рівнем надійності 95 %.

3.Побудуйте надійні інтервали для коефіцієнтів моделі з рівнем надійності 95 %.

34

4.Визначте, на скільки відсотків зросте рівень нагромадження, якщо дохід зросте на

5 %.

5.Обрахуйте коефіцієнт кореляції між змінними, перевірте його значущість, 0,1.

Розділ 2. Множинна лінійна регресія

2.1. Описання моделі

За допомогою моделі простої лінійної регресії визначають зв'язок між залежною змінною y і незалежною змінною x . Модель множинної лінійної регресії описує

співвідношення між y і набором незалежних змінних x0,x1, ,xk 1. Наприклад, під час

досліджування треба визначити залежність обсягу попиту на деякий товар від ціни на цей товар, цін на взаємозамінні з ним товари та від доходів споживачів. У цьому разі слід застосувати щонайменше три незалежні змінні.

За наявності n спостережень модель множинної лінійної регресії записують у вигляді

yt 0xt,0 1xt,1 k 1xt,k 1 t ,t	1,n	,	(2.1)
де xtj – значення j -ї незалежної змінної ( x j ) у t -му періоді. Збурення t			задовольняють

тим самим припущенням, що і в моделі простої регресії, де:

нульове середнє: M t 0 ;

гомоскедастичність збурень D t M t2 2 const, t 1,n ;

некорельованість збурень cov( t , s ) 0, t s ;

некорельованість збурень і регресорів

cov( t ,xs, j ) 0, t,s, j (якщо регресори

нестохастичні, то це припущення виконано автоматично);

збурення t нормально розподілені для всіх t .

Модель множинної лінійної регресії (2.1) зручно записувати в матрично-векторному вигляді

y Xβ ε

(2.2)

з використанням таких позначень:

y

1

y2

y .

– вектор значень залежної змінної;

.

y

n

x

10

x

x

11

1,k 1

x20

x21

x2,k 1

– матриця значень незалежних змінних;

X

xn1

xn 0

xn,k 1

1

2

– вектор збурень;

ε

n

35

	0
	1
			– вектор параметрів (коефіцієнтів) регресії.
β
	k 1
			X складається з n рядків – відповідно до кількості спостережень, і з k
Матриця

стовпчиків, кількість яких дорівнює кількості незалежних змінних. Щоб записати модель із константою

yt 0 1xt,1 k 1xt,k 1 t ,t 1,n

у матричному вигляді, розглядають матрицю значень незалежних змінних, у якій перший стовпчик складається з одиниць

1

x

x

11

1,k 1

1 x21

x2,k 1

X

.

1 xn1

xn,k 1

Позначимо через

Dε

коваріаційну матрицю вектора збурень. Тоді внаслідок того,

що збурення мають

нульові математичні сподівання, маємо:

D 1

cov( 1, 2 )

cov( 1, 3 )

cov 1, n

cov(

2

,

)

D

2

cov(

2

,

3

)

cov

2

,

1

n

Dε

cov(

,

) cov(

,

2

)

D

n

1

n

n

M 2

M

M

3

M

1

1 2

1

1 n

2

M 2 3

M 2 n

M 2 1

M 2

T

M(εε

),

M

M

M 2

M

2

3

n

1

n

n

n

Припущення 2 та 3 щодо збурень регресії зручно записувати у вигляді

Dε 2I ,

де I – одинична матриця n -го порядку, а припущення 1 у вигляді Mε 0 .

Таким чином, модель множинної лінійної регресії в матрично-векторних позначеннях має такий вигляд:

y Xβ ε, Mε 0, Dε 2I,

ε не залежить від X; ε ~ N(0, 2I).

2.2. Знаходження параметрів регресії методом найменших квадратів

Нехай βˆ (ˆ0,ˆ1,...,ˆk 1)T – деяка оцінка вектора параметрів β. Запишемо рівняння

вибіркової регресії

yˆ ˆ0x0 ˆ1x1 ˆk 1xk 1,.

Тоді

36

yˆt ˆ 0x0 ˆ1xt,1 ˆ k 1xt,k 1

є оцінкою математичного сподівання Myt , побудованою на основі вибіркової регресії. Залишки ˆt визначаємо як різниці між значеннями y , які спостерігались, і обчисленими з регресії: ˆt yt yˆt .

Вектор залишків εˆ дорівнює εˆ y yˆ , де yˆ (yˆ1,yˆ2, ,yˆn )T , yˆ Xβˆ .

Оцінки методу найменших квадратів знаходять з умови мінімізації суми квадратів залишків за всіма можливими значеннями βˆ :

Q		ˆ		n	2		ˆT	ˆ
		Q(β)			ˆt		(ε	,ε)
				t 1

Якщо регресію записати у вигляді

yt 0xt,0 1xt,1 k 1xt,k 1 t ,t 1,n ,

то оцінки МНК можна знайти, розв'язавши систему нормальних рівнянь:

n

x

x

2,t

x

k 1,t

y ,

0 1

1,t

2

k 1

t

x

x2

x x

2,t

x x

k 1,t

x y ,

0

1,t

1

1,t

2

1,t

k 1

1,t

1,t t

x

x x

x

x

x

2

x

y .

k 1,t

k 1,t

k 1,t

0

1

1 k 1,t

2

2

k 1

k 1,t t

(2.3)

(2.4)

Щоб мінімізувати вираз (2.3) у

векторному

вигляді,

запишемо необхідну умову

екстремуму, тобто прирівняємо часткові похідні відносно

ˆ

до нуля. Маємо

β

Q

2X

T

y 2X

T

ˆ

,

ˆ

Xβ 0

β

тобто система нормальних рівнянь

(2.4) у матричній формі

набуває вигляду

T

ˆ

T

y

,

X Xβ X

звідки

ˆ

T 1

X

T

y

.

(2.5)

β (X X)

Перевірка достатніх умов екстремуму показує,

ˆ

обчислена за (2.5), насправді

що ,

мінімізує функцію (2.3). Таким чином, оцінку методу найменших квадратів коефіцієнтів моделі множинної лінійної регресії можна знайти за формулою (2.5).

Рівняння вибіркової регресії набуває вигляду

yˆ ˆ 0x0 ˆ1x1 ˆ k 1xk 1,

або, у випадку регресії з константою

yˆ ˆ 0 ˆ1x1 ˆ k 1xk 1.

Рівняння вибіркової регресії є рівнянням лінійної функції багатьох змінних.

2.3. Властивості залишків методу найменших квадратів

Для прикладу розглянемо множинну регресію вигляду

yˆt ˆ 0 ˆ1x1,t ˆ k 1xk 1,t .

Використовуючи введені вище векторно-матричні позначення, можна записати

yˆ Xβˆ X(XT X) 1XT y .

Вектор залишків методу найменших квадратів εˆ визначаємо як

εˆ y yˆ y Xβˆ (I X(XT X) 1XT )y .

Зміст поняття залишків такий самий, як і в моделі простої лінійної регресії. Запишемо систему нормальних рівнянь у такому вигляді:

XT (X y) 0 ,

або

X	T ˆ		0	(2.6)
	ε

37

Очевидно, що вектор залишків ортогональний до кожного стовпчика матриці X. Згадаємо, що j -й стовпчик цієї матриці утворюють значення j -го регресора. Таким

чином, залишки методу найменших квадратів ортогональні до регресорів. Якщо розглядати модель із константою, то перший стовпчик матриці X складається з одиниць, і з рівняння (2.6) випливає, що

n	ˆt	0	(2.7)
t 1

З останньої рівності випливає, що в моделі з константою сума залишків методу найменших квадратів дорівнює нулю.

Оскільки	yˆ	ˆ	, то
		Xβ
			T	εˆ	ˆ T	εˆ	ˆT	T	(2.8)
			(yˆ,εˆ) yˆ		(Xβ)		β X	εˆ 0

унаслідок (2.7). Крім того, вектор yˆ є лінійною комбінацією стовпчиків матриці X , тобто

регресорів.

Зі співвідношення (2.8) випливає важливий наслідок: регресійна гіперплощина в моделі з константою проходить через точку, координати якої дорівнюють середнім значенням незалежних змінних.

2.4. Статистичні властивості оцінок методу найменших квадратів. Теорема Гауса – Маркова

Покажемо, що МНК-оцінка є незміщеною оцінкою β:

Mβˆ M XT X 1 XT y XT X 1 XT M y XT X 1 XT M Xβ ε

XT X 1 XT Xβ XT X 1 XT Mε β.

Знайдемо коваріаційну матрицю МНК-оцінки:

ˆ

X

T

X

1

T

T

1

X

T

X

T

X

1

X

T T

D β

D

X y

X X

D y

X

T

X

1

T

2

I

T

1

T

T

2

T

1

T

T

X

1

X

X X

X

X X

X X X

2 XT X 1 .

Таким чином,

ˆ

M ,

ˆ

2

(X

T

-1

(2.9)

Dβ

X) .

Безпосередньо дисперсії кожного з коефіцієнтів регресії містяться на головній діагоналі отриманої матриці. Проте наведені формули не можна використовувати для перевірки гіпотез та інтервального оцінювання, оскільки до них входить невідомий параметр –

дисперсія збурень 2 . Можна показати, що статистика
ˆ 2 RSS ,	(2.10)
n k
де k – кількість регресорів, включаючи константу, є незміщеною оцінкою	2 . Якщо

	ˆ
збурення нормально розподілені, то має багатовимірний нормальний розподіл,
математичне сподівання і дисперсію якого обчислюємо за формулою (2.9).
Величина				n
					ˆ 2
	RSS		(n k)
				t 1	t
	2			2		ˆ
2	степенями свободи						коваріаційної
має – розподіл з n k				і не залежить від . Оцінку

матриці коефіцієнтів регресії за методом найменших квадратів одержуємо, підставивши до формули (9) виразу (10) замість дисперсії збурень 2 :

38

ˆ

2

(X

T

-1

.

Dβ ˆ

X)

Позначимо через

ˆ

оцінку середньоквадратичного відхилення

ˆ

s.e.( j )

коефіцієнта j .

Розмірковуючи таким

чином

, як у випадку простої регресії, доходимо висновку, що

ˆ

j j

~ t

, j 0,k 1.

(2.11)

ˆ

)

n k

s.e.( j

Оцінки методу найменших квадратів є лінійними в тому розумінні, що ˆ – лінійна функція y . Наведена теорема визначає оптимальні властивості оцінки методу

найменших квадратів.

Теорема Гауса – Маркова:

1.Нехай припущення про нормальність збурень не накладено. Тоді МНК-оцінки будь- якої лінійної комбінації параметрів регресії мають найменшу дисперсію в класі незміщених лінійних оцінок.

2.Припустимо, що збурення мають нормальний розподіл. Тоді МНК-оцінки будь-якої лінійної комбінації параметрів регресії мають найменшу дисперсію в класі незміщених оцінок.

Таким чином, оцінки коефіцієнтів ˆ мають найменші дисперсії серед оцінок відповідних класів.

2.5. Розклад дисперсії залежної змінної. Коефіцієнт детермінації. Скоригований коефіцієнт детермінації

Як і в моделі простої лінійної регресії, суму квадратів відхилень залежної змінної можна розкласти на дві частини. Проте такий розклад суттєво залежить від того, чи є в регресії константа.

Нехай константа існує в регресії, тобто ми розглядаємо модель вигляду yt 0 1xt,1 k 1xt,k 1 t ,t 1,n .

n

yˆt

Тоді внаслідок (2.6)-(2.8), а також того, що

yˆ

t 1

маємо

n

n

n

n

)2

)2

)2

TSS

(y

(y yˆ

yˆ

(ˆ

yˆ

y

y

t

y

t

t

t

t

t 1

t

t 1

t 1

n

n

n

n

n

ˆ 2

2 ˆ

(yˆ

)

(yˆ

)2

ˆ 2

(yˆ

yˆ

)2.

y

y

t

t

t

t 1

t

t 1

t

t 1

t

t 1

t 1

Як і раніше,

n

(yˆ

)2 – пояснена сума квадратів,

ESS

yˆ

t 1

t

n

ˆ 2

– сума квадратів залишків.

RSS

t 1

t

Отже, формулу розкладу дисперсії слід використовувати й у випадку множинної регресії

TSS ESS RSS.		n				(2.12)
Якщо ж константи немає в регресії, то подвійний добуток	2		ˆt (yˆt			не завжди
					)
				y
	t 1

дорівнюватиме нулю, а тому не можна стверджувати, що завжди виконуватиметься тотожність (2.12).

Коефіцієнт множинної детермінації (або коефіцієнт детермінації R2 треба визначати як частку поясненої і загальної сум квадратів:

R2	ESS	1 RSS	(2.13)
	TSS	TSS

Коефіцієнт множинної детермінації показує, яку частину дисперсії залежної змінної пояснюють за рахунок моделі, або, іншими словами, незалежними змінними в сукупності.

39

Підкреслимо, що коефіцієнт детермінації є мірою щільності саме лінійного зв'язку між залежною та незалежними змінними.

Коефіцієнт детермінації завжди перебуває в межах від нуля до одиниці. Що ближче R2 до 1, то тісніший зв'язок між змінними. Якщо R2 1, то це означає, що всі значення y

належать гіперплощині, породженій стовпчиками матриці X . Якщо R2 0 , то лінійного зв'язку між змінними немає. Коефіцієнт детермінації використовують як міру згоди і для множинної регресії.

Також слід зазначити, що в моделях без константи через порушення тотожності (2.12)

різні способи визначення R2 дають різні результати, і коефіцієнт детермінації важко інтерпретувати. Тому в жодному разі не можна співвідносити моделі з константою і без константи на підставі порівняння коефіцієнтів детермінації. Якщо немає економічних підстав обрати регресійну функцію у вигляді без константи, то бажано розглядати модель з константою.

Одним із суттєвих недоліків коефіцієнта детермінації є те, що при додаванні регресорів

R2 зростає. Також під час найпростіших перетворень залежної змінної коефіцієнт детермінації суттєво змінюється. Тому для порівняння моделей з різною кількістю регресорів, а також моделей з різною функціональною формою змінних використовують скоригований коефіцієнт детермінації

ESS Radj2 1 nTSSk .

n 1

Очевидно, що при цьому значення скоригованого коефіцієнта детермінації можна

виразити через величину R2

Radj2 1 1 R2 nn k1 .

Неважко показати, що для будь-яких k 1 коефіцієнт детермінації більший за скоригований коефіцієнт детермінації:

R2 Radj2 .

Це означає, що скоригований коефіцієнт детермінації занижує якість побудованої моделі залежно від кількості додаткових регресорів, що дозволяє більш коректно порівнювати моделі з різною кількістю чинників.

Нарешті, з огляду на останню нерівність, скоригований коефіцієнт детермінації не може перевищувати 1. Чим ближче до 1 його значення, тим ліпше побудована модель.

На відміну від звичайного коефіцієнта детермінації, величина скоригованого коефіцієнта детермінації може бути від'ємною.

Приклад 2.1. Оцінювання множинної регресії

Бюджетне обстеження п'яти випадково вибраних сімей дало такі результати:

Сім'я	1	2	3	4	5
Нагромадження,	3	6	5	3	1
S				,5	,5
Дохід, Y	4	5	4	3	3
0	5	5		0	0
Майно, W	6	3	3	1	9
0	6	6		5	0

Оцініть регресію S на Y та W з константою. Спрогнозуйте нагромадження сім'ї, якщо її дохід 40 тис. грн, а майно 25 тис. грн. Нехай дохід зріс на 10 тис. грн. Як зростуть нагромадження сім'ї? Знайдіть коефіцієнт детермінації моделі.

Розв'язання

Оцінимо регресію St 0 1Yt 2Wt t ,t 1,5 . Для знаходження коефіцієнтів регресії можна скористатися двома способами.

40