лекції по економетрії

менше кореляційний зв'язок між досліджуваними змінними відрізняється від лінійного і чим тісніший цей зв'язок.

Метод рангової кореляції не вимагає лінійної кореляції між змінними. Однак, необхідно, щоб функція регресії, що відображує цей зв'язок, була монотонною.

Особливо корисною рангова кореляція є при дослідженні зв'язків між явищами, що не піддаються кількісній оцінці. У таких випадках дослідник на основі свого досвіду, чи порівнянь з яким-небудь еталоном, надає елементам вибірки ранги по кожному з досліджуваних якісних ознак. Наприклад, рангову кореляцію можна використовувати при дослідженні залежності між сортами продукції і виробничими витратами. При вивченні якості виробів їх часто класифікують по наступних рівнях: «відмінне, дуже гарне, гарне, середнє, погане». Аналогічно можна скласти шкалу і для інших ознак.

Рангову кореляцію широко використовують також при анкетуванні й опитуваннях населення, при обробці результатів різноманітних тестів. Таким чином, рангова кореляція виявляється корисною завжди для вивчення зв'язків там, де властивості явищ не піддаються точному кількісному виміру, але дозволяють робити порівняльну оцінку, завдяки якій складають послідовності рангів.

2. Коефіцієнт рангової кореляції Спірмена

Коефіцієнт рангової кореляції Спірмена є парним, оскільки вивчається зв'язок між двома змінними.

Позначимо ранги, що відповідають значенням змінної "у", через v, а ранги, що відповідають значенням змінної "х" – через w. Коефіцієнт рангової кореляції Спірмена обчислюється по формулі:

де n – обсяг вибірки. Видно, що для розрахунку коефіцієнта необхідно визначити тільки квадрати відхилень рангів. Існують випадки, коли два чи більше елементів сукупності мають однакові значення ознаки і не можливо знайти істотну різницю між ними. Елементи, що володіють такою властивістю – відсутністю переваг, – називаються зв'язаними, а група що з них утворена – ланцюгом. Метод, що застосовується для надання порядкового номера зв'язаним елементам, називається методом середніх рангів. Він полягає в усередненні рангів, що мали б елементи, якби вони були різними. Сума рангів при цьому залишається такою, як і при ранжуванні без зв'язків. Наприклад, якщо у змінної "у" четверте, п'яте і шосте значення однакові по величині, тоді кожному із них надається ранг (1/3)*(4+5+6)=5. Наступному ж по величині значенню надається ранг 7. При наявності зв'язаних рангів до коефіцієнта рангової кореляції Спірмена вводиться поправка:

(1)

де А і В – поправочні коефіцієнти для ланцюгів відповідно в послідовностях рангів v і w:

	A =		1		å(A3j − Aj ),	j =1,2,......, z,
		12
					j	(2)
	B =	1			å(B3j − Bj ),	k =1,2,......, p.
		12
					j

j – порядкові номери ланцюгів серед рангів v, якщо існує один ланцюг, то j == 1, якщо два, то j = 1, 2 і т.д.; Aj – число однакових значень ряду v, що належать одному ланцюгу; у випадку коли другому ланцюгу належить п'ять однакових значень, вони позначаються як: А2 = 5. k і Bk визначаються по аналогії.

Коефіцієнт рангової кореляції приймає значення всередині інтервалу -1 ≤ rs ≤ +1. Якщо vі = wі, то rs=1. У цьому випадку є повна погодженість між елементами двох рядів. Кожен елемент займає одне і теж саме місце в обох рядах, що означає повну позитивну кореляцію рангів. Якщо rs = -1, то елементи двох рядів розташовані в зворотному порядку і між ними повна неузгодженість. Це означає повну від’ємну кореляцію рангів. І нарешті, якщо rs = 0, те це свідчить про відсутність кореляції між рангами.

3. Коефіцієнт рангової кореляції Кендела

Наступний коефіцієнт рангової кореляції τ, не пов'язаний з передумовою нормальності генеральної сукупності, був запропонований Кенделом. Він обчислюється по рангах vі і wі. При цьому елементи вибірки розташовують так, щоб послідовність рангів однієї із змінних була натуральним рядом 1,2,...,п. Для кожного i-го члена послідовності рангів другої змінної встановлюємо числа pi і qi, що відображують відповідно прямій і зворотній порядок розташування наступних рангів. Потім підраховуємо суми цих чисел P = å pi та Q = åqi , а також різницю

i

i

отриманих S=Р–Q. Коефіцієнт рангової кореляції є відношенням цієї різниці до найбільшого можливого значення Р и Q, тобто до найбільшої можливої суми pi або qi. Таку величину можна отримати лише тоді, коли порядок рангів в обох послідовностях цілком збігається. Вона дорівнює:

Коефіцієнт рангової кореляції Кендела можна обчислювати по одній з еквівалентних формул:

Коефіцієнти Спірмена та Кендела побудовані порізному, тому порівнювати ці коефіцієнти по величині само по собі не дає ніякої додаткової інформації про інтенсивність зв'язку.

4. Індекс Фехнера

Простим показником ступеню взаємозв'язку між двома статистичними рядами є індекс Фехнера. Для його визначення спочатку по кожному ряду обчислюють середні ( x, y ) і визначають знаки відхилень xi − x і yi − y .

Кожна пара спостережень (xi, yi) буде характеризуватися співпаданням знаків (+ +; – –; + –; – +). Позначимо через v кількість співпадань, а через w– кількість розбіжностей знаків " - ". Індекс Фехнера i визначається за формулою:

Половину відхилень, що дорівнюють нулю, відносять до v, половину – до w. Значення і знаходиться у інтервалі +1≤ і ≤–1. При i > 0 маємо позитивну кореляцію, при i < 0 – від’ємну, а при i = 0 зв'язок відсутній.

Безсумнівною перевагою індексу Фехнера є простота обчислення. Але його великий недолік полягає в тому, що він враховує тільки кількість збігів і розбіжностей знаків відхилень. Тому він рекомендується лише для приблизної оцінки зв'язку.

4. Коефіцієнт конкордації

В економіці існує велике число причинно-обумовлених явищ, ознаки яких не піддаються точній кількісній оцінці. Це так названі атрибутивні ознаки. Наприклад, професія, форма власності, якість виробу, технологічні операції і т.д. Фахівець або експерт ранжує елементи сукупності, при цьому надає кожному з них порядковий номер, що відповідає підсумкам порівняння даної ознаки з іншими елементами. Якщо кількість ознак-змінних більше двох, то в результаті ранжування n елементів (підприємств або установ) з’являються т послідовностей рангів. Для перевірки, чи добре погоджені між собою отримані т рядів, використовується коефіцієнт погодження W, який називається коефіцієнтом конкордації Кендела і розраховується:

При наявності пов'язаних рангів коефіцієнт конкордації W обчислюється по формулі:

	m	åå Rij
	де Di = å Rij −	j i	, i = 1,2, ..., т – сума рангів, наданих всіма
		n
	j 1
	=

експертами і-му елементу вибірки, мінус середнє значення цих сум рангів; т

– число експертів або ознак, зв'язок між якими оцінюється; п – обсяг вибірки

z	− Bk ) , де Bk – число пов’язаних
(число підприємств чи установ), B = å(Bk3
k=1

рангів k=1,...z. Наприклад, якщо пов’язуються елементи від восьмого до одинадцятого включно, тоді Вk=4. Коефіцієнт W приймає значення в інтервалі 0 ≤ W ≤ 1.

Лекція 4 Особливі випадки у багатофакторному регресивному аналізі:

мультиколінеарність

1.Поняття та причини виникнення мультиколінеарності

2.Тестування наявності мультиколінеарності

3.Методи усунення мультиколінеарності

1.Поняття та причини виникнення мультиколінеарності

При вивченні множинної лінійної регресії досить часто стикаються з наявністю лінійної залежності між всіма або декількома пояснюючими змінними. Це явища отримало назву мультиколінеарності. Вперше на цю проблему звернув увагу Р.Фриш. мультиколінеарність між пояснюючими змінними викликає технічні труднощі, що пов‘язані з точністю оцінювання або навіть з неможливістю оцінювання впливу тих чи інших змінних. Причина полягає в тому, що варіації у вхідних даних перестають бути незалежними и тому неможливо відокремити вплив кожної пояснюючої змінної окремо на незалежну змінну.

Розглянемо приклад. Нехай досліджується залежність собівартості від об‘єму виробництва та введених в дію основних засобів. Слід сподіватись, що об‘єм виробництва також залежить від основних засобів. Якщо ми обидві змінні виберемо за пояснюючі, то очевидно, що коефіцієнти регресії не будуть точно відображувати залежність собівартості від обох факторів, так як основні засоби мають додатковий вплив на собівартість через об‘єм виробництва.

Приклад2. Залежність між ціною на акції, дивідендами на акцію за заробленим прибутком на акцію. Дивіденди на акцію та зароблений прибуток на акцію мають високий ступень кореляції.

Причина виникнення Мультиколінеарності в економічних явищах – різноманітність об‘єктивно існуючих співвідношень між пояснюючими змінними. Це стосується регресії, що побудована на результатах одночасних досліджень, так і по даним, що отримані з временних рядів. На мкроекономічні показники впливають однакові фактори. Це призводить до

того, що вони відображають широкий спектр модлей однакової економічної ситуації. Наприклад, у періодюумів або швидкого економічного зростання базові економічні показники також зростають, звичайно з деяким лагом. Такі показники, як доход, споживання, накопичення, інвестиції, ціни, зайнятість мають тенденцію до зростання в період економічної експансії і до спаду в період рецесії. Саме наявність трендів у динамічних рядах є причиною Мультиколінеарності.

Які наслідки викликає мультиколінеарність в кореляційному аналізі? Перш ніж відповісти на це питання розглянемо причини її виникнення. Мультиколінеарність може проявлятись в функціональній (явній) та стохастичній (скритій) формах. Функціональна форма Мультиколінеарності виникає, коли хоча б одна з пояснюючих змінних пов‘язана з іншими пояснюючими змінними лінійним функціональним співвідношенням. Лінійний коефіцієнт кореляції між цими двома змінними в такому випадку дорівнює 1. або –1.

Нехай слід побудувати рівняння регресії у вигляді y=b0=b1*x1+b2*x2. При цьому відомо, що змінні х1 та х2 пов‘язані лінійним співвідношенням х2=а0+ф1*х1. В цьому випадку визначник матриці (Х’X) дорівнює нулю (бо одна стрічка матриці є лінійною комбінацією іншої), тобто ранг матриці Х менше ніж m+1, і матриця (Х’X) є виродженою. Тому система нормальних рівнянь не має однозначного розв‘язку.

Однак на практиці функціональна форма Мультиколінеарності зустрічається досить рідко. Значно частіше Мультиколінеарність проявляється в стохастичній формі. Вона має місце, коли хоча б між двома пояснюючими змінними існує більш сильна кореляція. Система нормальних рівнянь тоді хоч і має розв‘язок, але мають місце надзвичайно великі стандартні похибки. Під стохастичною формою Мультиколінеарності може ховатися функціональна із-за помилок спостереження, вимірювання, що накладаються одна на одну, чи специфікації моделі, коли нелінійна регресія розглядається як лінійна або враховуються не все змінні. Чим сильніше кореляція між пояснюючими змінними, тим менше значення визначника матриці (Х’X). Це приводить до серйозного зниження точності оцінок параметрів регресії, скривлення оцінки дисперсії залишків, дисперсії коефіцієнтів регресії і коваріації між ними. Коефіцієнти регресії стають ненадійними, та їх стає неможливо трактувати як міру впливу відповідної пояснюючої змінної на незалежну змінну. Оцінки стають дуже чутливими до вибіркових даних, тобто невелике збільшення об‘єму вибірки може привести до дуже сильних змін в значеннях оцінок та використання критеріїв значущості оцінок, що містять стандартні помилки, стає ненадійним.

Як висновок: дослідник має перш за все встановити стохастичну Мультиколінеарність і по можливості її усунути.

2. Тестування наявності мультиколінеарності

перейдемо до питання визначення функціональної та стохастичної Мультиколінеарності.

Функціональну Мультиколінеарність встановити легко, так як система нормальних рівнянь, що отримується за методом найменших квадратів, не має однозначного розв‘язку.

Стохастичну форму Мультиколінеарності ми можемо виявити за допомогою таких показників.

1. Високе значення R2 і не значимість t-статистики

Одночасна наявність цих двох факторів є “класичною” ознакою Мультиколінеарності.

Розглянемо р факторну регресій ну модель: Yi=b0+b1*x1+b2*x2+…+bp+xp+ei

У випадку Мультиколінеарності можна визначити за t-статистикою Стьюдента, що один або більше оцінених параметрів статистично незначимо відрізняються від нуля. При високому значенні R2 ми приймаємо з великим ступенем імовірності f-критерій Фішера, бо він відкидає нульову гіпотез,

коли b0=b1=b2=…=bp=0.

Тому високе значення R2ті статистична незначущість деяких параметрів може свідчити про наявність Мультиколінеарності.

2. Високе значення парних коефіцієнтів кореляції Другим поширеним тестом на наявність Мультиколінеарності є перевірка

значень парних коефіцієнтів кореляції. Якщо значення хоча б одного коефіцієнта кореляції більше за 0,85, то Мультиколінеарність є серйозною проблемою.

Однак проблемними у цьому тесті є те, що високе значення парних коефіцієнтів кореляції – достатня, але не необхідна умова наявності Мультиколінеарності.

Мультиколінеарністьможе бути навіть при відносно невеликих значеннях парних коефіцієнтів кореляції у більше, ніж двофакторній регресій ній моделі.

3. F-тест для визначення мультиколінеарності

Цей тест був запропонований Глаубером і Фарсером. Наявність мультиколінеарності свідчить про те, що один або більше факторів пов‘язані між собою лінійною або приблизно лінійною залежністю. Одним із способів визначення щільності регресійного зв‘язку є побудова лінійної залежності кожного фактора хі з усіма іншими факторами і обчислення відповідного коефіцієнта детермінації R2x1x2..xp для цього регресійного рівняння. Тому F- тест має іншу назву – побудова допоміжної регресії.

Коефіцієнт детермінації R2xі х1x2..xp є коефіцієнтом детермінації, яка пов‘язує змінну хі з іншими факторами. Наприклад, R2x2х1x3..xp є коефіцієнтом детермінації такої регресії: х2=в0+в1*х1+в3*х3+...+вр*хр+е.

Для кожного коефіцієнта детермінації розраховуємо Fs- відношення:

(R2 )/(p −1)

F = xsx1,...,xp

i (1 − Rxix2 1x2,...xp )/(n − p)

де n– кількість спостережень, p– кількість факторів.

F- тест перевіряє гіпотезу Н0:R2xі х1x2..xp =0 проти гіпотезиН1: R2xі х1x2..xp ≠0 Розраховані значення Fi порівнюємо з критичними значеннями Fкр ,

знайденими за таблицями F розподілу Фішера з (р-1) та (n-p) ступенями вільності і заданим рівнем значимості. Якщо Fi>Fкр, тоді ми відкидаємо нульову гіпотезу і вважаємо, що фактор хі є мультиколінеарним, інакше приймаємо нульову гіпотезу, і впевнюємось, що фактор хі не є мультиколінеарним.

За коефіцієнтами Fi модна визначити рівень мультиколінеарності.для цього розраховується величина дисперсійно-інфляційного фактора VIF для кожної змінної:

VIFi = 1 −1Ri2

значення VIFі=10 є критичним. Якщо значення VIFі менше10, то можна стверджувати про недостатність зв‘язку між і-м фактором і всіма іншими. Якщо VIFі ≥10, то це свідчить про наявність мультиколінеарності.

4.Характеристичні значення та умовний індекс

Удеяких сучасних статистичних пакетах для перевірки наявності мультиколінеарності використовують характеристичні значення та умовний індекс. За характеристичними числами розраховується умовне число k, як відношення максимального характеристичного числа матириці спостережень до мінімального. Якщо це число знаходиться в діапозоні від 100 до 1000, то це свідчить про помірну мультиколінеарнысть, а при значення більше за 1000 маємо високу мультиколінеарність.

Умовний індекс дорівнює квадратному кореню з числа k

5.За коефіцієнтом множинної детермінації

При відсутності кореляції між пояснюючими змінними, коефіцієнт множинної детермінації дорівнює сумі відповідних коефіцієнтів детермінації 5.1 При відсутності кореляції між пояснюючими змінними, коефіцієнт множинної детермінації дорівнює сумі відповідних коефіцієнтів

детермінації

M1 = Ry2.12,... p − åRyk2

,

p

− yi

)

å(yi

2

SSE

i=1

€

, Rxy2 =

å(x − x)(y − y)

Ry212,... p =1 −

=1 −

2

å(yi

å(x − x)

(y − y)

SST

)− y

2

2

p

i=1

Чим менше число М1, тим менша мультиколінеарність

	5.2. M 3	=1 −	åRtk2
			Ry2.12... p

Чим більше М3, тим інтенсивніше мультиколінеарність.

Показники М1, М2, М3, М4 є наближеними. Їх недоліком є те, що невідомий їх розподіл і тому неможливо встановити їх критичні значення. Ці показники не дають можливості визначити, які змінні викликають Мультиколінеарність.

3. Методи усунення мультиколінеарності

що робити, коли мультиколінеарність виявлено? Безпомилкових і абсолютно правильних порад нема, оскільки мультиколінеарність є прикладною проблемою.в області економіки питання вирішується перш за все виходячи з логічно-професійних міркувань.

Розглянемо такі методи усунення або зменшення мультиколінеарності: 1. вилучення змінних та помилки специфікації

Цей метод полягає в тому, що високо корельовано пояснюючі змінні видаляються з регресії, та вона заново оцінюється. Відбір змінних, що підлягають виключенню, виконується за допомогою коефіцієнта кореляції. Для цього розраховується оцінка значимості коефіцієнтів парної кореляції rij між пояснюючими змінними xi та xj. Досвід свідчить, що якщо |rij|>0.85, то одну з змінних можна виключити. Але яку змінну видалити з аналізу, вирішують виходячи з економічних міркувань.

Але вилучення змінної з моделі може призвести до помилки специфікації. Помилка специфікації виникає через некоректне визначення моделі, що використовується в аналізі. Наприклад, якщо за економічною теорією для пояснення розширення споживання модель повинна включати і дохід і багатство, тоді вилучення змінної багатства створюватиме помилку специфікації.

Із-за відсутності теоретичного обґрунтування цей метод досить наближений. Інший метод вилучення змінних, який був розроблений Фарарром и Глаубером, буде розглянутий на лабораторних роботах.

2. лінійне перетворення змінних Інший спосіб зменшення або позбавлення мультиколінеарності полягає в

переході до регресії приведеної форми шляхом заміни змінних, яким притаманна колінеарність, їх лінійною комбінацією. Наприклад, слід побудувати регресію:

Yt=b0+b1x1t+b2x2t+et

Встановлено, що змінні х1 та х2 високо корельовано. Аналіз явища та результатів спостережень дозволяє визначити додаткове рівняння зв‘язку між пояснюючими змінним х1 та х2., а саме: х2*=х1-х2. Будуємо рівняння регресії з новими змінними х1 та х2*.

використання попередньої інформації

3.використання попередньої інформації та об‘єднання міжгалузевої та динамічної інформації

Ці два методи можна вважати окремими випадками попереднього методу, а саме лінійного перетворення змінних.

Зазвичай на основі раніше проведеного регресійного аналізу або в результаті економічних досліджень вже є більш або менш точне уявлення про величину або співвідношення двох або декількох коефіцієнтів регресії. Ця попередня або не вибіркова інформація може бути використана дослідником при побудові регресії. У зв‘язку з тим.., що частина оцінок, отримана на основі не вибіркових даних, вже має достатньо чітку інтерпретацію. Це полегшує шлях знаходження взаємних впливів змін різних змінних.

Міжгалузева інформація може бути використання при побудові временних рядів, як визначенні значення параметрів регресії.

4. виключення тренду при побудові регресії за даними временних рядів, пропонують виключати

тренд ( зміни послідовних значень змінних, тобто приріст).

Розглянемо ту саму модель (споживання, дохід та багатство). Одна з причин мультиколінеарності цих даних є їхня схильність змінюватися в одному напрямку, а один із шляхів зменшення такої залежності – використання перших різниць у моделі.

Наприклад, якщо залежність

Yt=b0+b1x1t+b2x2t+et

Дійсна в час t, то вона дійсна і в час t–1. тому отримаємо:

Yt-1=b0+b1x1t-1+b2x2t-1+et-1

Віднімемо одне рівняння від іншого. Маємо:

Yt– Yt-1=b1(x1t– x1t-1)+b2(x2t–x2t-1 )+(et– et-1)

Останнє рівняння відоме як рівняння перших різниць, бо ми отримали регресії не з початковими змінними, а з різниць послідовних значень змінних.

Такі перетворення породжують додаткові труднощі:

1.може виникнути проблема автокореляції збурень et– et-1

2.зменшення ступенів вільності на одиницю. У роботі з малими вибірками цей фактор особливо суттєвий.

5. збільшення спостережень оскільки мультиколінеарність змінюється у кожній виборці, то можливо, що

в іншій моделі з такими ж змінними буде іншою. Іноді просте збільшення спостережень у моделі (якщо це можливо) пом‘якшує проблему мультиколінеарності.

недоліки метода: отримати ти додаткові дані не завжди легко, оскільки на практиці це часто вимагає значних витрат.

6. покрокова регресія процедура використання покрокової регресії починається з побудови простої

регресії. В аналіз послідовно додається по одній пояснюючій змінній. На кожному кроці перевіряється значимість коефіцієнтів регресії та оцінюється мультиколінеарність змінних. Якщо оцінка коефіцієнта отримується не значимою, то змінна виключається та розглядають іншу пояснюючу змінну. Якщо оцінка коефіцієнта кореляції значима, а мулько лінеарність відсутня, то ця змінна залишається і в аналіз включають наступну змінну. Таким чином,

поступово визначають всі змінні, що складають регресію без порушення передумови про відсутність мультиколінеарності.

7. інші методи виправлення мультиколінеарності Статистичні методи, такі як факторний аналіз, гребнева регресія, метод

головних компонент часто використовуються для виправлення мультиколінеарності. Вони є досить складними з математичної точки зору, тому ми їх розглядати не будемо. Але вони є в статистичних пакетах і можуть застосовуватись на практиці.

Проблема мультиколінеарності еа сьогоднішній час ще докінця невирішена Додатково.

Виключення змінних за Фарраром тп Глаубером.

Процедура відбору змінних складається з трьох кроків. При цьому передбачається нормальне розподілення залишків.

Крок 1. Мультиколінеарність виявляється в загальному вигляді. Для цього будується матриця R коефіцієнтів парної кореляції між пояснюючими змінними та визначається її визначник.

	1	r12	...	r1m
D =	r21	1	...	r2m
	...
	rm1	rm2	...	1

rij=cov(xi, xj)/σxi σxj

Далі для перевірки наявності мульколінеарності взагалі серед пояснюючих змінних використовується хі квадрат критерій χ2 (хі квадрат ).

Висувається нульова гіпотеза Н0: між пояснюючими змінними мультиколінеарність відсутня. Альтернативна гіпотеза Н1:між пояснюючими змінними є мультиколінеарність.

Розраховують значення χ2

χ2=–(n-1-1/6*(2*m+5))*lnD

де n–кількість спостережень, m– кількість пояснюючих змінних.

Ця величина має розподіл χ2 з f=1/2*m*(m-1) ступенями вільності. Якщо розраховане значення χ2 менше за табличне, то Н0 приймається. вважаємо, що мультиколінеарності між пояснюючими змінними немає. Інакше гіпотеза про наявність мультиколінеарності між пояснюючими змінним не суперечить даним дослідження. А які данні сильно корелюють визначається на другому кроці.

Крок 2. Використовуються коефіцієнти детермінації між пояснюючими змінними R2k12…k-1k+1…m. Оцінка мультиколінеарності основана на тому, що величина

(n − m)R2 − =

F = k.12...k 1.k 1...,m

(m −1)(1 − R2 − = )

k.1.2.k 1,k 1,...,m

R2k12…k-1k+1…m=***

Має F-розподіл з f1=m-1 I f2=n-m ступенями вільності.

Якщо F≥Fα;f1,f2 , то змінній xk в найбільшому ступені притаманна мультиколінеарність. По Фаррару і Глауберу вивчення m значень F-