6. Парна лінійна регресія. Метод найменших квадратів.

Парна лінійна регресія

Якщо характеризується зв’язок двох ознак, то його прийнято називати парним. У загальному випадку парна лінійна регресія є лінійною функцією між залежною змінною Y і однією пояснюючою змінною X: Це співвідношення називається теоретичною лінійною регресійною моделлю; a0 і a1 - теоретичні параметри (теоретичні коефіцієнти) регресії.

Для характеристики впливу змін Х на варіацію Y використовують методи регресійного аналізу. В випадку парної лінійної залежності рівняння регресії має наступний вигляд: , де п – число спостережень;а₀, а₁ – невідомі параметри рівняння;Y_{i теор} – розраховане вирівняне значення результативної ознаки після підстановки в рівняння Х_і.

Параметри а₀ та а₁ оцінюються за допомогою метода найменших квадратів. Його суть складається в тому, що найкращі оцінки а₀ та а₁ отримують, коли: .

Для обчислення параметрів рівняння регресії а₀ та а₁ складають і розв’язують систему рівнянь:

Параметр а₁ – це коефіцієнт регресії, що характеризує вплив зміни ознаки Х на результативну ознаку Y. Він показує, на скільки одиниць в середньому зміниться Y при зміні Х на одну одиницю. Якщо а₀>0, то спостерігається позитивний зв’язок. Якщо а₁<0, то збільшення Х на одиницю спричинить зменшення Y в середньому на величину а₁.

Параметр а₀ – це постійна величина в рівнянні регресії. Іноді вона характеризує початкове значення Y.

Значення функції називається розрахунковим значенням і на графіку зображує теоретичну лінію регресії.

МНК

Сутність методу МНК полягає у знаходження таких значень матриці параметрів А моделі загального вигляду Y=АХ+u (1), (де А – матриця параметрів моделі розміром mxn, Y – матриця значень залежної змінної; X – матриця незалежних змінних; u – матриця випадкової складової.), при яких сума квадратів залишків u була б мінімальною: (2) (З цього і назва методу – метод найменших квадратів.) Тоді для фактичних значень залежних змінних Y моделі теоретичні значення змінних Y будуть представлені у вигляді: Y=АХ (3), де А – оцінка параметрів теоретичної моделі.

Сукупність виразів (1) і (3) для фактичних і теоретичних значень пояснювальних змінних визначає економетричну модель загального виду:

Мінімізуючи суму квадратів залишків u шляхом знаходження першої похідної за складовими А’ (2), можна знайти оцінки А’ для теоретичної моделі, які в матричному запису будуть мати вигляд: А=(X’X)^-1X’Y (4), де X’ – матриця транспонована до матриці Х. Вираз (4) є розв’язком так званої системи нормальних рівнянь: (X’X) А’= X’Y (5).

Оцінбвати параметри економетричної моделі за методом 1МНК можна за умов:

1) Математичне сподівання залишків =0 : М(u)=0.

2) значення uі в матриці залишків u незалежні між собою і мають постійну дисперсію σ²:

3) незалежні змінні моделі не пов’язані залишками:

4) незалежні змінні моделі утворюють незалежну систему векторів, тобто ці змінні незалежні між собою: .

7.Випадкові збудники в рівнянні лінійної регресії. – Щоб урахувати наявність впливу факторів, які не входять до економ. моделі, ввод. стохаст. складова U. Математ. аналіз цієї складової дає змогу зробити висновок про те чи можна її вваж. випадковою, чи містить вона системат част. відхилень, яка може бути зумовлена наявністю тих чи інших помилок у моделюванні. У клас. лінійній економ. моделі змінна u інтерпрет. як випадк. змінна, що має розподіл з мат сподів, яке =0, і пост. дисперсією. Це дає змогу розгляд змінну u як стохастичне збурення ( помилку, відхилення). Згідно з цент. Гоаничн. теоремою стохаст. складова економ. моделі розподілена за норм. законом.U_t- випадкові збурювання ( помилки) , що характеризують відхилення фактичних значень ендогенної змінної від рівняння регресії ( теоретичної залежності). Джерелами виникнення помилок виступають труднощі у вимірювання у вимірі даних (помилки вимірів ендогенних і екзогенних змінних моделі), основна особливість процесу моделювання, яка полягає у тому, що будь-яка модель є спрощенням дійсності, та помилки специфікації моделі( включення несуттєвих регресорів у модель, включення істотних незалежних факторів і т.п). Причини, що спонук. появу:1)будь-яка економ. модель. є спрощення реальн. ситуації, яка є переплетінням різних ф-цій, багато яких не можливо врахувати в моделі.2) неправ. вибрана ф-ціон. залежн. внаслілок недостат. дослідження процесу. Так виробн. Ф-ція описує залежність У від Х може бути: У=β0+β1*х, та насправді не лінійна.3)не вірно вибрані пояснювальні змінні. 4) Складна форма зв’язку між цілими компон. подібн. величин.5)помилки при обробці та аналізі стат. даних. 6)будь-ка стат. функція обмежена, опис не перерв. факторами, але при використ. вибірк. даних з дискр. структурою. 7)людський фактор, який не можливо врахувати.

8.(Умови Гауса-Маркова.) Гомоскедастичні та гетероскедастичні моделі. – Передумови, які висуваються при оцінці параметрів моделі за методом 1МНК на практиці часто можуть порушуватись. Однією з таких передумов є незмінність дисперсії залишків для всіх спостережень вихідної сукупності. Це явище називається гомоскедастичністю. В практичних дослідженнях воно часто порушується. Наприклад, в економетричній моделі, що характеризує залежність витрат на споживання від доходу, дисперcія залишків може змінюватись для спостережень, які відносяться до різних груп населення за розміром доходів.Якщо дисперсія залишків в економетричному моделюванні змінюється для кожного спостереження або для груп спостережень, то це явище називається гетероскедастичністю.Наявність гетероскедастичності спричиняє порушення властивостей оцінок параметрів моделі при розрахунку їх за методом 1МНК. Тому завжди виникає необхідність вивчати це явище, і, якщо воно існує, для оцінки параметрів моделі використовувати узагальнений метод найменших квадратів (метод Ейткена).Для визначення гетероскедастичності застосовуються чотири критерії:1) критерій ;2) параметричний тест Гольдфельда—Квандта;3) непараметричний тест Гольдфельда—Квандта;4) тест Глейсера.

9.Специфікація моделі. Визначення параметрів вибраного рівняння. – Економетрична модель базується на єдності двох аспектів — теоретичного, якісного аналізу взаємозв’язків та емпіричної інформації. Теоретична інформація знаходить своє відображення в специфікації моделі.Специфікація моделі — це аналітична форма економетричної моделі. Вона складається з певного виду функції чи функцій, що використовуються для побудови моделей, має ймовірнісні характеристики, які притаманні стохастичним залишкам моделі. Маючи на увазі, що вибір аналітичної форми економетричної моделі не може розглядатись без конкретного переліку незалежних змінних, специфікація моделі передбачає добір чинників для економетричного дослідження. При цьому в процесі такого дослідження можна кілька разів повертатись до етапу специфікації моделі, уточнюючи перелік незалежних змінних та вид функції, що застосовується. Адже коли вид функції та її складові не відповідають реальним залежностям, то йдеться про помилки специфікації. Помилки специфікації моделі можуть бути трьох видів: 1) ігнорування істотної пояснюючої змінної при побудові економетричної моделі; 2) введення до моделі незалежної змінної, яка не стосується вимірюваного зв’язку; 3) використання не відповідних математичних форм залежності. Перша з цих помилок призводить до зміщення оцінок, причому зміщення буде тим більшим, чим більша кореляція між введеними та не введеними до моделі змінними, а напрям зміщення залежить від знака оцінок параметрів при введених змінних і від характеру кореляції між введеними та не введеними змінними. Оцінки параметрів також будуть зміщеними (у такому разі вони вищі), тому застосування способів перевірки їх значущості може спричинитися до хибних висновків щодо значень параметрів генеральної сукупності. Друга помилка специфікації. В цьому разі, якщо до моделі вводиться змінна, яка неістотно впливає на залежну змінну, то (на відміну від першої помилки специфікації) оцінки параметрів моделі будуть незміщеними. Причому за допомогою звичайних процедур можна дістати також незміщені оцінки дисперсій цих параметрів. Третя помилка специфікації. Припускається, що залежна змінна є лінійною функцією від деякої пояснювальної змінної, тоді як насправді тут краще підійшла б квадратична, кубічна чи якась поліноміальна залежність вищого порядку. У цьому разі наслідки такі самі, як і при першій помилці, тобто оцінки параметрів моделі матимуть зміщення. Питання про вибір найкращої форми залежності має базуватися на перевірці ступеня узгодженості виду функції з вихідними даними спостережень.Параметри– сталі коефіцієнти. Економічний зміст параметрів рівняння лінійної парної регресії: параметр характеризує середню зміну результату із зміною фактору на одиницю.Параметр при . Якщо не може бути рівним нулю, то параметр не має економічного змісту. Інтерпретувати можна лише знак при : якщо , то відносна зміна результату відбувається повільніше, ніж зміна фактора і навпаки, якщо , то відносна зміна результату відбувається швидше, ніж зміна фактора. Численні значення параметрів лінійного програмування регресійного рівняння можуть бути отримані й за допомогою графічного подання рівняння регресії. Параметр а₀ визначає точку перетину прямої У_t з віссю ординат, а другий параметр рівняння а₁- це тангенс кута нахилу прямої до осі абсцис, що визначає наскільки сильно буде нахилена ця пряма до осі абсцис. ;

10.Аналіз якості моделі: перевірка загальної якості рівняння регресії. – Для перевірки коректності побудови моделі визначають насамперед: стандартну похибку рівняння;коефіцієнт детермінації;коефіцієнт множинної кореляції; Стандартна похибка рівняння (точкова оцінка емпіричної дисперсії залишків) характеризує абсолютну величину розкиду випадкової складової рівняння і обчислюється за формулою . Поправка на число ступенів свободи дає незміщену оцінку дисперсії залишків: .Коефіцієнт детермінації показує, якою мірою варіація залежної змінної (результативного показника)        у визначається варіацією незалежної змінної (вхідного показника) х.

Коефіцієнт кореляції, або індекс кореляції, показує, наскільки значним є вплив змінної хi , на yi і розраховується так:

11.Аналіз якості моделі: перевірка статистичної значущості оцінок параметрів економетричної моделі. – Для перевірки статистичної значущості коефіцієнта детермінації R² висувається нульова гіпотеза H₀ : R² = 0 Альтернативною до неї є H_A: значення хоча б одного параметра моделі відмінне від 0. Для перевірки цих гіпотез застосовують F-критерій Фішера з m і n-m-1 ступенями свободи. За отриманими в моделі значеннями коефіцієнта детермінації R² обчислюють експериментальне значення F-статистики: ,яке порівнюють з табличним значенням розподілу Фішера при заданому рівні значущості α (як правило, α = 0,05 або α = 0,01). Якщо F_табл < F_експ, нульова гіпотеза відхиляється, свідчить про адекватність побудованої моделі. У протилежному випадку модель вважається неадекватною.

Коефіцієнт кореляції, як вибіркова характеристика, перевіряється на значущість за допомогою t-критерію Стьюдента. Фактичне значення t-статистики обчислюється за формулою і порівнюється з табличним значенням t-розподілу з n-m-1 ступенями свободи та при заданому рівні значущості α/2 (такий рівень зумовлений тим, що критична область складається з двох проміжків). Якщо абсолютна величина експериментального значення t-статистики перевищує табличне, тобто ,можна зробити висновок, що коефіцієнт кореляції достовірний (значущий), а зв’язок між залежною змінною та всіма незалежними факторами суттєвий.

12.Аналіз якості моделі: довірчі інтервали для оцінок параметрів економетричної моделі. – У задачах регресійного аналізу важливе значення має припущення про нормальний розподіл випадкових величин, що задіяні в даній моделі. Будь-яка функція має бути перевірена на значущість - за доп спец критеріїв необхідно встановити, чи зумовлено значення цієї функції лише похибками вимірювання, чи вона відображає якусь суттєву (значущу) інформацію. Статистичну значущість кожного параметра моделі можна перевірити за допомогою t-критерію. При цьому нульова гіпотеза має вигляд ,Альтернативна . Експериментальне значення t-статистики для кожного параметра моделі обчислюється за формулою де с_jj – діагональний елемент матриці ; – стандартизована похибка оцінки параметра моделі, . Експериментальне значення t_j-критерію порівнюється з табличним значенням t_табл з n-m-1 ступенями свободи при заданому рівні значущості α/2 (критична область розбивається на два фрагменти, межі яких задаються квантилем α/2). Якщо значення t_j-статистики за абсолютним значенням перевищує t_табл, приймається альтернативна гіпотеза про значущість відповідного параметра - роб в-к про статис незначущість параметра а_j, а це означає, що відповідна незалежна змінна не впливає суттєво на змінювання регресанда.

Оскільки t_j -статистика є відношенням відповідного параметра моделі до його стандартної похибки (середньоквадратичного відхилення), то на практиці частіше застосовують грубішу оцінку а саме допускають, щоб стандартні похибки становили 45-50 % значення параметра, аби стверджувати про його статистичну значущість.

Довірчі інтервали для кожного окремого параметра а_j обчислюються на основі його стандартної похибки та критерію Стьюдента: . Табличне значення t_табл , як і раніше, має n-m-1 ступенів свободи і рівень значущості α/2 ( ). Таким чином, довірчі інтервали для оцінок параметрів визначаються межами: . Аналогічно для маємо: , де визначається за таблицею розподілу Стьюдента по заданій надійності і числу ступенів свободи .