23. Властивості оцінок параметрів регресійного рівняння: незміщеність, обґрунтованість, ефективність та інваріантність.

З теорії ймовірностей відомо (доведено в теоремі Гаусса-Маркова), що коли виконуються перелічені передумови, то отримані за допомогою МНК оцінки параметрів регресійного рівняння є незміщеними, обґрунтованими, ефективними та інваріантними.

Наявність таких властивостей оцінок гарантує, що останні не мають систематичної похибки (незміщеність), надійність їх підвищується зі збільшенням обсягу вибірки (обґрунтованість), вони є найкращими серед інших оцінок параметрів, лінійних відносно ендогенної змінної (ефективність). Крім того, оцінка перетворених параметрів (оцінка функції від параметра) може бути отримана в результаті аналогічного перетворення оцінки параметра (інваріантність).

Зокрема, якщо порушується третя передумова МНК (за наявності автокореляції чи гетероскедастичності), то отримані за цим методом оцінки втрачають властивість ефективності, хоча залишаються незміщеними та обґрунтованими. Якщо порушується четверта передумова, тобто між змінними існують мультиколінеарні зв’язки, це призводить до зміщення МНК-оцінок. Застосування моделей, що мають зміщені чи неефективні оцінки, втрачає сенс.

24. Оцінки найменших квадратів. Верифікація моделі. Стандартна похибка рівняння. Оцінений коефіцієнт детермінації.

Метод найменших квадратів дає оцінки, що мають найменшу дисперсію в класі всіх лінійних оцінок, якщо виконуються передумови нормальної лінійної регресійної моделі. МНК мінімізує суму квадратів відхилень спостерігаємих значень від модельних значень .

Мінімізації підлягає сума квадратів відхилень, і величина її залежатиме безпосередньо від розсіювання точок навколо лінії регресії. оцінки знаходяться шляхом мінімізації суми квадратів

по всіх можливих та при_заданих значеннях та . Задача зводиться до математичної задачі пошуку точки мінімуму функції двох змінних. яка знаходиться шляхом прирівнювання до нуля частинних похідних функції по змінних та

Виконавши елементарні перетворення, дістанемо систему нормальних рівнянь

В результаті можемо отримати так звані оцінки найменших квадратів

Розв’язок системи нормальних рівнянь в матричній формі має вигляд

Верифікація моделі

У_класичному_регресійному аналізі вважається, що функція регресії відома до оцінювання параметрів, тобто регресійна модель специфікована правильно. Однак в емпіричних економічних і соціальних дослідженнях не завжди відомо, скільки факторів має бути введено в модель і яка форма залежності краще описує реальні зв’язки. Щоб забезпечити найбільш адекватне відтворення досліджуваного явища чи процесу необхідно вибрати регресійну функцію серед багатьох варіантів, використовуючи спеціальні критерії якості моделі.

Для перевірки коректності побудови моделі визначають насамперед:

-стандартну похибку рівняння;-коефіцієнт детермінації;коефіцієнт множинної кореляції;

стандартну похибку параметрів.

Зауважимо, що зазначені показники отримують на підставі конкретних статистичних даних, тобто кожна з цих характеристик є вибірковою характеристикою і тому має бути перевірена на значущість за допомогою спеціальних статистичних критеріїв.

Стандартна похибка рівняння (точкова оцінка емпіричної дисперсії залишків) характеризує абсолютну величину розкиду випадкової складової рівняння і обчислюється за формулою .

Поправка на число ступенів свободи дає незміщену оцінку дисперсії залишків:

.

Коефіцієнт детермінації R² показує, яка частина руху залежної змінної описується даним регресійним рівнянням, і обчислюється за формулою

,.На значення де ; – середнє значення залежної змінної, коефіцієнта детермінації впливає кількість факторів, що враховано в моделі. Уведення в модель кожної нової змінної збільшує значення коефіцієнта детермінації. Щоб запобігти невиправданому розширенню уводять спеціальний оцінений коефіцієнт детермінації

,

Де – незміщена оцінка дисперсії залишків; – незміщена оцінка дисперсії залежної змінної, детермінації(коеф) має ще два рівноцінних означення. За першим, коефіцієнт детермінації R² дорівнює квадрату емпіричного коефіцієнта кореляції між двома рядами спостережень (теоретичними значеннями регресанда у_i та його розрахунковими значеннями ) і обчислюється за формулою

25 Оцінки найменших квадратів.

Перевірка значущості та довірчі інтервали. Прогнозування за лінійною моделлю.

Метод найменших квадратів дає оцінки, що мають найменшу дисперсію в класі всіх лінійних оцінок, якщо виконуються передумови нормальної лінійної регресійної моделі. МНК мінімізує суму квадратів відхилень спостерігаємих значень від модельних значень .

Мінімізації підлягає сума квадратів відхилень, і величина її залежатиме безпосередньо від розсіювання точок навколо лінії регресії. оцінки знаходяться шляхом мінімізації суми квадратів

по всіх можливих та при_заданих значеннях та . Задача зводиться до математичної задачі пошуку точки мінімуму функції двох змінних. яка знаходиться шляхом прирівнювання до нуля частинних похідних функції по змінних та

Виконавши елементарні перетворення, дістанемо систему нормальних рівнянь

В результаті можемо отримати так звані оцінки найменших квадратів

Розв’язок системи нормальних рівнянь в матричній формі має вигляд

Перевірка значущості та довірчі інтервали

Для перевірки статистичної значущості коефіцієнта детермінації R² висувається нульова гіпотеза H₀ : R² = 0. Це означає, що досліджуване рівняння не пояснює змінювання регресанда під впливом відповідних регресорів. У такому разі всі коефіцієнти при незалежних змінних мають дорівнювати нулю. При цьому нульову гіпотезу можна подати у вигляді

(3.23)

Альтернативною до неї є H_A: значення хоча б одного параметра моделі відмінне від нуля, тобто хоча б один із факторів впливає на змінювання залежної змінної.

Для перевірки цих гіпотез застосовують F-критерій Фішера з m і n-m-1 ступенями свободи. За отриманими в моделі значеннями коефіцієнта детермінації R² обчислюють експериментальне значення F-статистики: , (3.24)

яке порівнюють з табличним значенням розподілу Фішера при заданому рівні значущості α (як правило, α = 0,05 або α = 0,01). Якщо F_табл < F_експ, нульова гіпотеза відхиляється, тобто існує такий коефіцієнт у регресійному рівнянні, який суттєво відрізняється від нуля, а відповідний фактор впливає на досліджувану змінну Відхилення нуль-гіпотези свідчить про адекватність побудованої моделі. У протилежному випадку модель вважається неадекватною.

Коефіцієнт кореляції, як вибіркова характеристика, перевіряється на значущість за допомогою t-критерію Стьюдента. Фактичне значення t-статистики обчислюється за формулою

.

і порівнюється з табличним значенням t-розподілу з n-m-1 ступенями свободи та при заданому рівні значущості α/2 (такий рівень зумовлений тим, що критична область складається з двох проміжків). Якщо абсолютна величина експериментального значення t-статистики перевищує табличне, тобто

,

можна зробити висновок, що коефіцієнт кореляції достовірний (значущий), а зв’язок між залежною змінною та всіма незалежними факторами суттєвий.

Статистичну значущість кожного параметра моделі можна перевірити за допомогою t-критерію. При цьому нульова гіпотеза має вигляд ,

альтернативна .

t-статистики для кожного параметра моделі обчислюється за формулою

Де с_jj – діагональний елемент матриці ;

– стандартизована похибка оцінки параметра моделі, .

Експериментальне значення t_j-критерію порівнюється з табличним значенням t_табл з n-m-1 ступенями свободи при заданому рівні значущості α/2 (критична область розбивається на два фрагменти, межі яких задаються квантилем α/2). Якщо значення t_j-статистики потрапляє до критичної області (за абсолютним значенням перевищує t_табл), приймається альтернативна гіпотеза про значущість відповідного параметра. Інакше робиться висновок про статистичну незначущість параметра а_j, а це означає, що відповідна незалежна змінна не впливає суттєво на змінювання регресанда.

Довірчі інтервали для кожного окремого параметра а_j обчислюються на основі його стандартної похибки та критерію Стьюдента:

. (3.30)

Табличне значення t_табл , як і раніше, має n-m-1 ступенів свободи і рівень значущості α/2 ( ).

Обчислені значення t_j-статистик застосовують також для розрахунку часткових коефіцієнтів детермінації , які визначають граничний внесок j-го регресора в загальний коефіцієнт детермінації. Коефіцієнт показує, на яку величину зменшиться коефіцієнт детермінації R², якщо j-ий регресор (і лише він!) буде вилучений з групи регресорів. Формула для розрахунку часткового коефіцієнта детермінації має вигляд

. (3.31)

Часткові коефіцієнти детермінації і , обчислені за відповідними значеннями і , можуть бути як додатними, так і від’ємними, що дає змогу більш об’єктивно оцінювати моделі з різною кількістю регресорів

Якщо побудована модель адекватна за F-критерієм, то її застосовують для прогнозування залежної змінної.

Про прогнозування регресанда говорять тоді, коли в часових рядах прогнозний період настає пізніше, ніж базовий. Якщо регресія побудована за просторовими даними, прогноз стосується тих елементів генеральної сукупності, що перебувають за межами застосованої вибірки.

Якість прогнозу тим краща, чим повніше виконуються передумови моделі в прогнозний часовий період, надійніше (вірогідніше) оцінено параметри моделі й більш точно визначено прогнозні значення регресорів.

Значення для майбутнього періоду чи додаткового елемента обчислюють за формулою за відомим вектором оцінених параметрів і за вектором значень незалежних змінних, що не належать до базового періоду. Розрізняють прогноз середній (оцінку математичного сподівання регресанда) та індивідуальний (оцінку певної реалізації регресанда , що відповідає моменту p). Перша з них базується на передумові МНК про нульове математичне сподівання випадкової складової рівняння регресії, а друга застосовує оцінене значення . Оцінену дисперсію прогнозу обчислюють відповідно за формулами ;

.Зрозуміло, що здебільшого реальне значення показника y_t не збігатиметься зі значенням його математичного сподівання, але якщо розглядати велику кількість вибірок, на підставі яких визначатиметься прогноз, то можна гарантувати, що приблизно (1 - a)×100 % результатів потраплять відповідно до інтервалів

;

,

де t_α/2 – табличне значення критерію Стьюдента з n-m-1 ступенями свободи та при заданому рівні значущості α/2. (Значення α/2 вибирають, як і раніше, через двосторонні критичні межі.)

Очевидно, з віддаленням від середнього значення вибірки спостережень похибка прогнозу зростатиме, що призведе до збільшення довірчого інтервалу для індивідуального значення залежної змінної.