9.3. Оцінювання за мнк

Щоб отримати оцінку вектора  запишемо функцію SRF (вибіркову функцію регресії) з k змінними в матричному вигляді:

.

(9.3.1)

Так само, як і у разі дво- й тривимірних моделей, МНК для k-вимірної моделі полягає в мінімізації

.

(9.3.2)

Із (9.3.1) ми одержуємо

.

(9.3.3)

Отже,

.

(9.3.4)

Тут ми скористалися властивостями транспонування матриць, а саме . Крім того, оскільки є скаляр, то він не змінюється при транспонуванні .

У скалярних позначеннях МНК полягає в оцінюванні , ,… таким чином, щоб була якомога малою величиною. Це досягається шляхом диференціювання (9.3.4) за , ,… і прирівнювання частинних похідних до нуля. Ця процедура приводить до системи k лінійних алгебраїчних рівнянь з k невідомими. Можна показати, що ця система має вигляд

.

(9.3.5)

Відзначимо деякі властивості матриці :

1. вона дає ряд суми квадратів і попарних добутків змінних Х. Елементи головної діагоналі являють собою ряд сум квадратів, а елементи зовні головної діагоналі – суму попарних добутків;

2. матриця симетрична, оскільки сума добутків і ;

3. матриця має порядок kk.

У (9.3.5) відомими величинами є і , а невідомою – . Розв’язуючи рівняння (9.3.5), знаходимо

.

(9.3.6)

Рівняння (9.3.6) відображає фундаментальний результат теорії МНК у матричній формі. Воно показує, що оцінка вектора може бути проведена за наявними даними.

Ілюстрований приклад

Як ілюстрацію викладеного вище матричного підходу використаємо розглянутий нами раніше приклад “споживання – дохід”, дані щодо якого наведені в (9.1.6). Для випадку моделі з двома змінними маємо

, .

Використовуючи дані, наведені в (9.1.6), одержуємо

, .

Застосовуючи правила для знаходження оберненої матриці, можна переконатися, що

.

Ми бачимо, що результати оцінювання, отримані матричним методом, збігаються з отриманими нами раніше.

Матриця варіації

Матричний метод дає нам можливість легко отримати не тільки дисперсію (варіацію) для кожного елемента , але й коваріацію між будь-якими двома елементами, скажімо і . Значення цих величин необхідні нам для отримання статистичних висновків.

За визначенням матриця варіації є

.

У явному вигляді цю матрицю можна подати так:

.

(9.3.7)

Можна показати, що матриця варіації може бути отримана за такою формулою:

,

(9.3.8)

де – гомоскедастична дисперсія залишків .

У лінійних моделях регресії з двома й трьома змінними незміщена оцінка для обчислювалася, відповідно, за формулами і . У разі моделі з k змінними формула має вигляд

,

(9.3.9)

де (n–k) – кількість степенів вільності.

Хоча теоретично може бути підрахована за оцінками залишків, на практиці її зручніше одержувати безпосередньо таким чином.

Пригадавши, що

,

у разі трьох змінних

,

та поширюючи цей принцип на випадок моделі з k змінними, одержуємо формулу

,

(9.3.10)

або в матричних позначеннях

;	(9.3.11)
,	(9.3.12)

де складова відомий як кореляція для середнього.

Отже,

.

(9.3.13)

Оскільки отримана, може бути легко підрахована за (9.3.9), а потім можна підрахувати матрицю варіацій (9.3.8).

Для нашого прикладу . Отже, .

Властивості вектора

Для випадків моделей із двома й трьома змінними ми знаємо, що оцінки параметрів регресії за МНК є лінійними й незміщеними і в класі лінійних незміщених оцінок вони мають мінімальну дисперсією. Коротше кажучи, оцінки за МНК є якнайкращими лінійними незміщеними оцінками. Ця властивість поширюється й на вектор , тобто  лінійний (кожна з його компонент є лінійна функція від у, залежної змінної). , тобто математичне сподівання кожної компоненти вектора дорівнює відповідному елементу істинного вектора і в класі всіх лінійних незміщених оцінок МНК-оцінка має мінімальну дисперсію.