2.4. Властивості оцінювачів за мнк: теорія Гаусса-Маркова

Як було відзначено раніше, оцінювачі, отримані за МНК при зроблених припущеннях CLRM, мають деякі ідеальні або оптимальні властивості. Вони зазначені в добре відомій теоремі Гаусса-Маркова. Для того щоб зрозуміти її значення, необхідно розглянути властивість найкращого лінійного незміщеного оцінювача (best linear unbiasedness property an estimator). Оцінювач, скажімо за МНК, вважається найкращим лінійним незміщеним оцінювачем BLUE (best linear unbiased estimator) , якщо він має такі властивості:

1. Він лінійний, тобто являє собою лінійну функцію випадкової змінної, таку як залежна змінна Y в регресійній моделі.

2. Він є незміщеним оцінювачем, тобто .

3. Він має найменшу дисперсію в класі всіх лінійних незміщених оцінювачів; незміщений оцінювач з найменшою дисперсією відомий як ефективний оцінювач.

Можна довести, що оцінювачі, отримані за МНК, мають властивості найкращого лінійного незміщеного оцінювача BLUE. Це є висновком відомої теореми Гаусса-Маркова, яка може бути сформульована таким чином: при прийнятих гіпотезах класичної регресійної лінійної моделі отримані за методом найменших квадратів оцінювачі в класі лінійних незміщених оцінювачів мають найменшу дисперсію, тобто вони є найкращими лінійними незміщеними оцінювачами.

Дана теорема дуже важлива при регресійному аналізі, оскільки стосується як теорії, так і практики.

Пояснимо значення теореми за допомогою рис. 2.10.

На рис. 2.10, а показаний розподіл за вибірками оцінювача , отриманого за МНК, у вибірках, що повторюються. Для зручності ми припустимо, що розподіл розташований симетрично. Як бачимо з рисунка, математичне сподівання дорівнює істинному значенню , тобто . Це і є значення, яке ми вкладаємо в термін “незміщена оцінка”. На рис. 2.10, б показаний розподіл оцінювача , отриманого за альтернативним методом. Для зручності ми припустили, що , як і , має властивість незміщеності. Припустимо, що і і є лінійними оцінювачами, тобто вони є лінійними функціями від Y. Який із оцінювачів  або  слід вибрати?

а

б

в

Рис. 2.10. Розподіл за вибіркою за МНК і альтернативного оцінювача : а  розподіл ; б  розподіл ; в  розподіл і

Щоб відповісти на це запитання накладемо два рисунки, як показано на рис. 2.8, в. Із рис. 2.10, в бачимо, що хоча обидва розподіли незміщені, для ми маємо більш розмитий розподіл біля середнього значення в порівнянні з розподілом . Іншими словами, дисперсія більша, ніж дисперсія . Зрозуміло, що з двох даних оцінювачів, які мають властивості лінійності і незміщеності, слід вибрати оцінювач із меншою дисперсією, оскільки він ближче до , ніж альтернативний оцінювач. Отже, завжди слід вибирати найкращий лінійний незміщений оцінювач (BLUE).

Розглянуті нами статистичні властивості відомі як властивості кінцевих вибірок. Ці властивості зберігаються незалежно від розміру вибірки, за даними якої отримані оцінювачі. Пізніше ми матимемо нагоду розглянути асимптотичні властивості, тобто властивості, які зберігаються тільки у випадку, коли вибірка дуже велика (нескінченна).