3.7. Перевірка значимості : хі-квадрат тест

Як інший приклад застосування методології тесту значимості розглянемо таку змінну

,

(3.7.1)

яка, як було зазначено раніше, розподіляється за законом розподілу з (N–2) степенями вільності. Для нашого прикладу і df = 8. Якщо ми постулюємо, що Н₀: ² = 85; , то рівняння (3.4.1)  перевірка статистики для Н₀. Підставляючи в (3.7.1) відповідні значення вхідних величин, одержуємо

.

Таблиця 3.2

Сумарна таблиця тесту

Тип гіпотези	Н0: нульова гіпотеза	Н1: альтернативна гіпотеза	Прийняття рішення: відкинути Н0, якщо
Двостороння			або
Правостороння
Лівостороння
є величина за нульовою гіпотезою

Якщо ми покладемо , критичні значення для будуть 2,1797 і 17,5346. Оскільки підрахована величина лежить між цими межами, дані підтримують нульову гіпотезу і ми її не відкидаємо (див. рис. 3.1). Ця процедура перевірки носить назву –тесту значимості. У табл. 3.2 наводяться узагальнення –тесту значимості.

3.8. Регресійний аналіз і аналіз дисперсії

У цьому параграфі ми звернемося до регресійного аналізу з погляду аналізу дисперсії.

Раніше нами була доведена така рівність:

,

(3.8.1)

тобто TSS=ESS+RSS, яке розкладає загальну суму квадратів (TSS) на два доданки: пояснена сума квадратів (ESS) і сума квадратів залишків (RSS). Вивчення цих доданків у TSS відоме під терміном (ANOVA, analysis variance) аналізу дисперсії з погляду регресії.

З кожною сумою квадратів пов’язані кількість її степенів вільності df, кількість незалежних спостережень, на яких вона заснована. TSS має (N–1) степінь вільності, оскільки ми втрачаємо один степінь при підрахунку середньої величини вибірки . RSS має (N–2) степені вільності (оскільки , ). ESS має всього один степінь вільності, з огляду на те, що є функція тільки від , оскільки відома. Відзначимо, що вказана кількість степенів вільності справедлива тільки для випадку рівняння регресії з двома змінними.

Помістимо перераховані суми квадратів і відповідні їм степені вільності в табл. 3.3, що є стандартним видом таблиці ANOVA.

Таблиця 3.3

ANOVA таблиця для регресійної моделі з двома змінними

Джерела дисперсії	SS	df	MSS
Унаслідок дисперсії (ESS)		1
Унаслідок залишків (RSS)		N–2
TSS		N–1
SS  сума квадратів (sum squares) MSS – середня сума квадратів (mean sum squares)

Розглянемо таку змінну:

(3.8.2)

Якщо ми припустимо, що збурення розподілені нормально і , то можна показати, що змінна F з (3.8.2) задовольняє умови такої теореми: якщо Z₁ і Z₂ незалежні змінні з k₁ і k₂, відповідно, степенями вільності, що розподіляється за законом розподілу , тоді змінна

розподіляється за законом F-розподілу з k1 і k2 степенями вільності, де k1 називають чисельником степеня вільності, а k2 – знаменником.

Отже, змінна F з (3.8.2) розподіляється за законом F –розподілу з 1 і (N–2) степенями вільності.

Таким чином, можна показати, що

і	(3.8.3)
.	(3.8.4)

Отже, якщо дорівнює 0, обидва рівняння (3.8.3) і (3.8.4) дають нам оцінку істинного значення . У цьому випадку пояснювальна змінна Х не впливає лінійно на Y, і зміна Y пояснюється тільки за рахунок випадкового . Водночас, якщо не дорівнює нулю, (3.8.3) і (3.8.4) будуть різними і частину дисперсії в Y можна пояснити за рахунок Х. Отже, коефіцієнт F у (3.8.1) являє собою тест нульової гіпотези . Оскільки всі величини, що входять у вираз (3.8.1), отримані з вибірки, коефіцієнт дозволяє перевірити гіпотезу про те, що . Усе, що необхідно для цього зробити, це підрахувати F і порівняти його з критичною величиною F, отриманою з таблиць розподілу густини F з вибраним рівнем значимості, або отримати р-величину, обчислену за статистикою F.

Для ілюстрації звернемося до нашого прикладу “споживання  дохід” (табл. 3.4).

Таблиця 3.4

ANOVA-таблиця для прикладу “споживання  дохід”

Джерело дисперсії	SS	df	MSS	F-відношення
Унаслідок регресії (ESS)	8552,73	1	8552,73	F=85552,73/42,159= =202,87
Унаслідок залишків (RSS)	337,27	8	42,159
TSS	8890,00	9

Із таблиці бачимо, що обчислена величина F = 202,87. Величина р, відповідна цій статистиці, з 1 і 8 степенями вільності не може бути отримана з таблиці розподілу F, але, використовуючи електронні комп’ютерні таблиці, можна показати, що ця величина є 0,0000001, тобто дуже малою. Якщо ви при перевірці гіпотез застосуєте підхід за рівнем значимості або 1%, то побачите, що обчислений коефіцієнт F = 202,87 є значимим для цього рівня. Отже, якщо ми відкинемо нульову гіпотезу про те, що , то імовірність виникнення помилки 1 типу (відкидається правильна гіпотеза) дуже мала. Отже, з великою імовірністю ми можемо зробити висновок, що дохід Х впливає на витрати і споживання Y.

Пригадаємо теорему про те, що квадрат величини t з k степенями вільності дорівнює F з 1 степенем вільності чисельника і k степенями вільності знаменника, тобто . Для нашого прикладу моделі “споживання  дохід”, якщо ми покладемо , то з формули для t (3.3.2) легко отримати

.

Це значення змінної t має 8 степенів вільності. При тій же нульовій гіпотезі F = 202,87 має 1 і 8 степенів вільності. Отже, з точністю до округлення маємо 14,242=202,87.

Таким чином, t- і F-тести дають нам два альтернативних, але взаємодоповнюючих шляхи перевірки нульової гіпотези про те, що . Якщо це так, то чому не обмежитися t-тестом і не перевіряти F-тест? Виявляється, що для моделі з двома змінними це можна припустити. Але для моделі множинної регресії ми побачимо, що F тест має деякі цікаві додатки, що робить його дуже корисним і потужним методом перевірки статистичних гіпотез.