§ 5.3. Множественная линейная регрессия и ее исследование

Простая регрессия позволяет изучить зависимость лишь двух переменных. Чаще изменение Y связано с влиянием не одного, а нескольких факторов. Если в уравнение регрессии вводить несколько независимых переменных, то такая регрессия называется множественной.

Например,	Y – себестоимость продукции (в млрд руб.);
	Х1 – зарплата (в млн. руб.);
	Х2 – стоимость материалов (в млн. руб.);
	Х3 – стоимость электроэнергии и т.д.

Линейная регрессия с m независимыми переменными имеет вид:

,

где m – число независимых переменных, или с использованием матричной записи:

,

в которой – матрица-столбец наблюдаемых значений за зависимой переменной;

– матрица размера n x (m + 1), составленная из наблюдаемых значений независимых переменных,

– матрица-столбец неизвестных переменных (Т – знак транспонирования),

– матрица-столбец случайной (возмущающей) переменной (регрессионные остатки).

Для вычисления оценок параметров уравнения регрессии воспользуемся методом наименьших квадратов. Получим

,

т.е. оценки находятся как решение линейной системы, содержащей m + 1 уравнения с m + 1 неизвестными, если матрица X^TX невырождена.

Дисперсия возмущающей переменной вычисляется по формуле:

,

а дисперсия оценок параметров уравнения регрессии

,

где – диагональный элемент матрицы , расположенный на пересечении i-ой строки и i-го столбца.

Доверительные интервалы для параметров модели имеют вид

,

где – квантиль распределения Стьюдента с доверительной вероятностью  и числом степеней свободы.

Рассмотрим задачу проверки гипотез о значимости параметров уравнения регрессии на уровне значимости 

.

Тогда величина при справедливости гипотезы Н_0i имеет распределение Стьюдента с степенями свободы.

Решающее правило:

принимается

где – квантиль распределения Стьюдента с степенями свободы.

Гипотезу можно рассматривать как гипотезу о том, что «независимые переменные не улучшают предсказание Y относительно ». Если эта гипотеза не отвергается, то, следовательно, принимается как лучшее предсказываемое значение Y. Альтернативная гипотеза состоит в том, что не все коэффициенты равны нулю, т.е. что «некоторые из независимых переменных улучшают предсказание Y по сравнению с ». Статистикой критерия является F-отношение, т.е.

.

Эта статистика для Н₀ имеет F-распределение с и степенями свободы

Решающее правило:

Принимается

где – квантиль уровня F-распределения Фишера с m и n – m – 1 степенями свободы.

Необходимо предупредить читателя, что этот метод проверки гипотез заслуживает доверия лишь в ситуациях, когда участвующие в регрессионном анализе независимые переменные взаимно некоррелированы (или коррелированы достаточно слабо).

Кроме того, при регрессионном анализе в экономических задачах двустороннюю альтернативную гипотезу в одномерных критериях, касающихся параметров , применяют редко. Так происходит потому, что экономическая теория обычно указывает заранее знак параметра. Так, мы априори ожидаем, что для функции потребления этот параметр будет отрицательным.

На практике описанную выше проверку можно выполнить очень быстро, обратив внимание на следующее простое правило: если число степеней свободы больше 5, то критическое значение менее 2,0 на уровне значимости  = 0,05 (см. таблицу распределения). Поскольку в экономических применениях регрессионного анализа число степеней свободы почти всегда больше 5, то мы отвергаем нулевую гипотезу, если отношение оценки параметра к оценке его стандартной ошибки больше двух.