7.6. Модель множественной регрессии

Если выбранная в качестве объясняющей переменной величина представляет собой действительно доминирующий фактор, то соответствующая парная регрессия достаточно полно описывает механизм причинно-следственной связи. Часто изменение y связано с влиянием не одного, а нескольких факторов. В этом случае в уравнение регрессии вводятся несколько объясняющих переменных. Такая регрессия называется множественной. Уравнение множественной регрессии позволяет лучше, полнее объяснить поведение зависимой переменной, чем парная регрессия, кроме того, оно дает возможность сопоставить эффективность влияния различных факторов.

Линейная модель множественной регрессии имеет вид:

, (7.10)

где m – количество включенных в модель факторов. Коэффициент регрессии показывает, на какую величину в среднем изменится результативный признакy, если переменную увеличить на единицу измерения, т.е.является нормативным коэффициентом.

Уравнение линейной модели множественной регрессии в матричном виде имеет вид:

, (7.11)

где Y – вектор-столбец размерности nх1 наблюдаемых значений зависимой переменной;

X – матрица размерности nх(m+1) наблюдаемых значений независимых переменных (дополнительно вводится фактор, состоящий из одних единиц для вычисления свободного члена);

α – вектор-столбец размерности (m+1)х1 неизвестных, подлежащих оценке коэффициентов регрессии;

ε – вектор-столбец размерности nх1 случайных отклонений.

Таким образом,

,,,.

При применении МНК относительно случайной составляющей в модели (7.10) принимаются предположения, которые являются аналогами предположений, сделанных выше для МНК, применяемого при оценивании параметров парной регрессии. Обычно предполагается:

1. - детерминированные переменные.

2. - математическое ожидание случайной составляющей в любом наблюдении равно нулю.

3. - дисперсия случайного члена постоянна для всех наблюдений.

4. - в любых двух наблюдениях отсутствует систематическая связь между значениями случайной составляющей.

5. ~- часто добавляется условие о нормальности распределения случайного члена.

Модель линейной множественной регрессии, для которой выполняются данные предпосылки, называется классической нормальной регрессионной моделью (Classical Normal Regression model).

Гипотезы, лежащие в основе модели множественной регрессии удобно записать в матричной форме:

1. Х – детерминированная матрица, имеет максимальный ранг (m+1), ρ(Х)=m+1<n. Эта гипотеза означает, что в повторяющихся выборочных наблюдениях единственным источником случайных возмущений вектора Y являются случайные возмущения вектора ε, поэтому свойства оценок обусловлены матрицей наблюдений Х. Предположение относительно матрицы Х, ранг которой принимается равным (m+1), означает, что число наблюдений превышает число параметров (иначе невозможна оценка этих параметров) и не существует строгой линейной зависимости между объясняющими переменными. Это соглашение распространяется на все переменные Х, включая переменную, значение которой всегда равно единице, что соответствует первому столбцу матрицы Х. Если, например, одна объясняющая переменная будет равна другой, умноженной на некоторую константу, или одна будет линейно выражаться через несколько других, то ранг матрицы окажется меньше (m+1), следовательно, ранг матрицы Х^ТХ тоже будет меньше (m+1). Наличие линейной зависимости между столбцами матрицы Х привело бы к вырождению симметрической матрицы Х^ТХ, в результате чего перестала бы существовать обратная матрица (Х^ТХ)^-1, которая играет решающую роль в процедуре оценивания.

2. .

3,4. , гдеI_n – единичная матрица размером nxn. Так как ε - вектор-столбец, размерности nх1, а ε^Т – вектор-строка, произведение εε^Т есть симметрическая матрица порядка n. Матрица ковариаций:

,

Элементы, стоящие на главной диагонали, свидетельствуют о том, что для всехi, это означает, что все имеют постоянную дисперсию. Элементы, не стоящие на главной диагонали дают намдля, так что значенияпопарно некоррелированы.

5. ~.

Если сделанные предположения отвечают действительности, то получаемые оценки МНК являются несмещенными, состоятельными и эффективными.

Уравнение (7.11) содержит значения неизвестных параметров α₀, α₁,… α_m. Эти параметры оцениваются на основе выборочных наблюдений, поэтому полученные расчетные значения не являются истинными, а представляют собой лишь их статистические оценки. Модель множественной регрессии с оцененными параметрами

(7.12)

запишем в виде

,

где а – вектор оценок параметров, е – вектор «оцененных» отклонений регрессии, остатки регрессии ,- оценка значенийY=Xa.

Оценка параметров модели множественной регрессии проводится с помощью метода наименьших квадратов по формуле:

.