2.2. Линейная модель множественной регрессии

Если в регрессионном анализе рассматривается пара переменных (одна зависимая, одна независимая), то говорят о парной или простой регрессии. Если независимых переменных более одной, то говорят о множественной регрессии.

2.2.1. Уравнение множественной регрессии в натуральном масштабе

Здесь будем рассматривать только линейнуюрегрессию. Пусть рассматривается совокупность переменныхy, x₁, x₂, … , x_m, причем, будем считать, чтоy– зависимая переменная, аx₁, x₂, … , x_m – независимые. Для этих переменных модель множественной линейной регрессии имеет вид:

y = α + x₁ + x₂ + … +х_m + ε,

где α, ,, … ,– параметры уравнения регрессии;

ε – случайная величина, характеризующая отклонение фактических значений зависимой переменной от функции регрессии.

Уравнение множественной линейной регрессии (как оценка модели) может быть записано в виде:

y = a + b₁x₁ + b₂x₂ + …+ b_mx_m + е,

где а –оценка свободного члена уравнения регрессии;

b_k–оценки коэффициентов регрессии при переменныхx_k (k= );

е–отклонения фактических значений зависимой переменной от расчетных (оценки значений случайной величиныε).

Здесь отличия εи е такие же, как и в случае парной регрессии. Если расчетные значения обозначить через, то

= a+b₁x₁+b₂x₂+ … +b_mx_m .

Тогда имеем: y = + еили е = y –.

Отметим еще раз, что а и b_k(k= ) не параметры уравнения регрессии, а их оценки, получаемые обычно на основе метода наименьших квадратов (МНК). Суть МНК для множественной регрессии, как и в случае парной регрессии, состоит в определении оценок параметров уравнения регрессии (свободного члена и коэффициентов регрессии) из условия минимизации суммы квадратов отклонений:

min.

Предпосылки метода наименьших квадратов в случае множественной регрессии в основном те же, что и в случае парной регрессии. Но есть и особенности.

Предпосылка о гомоскедастичности остатков в случае множественной регрессии означает их независимость от значений объясняющих переменных.

Предпосылка о неслучайности независимой переменной для парной регрессии в случае множественной регрессии трансформируется в предпосылку о детерминированности (неслучайности) независимых переменных. А это, в свою очередь, предполагает некоррелированность объясняющих переменных и остатков. Кроме того, ранг матрицы значений исходных данных для независимых переменных должен быть максимальным и равным размерности модели – (m+1). Это связано с тем, что в случае множественной регрессии оценки параметров уравнения рассчитываются с использованием обратной матрицы (Х^ТХ)^-1, а именно,

= (X^TX)^-1(X^TY),

где= (a,b₁,b₂,…,b_m)^T– матрица-столбец оценок параметров уравнения регрессии;

X– матрица значений независимых переменных, знак “Т” означает транспонирование матрицы (замена строк столбцами);

Y–матрица-столбец значений зависимой переменной.

При выполнении предпосылок МНК оценки параметров уравнения регрессии будут “хорошими”. Как и в случае парной регрессии, предпосылка о нормальном законе распределения остатков нужна лишь для правомерности использования характеристик точности МНК-оценок.

Параллельно с оценкой параметров уравнения регрессии необходимо получить оценку дисперсии ε, а следовательно, и дисперсииу.Можно показать, что несмещенной оценкой дисперсииεявляется выборочная остаточная дисперсия, определяемая по формуле

Свободный член уравнения регрессии обычно не интерпретируется.

Коэффициенты уравнения множественной регрессии при каждой переменной показывают, на сколько в среднем изменится значение зависимой переменной (в своих единицах измерения), если значение соответствующей независимой переменной изменится на единицу (в своих единицах измерения) при фиксированных значениях других переменных. Но это верно лишь в том случае, если выполняется предпосылка регрессионного анализа о том, что факторные переменные не зависят между собой (только в этом случае можно изменить значение одной переменной, оставив без изменения другие). В случае же существования взаимозависимости объясняющих переменных смысл коэффициентов уравнения регрессии искажается. А в случае их мультиколлинеарности коэффициенты уравнения регрессии вообще теряют какой-либо смысл.