1. Классическая нормальная линейная модель множественной регрессии

Обозначим: i-ое наблюдение зависимой переменной – у_i, а объясняющих переменных – x_i1, x_i2, … , x_ip. Тогда модель множественной линейной регрессии можно представить в виде:

(3.1)

– объем выборки;

удовлетворяет предпосылкам регрессионного анализа:

1. – случайная величина, а объясняющие переменные – неслучайные величины;

2. ;

3. – постоянная для любого i (условие гомоскедастичности);

4. , ;

5. Возмущение есть нормально распределенная случайная величина.

Определение:

Модель (3.1), в которой зависимая переменная у_i , возмущения и объясняющие переменные удовлетворяют предпосылкам регрессионного анализа и, кроме того, предпосылке о невырожденности матрицы значений объясняющих переменных (независимых столбцов) называется классической нормальной линейной моделью множественной регрессии.

Перейдем к матричному описанию регрессий (это облегчает расчеты).

Введем обозначения:

– матрица-столбец, или вектор значений зависимой переменной размера n; – матрица значений объясняющих переменных, или матрица плана (размера ). В матрицу дополнительно введен столбец, все элементы которого равны 1, т.е. условно предполагается, что в модели (3.1) свободный член умножается на фиктивную переменную , принимающую значение 1 для всех i: ;

– матрица-столбец, или вектор параметров размера ;

– матрица-столбец, или вектор возмущений (случайных ошибок, остатков) размера n.

Тогда в матричной форме модель (3.1) примет вид:

. (3.2)

Оценкой этой модели по выборке является уравнение

, (3.3)

где b_{(p + 1)  1} , ,

2. Оценка параметров классической регрессионной модели методом наименьших квадратов

Для оценки вектора неизвестных параметров применим метод наименьших квадратов. Так как произведение транспонированной матрицы на саму матрицу

,

то условие минимизации остаточной суммы квадратов запишется в виде:

.

Учитывая, что при транспонировании произведения матриц получается произведение транспонированных матриц, взятых в обратном порядке, т.е. , после раскрытия скобок получим:

Произведение есть матрица размерности , т.е. величина скалярная, следовательно, оно не меняется при транспонировании, т.е.

Поэтому условие минимизации примет вид:

На основании необходимого условия экстремума функции нескольких переменных S , необходимо приравнять к нулю частные производные по этим переменным или в матричной форме – вектор частных производных должен быть ноль-вектором , т.е. .

Известно (из алгебры матриц) для векторов: , , .

.

, где – симметрическая матрица, в которой элементы, расположенные симметрично главной диагонали, равны.

Поэтому, полагая , а матрица (она является симметрической), найдем

,

откуда получаем систему нормальных уравнений в матричной форме для определения вектора :

. (3.4)

Найдем матрицы, входящие в это уравнение.

Матрица есть вектор произведений n наблюдений объясняющих и зависимой переменных:

(3.5)

При получим систему нормальных уравнений:

Для решения системы (3.5) или матричного уравнения (3.4) нужна еще одна предпосылка: - невырожденная матрица, т.е. . Тогда решение имеет вид:

. (3.6)

В модели (3.2) - случайный вектор, Х – неслучайная матрица.