Классическая модель множественной линейной регрессии.
y – регрессанд
xi – регрессоры
u – случайная составляющая.
Модель множественной регрессии является обобщением модели парной регрессии на многомерный случай.
Независимые переменные (х) предполагаются не случайными (детерминированными) величинами.
Переменная х1 = xi1 = 1 называется вспомогательной переменной для свободного члена и еще в уравнениях она называется параметром сдвиги.
«y» и «u» в (2) являются реализациями случайной величины.
- называется также
параметром сдвига.
Для статистической оценки параметров регрессионной модели необходим набор (множество) данных наблюдений независимых и зависимых переменных. Данные могут быть представлены в виде пространственных данных или временных рядов наблюдений. Для каждого из таких наблюдений согласно линейной модели можно записать:
Векторно-матричная запись системы (3).
Введем следующие обозначения:
вектор-столбец независимой переменной (регрессанда)
размерность
матрицы (n•1)
Матрица наблюдений независимых переменных (регрессоров):
размер (n*k)
Вектор-столбец параметров:
- матричная запись
системы уравнений (3). Она проще и
компактнее.
Предпосылки классической многомерной линейной регрессионной модели.
Сформируем предпосылки, которые необходимы при выводе уравнении для оценок параметров модели, изучения их свойств и тестирования качества модели. Эти предпосылки обобщают и дополняют предпосылки классической модели парной линейной регрессии (условия Гаусса – Маркова).
Предпосылка 1. независимые переменные не случайны и измеряются без ошибок. Это означает, что матрица наблюдений Х – детерминированная.
Предпосылка 2. (первое условие Гаусса – Маркова): Математическое ожидание случайной составляющей в каждом наблюдении равно нулю.
Предпосылка 3. (второе условие Гаусса – Маркова): теоретическая дисперсия случайной составляющей одинакова для всех наблюдений.
(Это гомоскедастичность)
Предпосылка
4. (третье условие Гаусса – Маркова):
случайные составляющие модели не
коррелированны для различных наблюдений.
Это означает, что теоретическая ковариация
Предпосылки (3) и (4) удобно записать, используя векторные обозначения:
матрица
- симметричная матрица.
- единичная матрица размерности n, верхний
индекс Т – транспонирование.
Матрица
называется
теоретической матрицей ковариаций (или
ковариационной матрицей).
Предпосылка 5. (четвертое условие Гаусса – Маркова): случайная составляющая и объясняющие переменные не коррелированны (для модели нормальной регрессии это условие означает и независимость). В предположении, что объясняющие переменные не случайные, эта предпосылка в классической регрессионной модели всегда выполняется.
Предпосылка 6. Коэффициенты регрессии – постоянные величины.
Предпосылка 7. Уравнение регрессии идентифицируемо. Это означает, что параметры уравнения в принципе оцениваемы, или решение задачи оценивания параметров существует и единственно.
Предпосылка 8. Регрессоры не коллинеарны. В таком случае матрица наблюдений регрессоров должна быть полного ранга. (ее столбцы должны быть линейно независимы). Данная предпосылка тесно связана с предыдущей, так как при применении для оценивания коэффициентов МНК ее выполнение гарантирует идентифицируемость модели (если количество наблюдений больше количества оцениваемых параметров).
Предпосылка 9. Количество наблюдений больше количества оцениваемых параметров, т.е. n>k.
Все эти 1-9 предпосылки одинаково важны, и только при их выполнении можно применять классическую регрессионную модель на практике.
Предпосылка о нормальности случайной составляющей. При построении доверительных интервалов для коэффициентов модели и прогнозов зависимой переменной, проверки статистических гипотез относительно коэффициентов, разработке процедур для анализа адекватности (качества) модели в целом необходимо предположение о нормальном распределении случайной составляющей. С учетом этой предпосылки модель (1) называется классической многомерной линейной моделью регрессии.
Если предпосылки не выполняются, то необходимо строить так называемые обобщенные модели линейной регрессии. От того, насколько корректно (правильно) и осознанно используются возможности регрессионного анализа, зависит успех эконометрического моделирования, и в конечном счете, обоснованность принимаемых решений.