- •Алгебра линейной регрессии
- •6.1. Линейная регрессия
- •6.2. Простая регрессия
- •6.3. Ортогональная регрессия
- •6.4. Многообразие оценок регрессии
- •6.5. Упражнения и задачи
- •Глава 7
- •Основная модель линейной регрессии
- •7.1. Различные формы уравнения регрессии
- •7.2. Основные гипотезы, свойства оценок
- •7.3. Независимые факторы: спецификация модели
- •7.4. Прогнозирование
- •7.5. Упражнения и задачи
- •Глава 8
- •Нарушение гипотез основной линейной модели
- •8.3. Автокорреляция ошибок
- •8.4. Ошибки измерения факторов
- •8.5. Метод инструментальных переменных
- •8.6. Упражнения и задачи Упражнение 1
Глава 7
Основная модель линейной регрессии
7.1. Различные формы уравнения регрессии
Основная модель линейной регрессии относится к классу простых регрессий, в левой части уравнения которых находится одна переменная: объясняемая, моде- лируемая, эндогенная, а в правой — несколько переменных: объясняющих, фак- торных, независимых, экзогенных. Объясняющие переменные называют также факторами, регрессорами.
Для объясняемой переменной сохраняется прежнее обозначение — x. А век- тор-строка размерности n объясняющих переменных будет теперь обозначаться через z, поскольку свойства этих переменных в основной модели регрессии суще- ственно отличаются от свойств объясняемой переменной. Через X и Z обозна- чаются, соответственно, вектор-столбец размерности N наблюдений за объясня- емой переменной и матрица размерности N × n наблюдений за объясняющими переменными. Обозначения параметров регрессии и остатков по наблюдениям со- храняются прежними (отличие в том, что теперь вектор-столбцы α и a имеют размерность n).
Уравнения регрессии в исходной форме имеют следующий вид:
X = Zα + 1N β + ε, (7.1)
7.1. Различные формы уравнения регрессии |
223 |
или в оценках
X = Za + 1N b + e. |
(7.2) |
В сокращенной форме:
Xˆ = Zˆα + ε, (7.3)
или
Xˆ = Zˆa + e. (7.4)
Оператор МНК-оценивания ((6.11, 6.13) в п. 6.2) принимает теперь вид:
a = M −1m, b = x¯ − z¯a, (7.5)
N ˆ ˆ
где M = 1
ZtZ — ковариационная матрица переменных z между собой,
N ˆ ˆ
m = 1
ZtX — вектор ковариаций переменных z с переменной x. Первую часть
оператора (7.5) часто записывают в форме:
a = ˆ Zˆ−1 Zˆ X. (7.6)
Zt t ˆ
МНК-оценки e обладают следующими свойствами ((6.6, 6.12) в предыдущей главе):
e¯ =
1
1
N
N
1 Zˆte = 0. (7.7)
N
Коэффициент детерминации рассчитывается следующим образом (см. (6.20)):
2
s2
e , (7.8)
s
s
x x
x
дисперсия объясняемой переменной, s2 — остаточная дисперсия,
e
q = atMa = atm = mta = mtM −1m (7.9)
— объясненная дисперсия.
Уравнение регрессии часто записывают в форме со скрытым свободным членом:
X = Z˜α˜ + ε, (7.10)
X = Z˜a˜ + e, (7.11)
224 Глава 7. Основная модель линейной регрессии
α a
где Z˜ = [Z 1N ], α˜ =
, a˜ = .
β b
При таком представлении уравнения регрессии оператор МНК-оценивания записывается следующим, более компактным, чем (7.5), образом:
N
˜t
˜
˜ ˜
N
˜t
a = M˜−1m, (7.12)
a˜ =
Z˜tZ˜
−1
Z˜tX. (7.13)
M˜ и m˜
также, как M и m, являются матрицей и вектором вторых моментов,
но не центральных, а начальных. Кроме того, их размерность на единицу больше. Оператор (7.12) дает, естественно, такой же результат, что и оператор (7.5).
Этот факт доказывался в п. 4.2 для случая одной переменной в правой части урав-
нения.
В общем случае этот факт доказывается следующим образом. Учитывая, что
X = Xˆ + 1N x¯, (7.14)
.
Z˜ =
Zˆ + 1N z¯
.
1N , (7.15)
можно установить, что
˜
M + z¯rz¯
z¯
m + z¯rx¯
z¯r
1
m =
˜ ,
x¯
и записать систему нормальных уравнений, решением которой является (7.12) в сле- дующей форме:
M + z¯rz¯
z¯r
a
m + z¯rx¯
=
z¯ 1
.
b x¯
7.1. Различные формы уравнения регрессии 225
Вторая (нижняя) часть этой матричной системы уравнений эквивалентна второй части оператора (7.5). После подстановки b, выраженного через a, в первую (верх- нюю) часть данной матричной системы уравнений она приобретает следующий вид:
Ma + z¯rz¯a + z¯rx¯ − z¯rz¯a = m + z¯rx¯,
и после приведения подобных становится очевидной ее эквивалентность первой ча- сти оператора (7.5).
Что и требовалось доказать.
Кроме того, можно доказать, что
˜
M −1 −M −1z¯t
−z¯M −1 1 + z¯M −1z¯t
Этот факт потребуется ниже. (Правило обращения блочных матриц см. в Прило- жении A.1.2.)
Справедливость этого утверждения проверяется умножением M˜−1 из (7.17) на M˜ из (7.16). В результате получается единичная матрица.
МНК-оценки вектора e ортогональны столбцам матрицы Z˜:
Z˜te = 0. (7.18)
Доказательство наличия этого свойства получается как побочный результат при вы- воде оператора оценивания (7.12) путем приравнивания нулю производных оста- точной дисперсии по параметрам регрессии, как это делалось в п. 6.2.
что
Поскольку последним столбцом матрицы Z˜
является 1N , из (7.18) следует,
1t
т.е. e¯ = 0. Из остальной части (7.18):
Zte = 0, (7.20)
что в данном случае означает, что cov(Z, e) = 0.
Действительно, раскрывая (7.20):
Zre
(7.15)
=
Zˆre + z¯r1r
e = Zˆre = 0.
N
226 Глава 7. Основная модель линейной регрессии
Таким образом, (7.18) эквивалентно (7.7).
Однако уравнения (7.10) допускают и иную интерпретацию. Если последним
в Z˜
является не 1N , а столбец «обычной» переменной, то это — регрессия без
свободного члена. В таком случае из (7.18) не следует (7.19), и свойства (7.7) не вы- полняются. Кроме того, для такой регрессии, очевидно, не возможна сокращенная запись уравнения. Этот случай в дальнейшем не рассматривается.
В дальнейшем будет применяться в основном форма записи уравнения со скры- тым свободным членом, но чтобы не загромождать изложение материала, символ
«∼» будет опускаться, т.е. соотношения (7.10, 7.11, 7.12, 7.13, 7.18) будут исполь- зоваться в форме
X = Zα + ε, |
(7.21) |
X = Za + e, |
(7.22) |
a = M −1m, |
(7.23) |
a = .ZtZ.−1 ZtX, |
(7.24) |
Zte = 0. |
(7.25) |
Случаи, когда a, Z , m, M означают не a˜, Z˜, m˜ , M˜, а собственно a, Z , m, M , будут оговариваться специально.