Ведение в социально - экономическую статистику. Учебник. Новосибирск, 2004. 739 с
.pdf6.4. Многообразие оценок регрессии |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
213 |
||||||||||
|
|
1 |
c |
|
(т.е. первая строка не является ортом), |
|
|||||||||||||||||||||||||
Пусть теперь C = |
|
−1 |
|
|
|||||||||||||||||||||||||||
|
|
0 In−1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
C−1 = |
1 |
−c−1 . Тогда уравнение (6.33) приобретает следующую форму: |
|||||||||||||||||||||||||||||
|
0 |
In−1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ˆ |
|
ˆ |
|
|
|
ˆ |
|
c |
|
|
|
|
|
1 + c |
|
|
1 |
a |
|
|
1 |
|
|
|
|
||||
|
|
X |
|
X |
−1 |
+ X |
|
|
|
|
|
|
|
− |
|
− |
|
= e1, |
(6.34) |
||||||||||||
|
|
|
1 |
|
|
ˆ |
1 |
|
−1 |
|
|
|
|
|
|
|
|
|
|
||||||||||||
|
|
|
|
←−−−−−−−−→ |
|
|
|
|
−a−1 |
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
Y−1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
f |
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
←−−−−−−−−−−→ |
|
|
|
|||||||||||||
или |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Xˆ1 1 + c−1a−1 |
= Yˆ−1a−1 + e1, |
|
|
|
|||||||||||||||||||||||
и |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ˆ |
|
ˆ |
|
|
a−1 |
|
|
|
|
+ |
|
|
|
|
|
|
1 |
|
|
|
|
|
|
||||||
|
|
X1 |
= Y−1 |
|
1 + c |
|
a |
|
|
|
1 + c |
|
|
a |
−1 |
|
e1. |
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
−1 |
|
−1 |
|
|
|
|
|
|
−1 |
|
|
|
|
||||||||
Таким образом, условием совпадения a и f с точностью до обратного преобразо- |
|||||||||||||||||||||||||||||||
вания является следующее: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
f−1 = |
|
|
|
a−1 |
|
|
|
. |
|
|
|
|
|
|
|
(6.35) |
|||||||
|
|
|
|
|
|
|
|
|
1 + c−1a−1 |
|
|
|
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
Система нормальных уравнений для оценки f−1 |
имеет вид: |
|
|
|
|||||||||||||||||||||||||||
|
|
|
|
|
1 |
|
Yˆ |
Xˆ |
|
= |
|
1 |
Yˆ |
Yˆ |
|
f |
|
|
|
, |
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
−1 |
|
|
|
|
|
||||||||||||||
|
|
|
|
|
|
N −1 |
|
|
1 |
|
|
|
N −1 −1 |
|
|
|
|
|
|
|
|
|
|||||||||
или, учтя зависимость Y от X из (6.34) и раскрыв скобки: |
|
|
|
||||||||||||||||||||||||||||
|
m−1 + c−1m11 = M−1 + m−1c−1 + c−1m−1 + m11c−1c−1 f−1. |
|
|||||||||||||||||||||||||||||
Это равенство с учетом (6.35) и (6.11) принимает вид: |
|
|
|
|
|
|
|
||||||||||||||||||||||||
(m−1 + c−1m11) 1 + c−1M−−11m−1 |
|
= |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
= M−1 + m−1c−1 + c−1m−1 + m11c−1c−1 M−−11m−1. |
Раскрыв скобки и приведя подобные, можно получить следующее выражение:
c−1m11 = c−1m−1M−−11m−1,
214 |
Глава 6. Алгебра линейной регрессии |
которое выполняется как равенство, только если
m11 = m−1M−−11m−1,
т.е. если (в соответствии с (6.18))
m11 = s2q1.
Таким образом, a и f совпадают с точностью до обратного преобразования только тогда, когда полная дисперсия равна объясненной, т. е. связь функциональна и e = 0.
Что и требовалось доказать.
Итак, преобразования в пространстве переменных в простых регрессиях лишь в особых случаях приводят к получению новых оценок, обычно меняются только шкалы измерения. Некоторые из этих шкал находят применение в прикладном анализе. Такой пример дает стандартизированная шкала, которая возникает, если C = S−1, где S — диагональная матрица среднеквадратических отклонений переменных.
Оценки параметров регрессии после преобразования оказываются измеренными в единицах среднеквадратических отклонений переменных от своих средних, и они становятся сопоставимыми между собой и с параметрами других регрессий.
В этом случае система нормальных уравнений формируется коэффициентами корреляции, а не ковариации, и f−j = R−−j1r−j , где R−j — матрица коэффициентов корреляции объясняющих переменных между собой, r−j — вектор столбец коэффициентов корреляции объясняющих переменных с объясняемой переменной.
Действительно (предполагается, что j = 1), соотношения (6.33) при указанной матрице C имеют следующую форму:
Xˆ |
|
1 |
|
Xˆ |
−1 |
S−1 |
s1 |
= e1. |
|
|
1 s1 |
(6.36) |
|||||||||
|
|
−1 |
|
|||||||
←−−→ |
←−−−−−→ |
−S−1a−1 |
|
|
||||||
|
ˆ |
|
ˆ |
|
|
|
||||
Y1 |
|
Y−1 |
|
|
Для того чтобы вектор параметров приобрел необходимую для простой регрессии форму, его надо разделить на s1 . Тогда и e делится на s1 (т.е. на s1 делятся обе части уравнения (6.36)). После переноса объясняющих переменных в правую часть получается следующее уравнение регрессии:
ˆ |
ˆ |
|
1 |
|
|
|
|
|
|
1 |
|
||||
Y1 |
= Y−1f−1 |
+ |
s1 |
e1 |
, |
где f−1 = S−1a−1 |
s1 |
. |
|||||||
Система нормальных уравнений для f−1 |
имеет следующий вид: |
||||||||||||||
|
|
1 |
Yˆ |
Yˆ = |
|
1 |
Yˆ Yˆ |
f |
|
, |
|
|
|||
|
|
|
|
|
−1 |
|
|
||||||||
|
|
N |
−1 |
1 |
|
|
N −1 −1 |
|
|
|
|
6.4. Многообразие оценок регрессии |
|
|
|
|
|
215 |
|||
или, учитывая зависимость Y от X из (6.36), |
|
|
|
||||||
S−1m |
|
1 |
= S−1M |
|
S−1 f |
|
. |
||
|
|
−1 |
−1 |
||||||
−1 |
−1 s1 |
−1 |
|
−1 |
|
||||
←−−−−−−→1 |
←−−−−−−−→1 |
|
|
||||||
R |
− |
|
|
|
r−
Что и требовалось доказать.
Преобразование в пространстве переменных в ортогональной регрессии при использовании любой квадратной и невырожденной матрицы C = In приводит
кполучению новых оценок параметров.
Впункте 4.2 при n = 2 этот факт графически иллюстрировался в случае, когда
1 |
0 |
C = |
. |
0 |
k |
В общем случае верно утверждение, состоящее в том, что в результате преобразования и «возвращения» в исходное пространство для получения оценок a надо решить следующую задачу:
(M |
− |
λΩ) a = 0, a Ωa = 1, |
(6.37) |
|
|
|
где Ω = C−1C−1.
Действительно:
После преобразования в пространстве переменных задача ортогональной регрессии записывается следующим образом (6.24, 6.25):
(MY − λIn) f = 0, f f = 1, |
(6.38) |
где, учитывая (6.33), MY = C M C, f = C−1a.
Выражение (6.37) получается в результате элементарных преобразований (6.38).
Понятно, что решение задачи (6.37) будет давать новую оценку параметрам a при любой квадратной и невырожденной матрице C = In . Такую регрессию иногда называют регрессией в метрике Ω−1 .
6.5. Упражнения и задачи |
217 |
–сравните эти оценки с оценками линии регрессии, полученными в 1.1;
–рассчитайте расчетные значения переменных.
1.7.Оцените матрицу оценок и значений главных компонент ( AQ и Q), а также расчетное значение переменных.
1.8.Пусть единицы измерения x1 увеличились в 100 раз. Как в этом случае должна выглядеть матрица преобразования D? Как изменятся оценки уравнения прямой и ортогональной регрессий?
Задачи
1. Может ли матрица
а) |
9.2 |
−3.8 −2 |
б) |
5.2 |
−3.8 −2 |
|||
−3.8 |
2 |
0.6 |
−3.8 |
2 |
0.6 |
|||
|
|
|||||||
|
−2 |
0.5 |
2 |
|
−2 |
0.6 |
2 |
являться ковариационной матрицей переменных, для которых строится уравнение регрессии? Ответ обосновать.
1 |
1 |
|
2. Для x = (x1, x2) = 2 |
2 |
найдите оценки ковариаций переменных x, |
6 |
3 |
|
оценки параметров уравнения прямой (x1 = a12x2 + 1N b1 + e1) и обратной
1 |
|
|
регрессии (x2 = a21x1 + 1N b2 + e2). Покажите, что a12 = |
|
. Рассчитайте |
a21 |
вектор-столбец остатков по прямой и обратной регрессии. Убедитесь, что сумма остатков равна нулю, вектора остатков и x2 ортогональны при прямой регрессии, вектора остатков и x1 ортогональны при обратной регрессии. Найдите объясненную и остаточную дисперсии различными способами,
а также коэффициент детерминации.
3.Предположим, что мы, используя модель регрессии x1 = x−1a−1 + 1N b1 + + e1 , из условия минимизации e1e1 получили следующую систему линейных
b1 + 2a12 + a13 = 3,
уравнений: 2b1 + 5a12 + a13 = 9,
b1 + a12 + 6a13 = −8.
218 |
Глава 6. Алгебра линейной регрессии |
Запишите условия задачи в матрично-векторной форме, решите ее, используя метод, указанный в приложении для обратных матриц, и найдите оценки параметров регрессии.
4.Оцените регрессию x1 = a12x2 + a13x3 + 1N b1 + e1 и рассчитайте:
–оценку остаточной дисперсии,
–объясненную дисперсию,
–коэффициент детерминации,
если |
|
|
|
|
|
|
|
|
a) матрица наблюдений имеет вид: |
|
|
|
|||||
|
|
|
|
5 |
|
1 |
3 |
|
|
|
|
|
1 |
|
2 |
1 |
|
X = (X1 |
, X2 |
, X3) = |
−2 |
3 |
5 |
, |
||
|
|
|
|
|
||||
|
|
|
|
0 |
|
4 |
2 |
|
|
|
|
|
−4 |
5 |
4 |
|
|
б) X1X1 |
= 96, X2X2 = |
55, |
X3X3 |
|
= 129, X1X2 = 72, |
|||
X1X3 |
= 107, X2X3 = 81, |
X11N = 20, X21N = 15, X31N = 25, |
N= 5 .
5.Дисперсии двух переменных совпадают, корреляция отсутствует. Изобразить на графике — в пространстве переменных — линии прямой, обратной
иортогональной регрессий. Ответ обосновать.
6.Дисперсии выпуска продукции и количества занятых по предприятиям равны, соответственно, 10 и 20 , их ковариация равна 12 . Чему равен коэффициент детерминации в регрессии выпуска по занятым, коэффициент зависимости выпуска от занятых по прямой, обратной и ортогональной регрессии?
7.Дисперсии временных рядов индекса денежной массы и сводного индекса цен равны, соответственно, 150 и 200, их ковариация равна 100. Чему равен параметр влияния денежной массы на цены по модели прямой регрессии и доля объясненной дисперсии в дисперсии индекса цен?
14 |
3 |
5 |
3 |
найти оста- |
8. По заданной матрице ковариации двух переменных |
|
|
|
|
5 3 |
2 |
3 |
|
точную дисперсию уравнения регрессии первой переменной по второй.
6.5. Упражнения и задачи |
219 |
9.В регрессии x1 = a12x2 + 1N b1 + e1 , где x1 = (5, 3, 7, 1) коэффициент детерминации оказался равным 50%. Найдите сумму квадратов остатков.
10.Оцените модель x1 = a12x2 + 1N b1 + e1 , используя следующие данные:
3 |
3 |
1 |
1 |
(x1, x2) = 8 5 . |
|
3 |
2 |
5 |
5 |
5 |
|
5 |
Вычислите остатки (ei) и покажите, что |
ei = 0, |
x2iei = 0. |
i=1 |
|
i=1 |
11. Две парные регрессии построены на одних и тех же данных: x1 = a12x2 + + 1N b1 + e1 и x2 = a21x1 + 1N b2 + e2 . R12 — коэффициент детерминации в первой регрессии, R22 — во второй. Запишите соотношение между R12 и R22 . Ответ обосновать.
12.Возможна ли ситуация, когда угловые коэффициенты в уравнениях прямой и обратной регрессии построены на одних и тех же данных, соответственно равны 0.5 и 3.0. Почему?
13.Что геометрически означает R2 = 0 и R2 = 1?
14.Регрессия x1 = α12x2 + β1 + ε1 оценивается по двум наблюдениям. Чему равен коэффициент детерминации?
1 1
15. Для x = (x1, x2) = 2 2 оцените параметры ортогональной регрессии
63
икоэффициент детерминации. Покажите, что линия ортогональной регрессии находится между линиями прямой и обратной регрессии.
16.Какая из двух оценок коэффициента зависимости выпуска продукции от количества занятых в производстве больше: по прямой или по ортогональной регрессии? Ответ обосновать.
17.Какая из двух оценок коэффициента зависимости спроса от цены больше: по прямой или по ортогональной регрессии? Ответ обосновать.
6.5. Упражнения и задачи |
221 |
2.Болч Б., Хуань К.Дж. Многомерные статистические методы для экономики. — М.: «Статистика», 1979. (Гл. 7).
3.Джонстон Дж. Эконометрические методы. — М.: «Статистика», 1980. (Гл. 2, 11).
4.Дрейпер Н., Смит Г. Прикладной регрессионный анализ: В 2-х кн. Кн.1. — М.: «Финансы и статистика», 1986. (Гл. 1, 2).
5.Езекиэл М., Фокс К. Методы анализа корреляций и регрессий. — М.: «Статистика», 1966. (Гл. 5, 7).
6.Кейн Э. Экономическая статистика и эконометрия. Вып. 2. — М.: «Статистика», 1977. (Гл. 10, 11).
7.Лизер С. Эконометрические методы и задачи. — М.: «Статистика», 1971. (Гл. 2).
8.(*) Маленво Э. Статистические методы эконометрии. Вып. 1. — М.: «Статистика», 1975. (Гл. 1).
9.Judge G.G., Hill R.C., Griffiths W.E., Luthepohl H., Lee T. Introduction to the Theory and Practice of Econometric. John Wiley & Sons, Inc., 1993. (Ch. 5).
10.William E., Griffiths R., Carter H., George G. Judge Learning and Practicing econometrics, N 9 John Wiley & Sons, Inc., 1993. (Ch. 3).