- •Карл Фридрих Гаусс
- •Постановка задачи:
- •Сформируем вектора и матрицу коэффициентов на основе системы (7.2)
- •По данным выборки найти: Ã, Cov(ÃÃ), σu, σ(ỹ(z)) Теорема (Гаусса – Маркова)
- •Тогда наилучшей линейной процедурой оценки параметров модели (7.1) является:
- •Доказательство
- •Для получения необходимого условия экстремума дифференцируем (7.6) по вектору параметров
- •Докажем несмещенность оценок (7.3)
- •Пример 1. Пусть имеем выборку из n наблюдений за случайной величиной Y
- •Решение
- •Пример 2. Уравнение парной регрессии
- •2.Вычисляем XTY
- •Вычислим дисперсии (ковариационную матрицу) параметров модели
- •Расчет дисперсии прогнозирования
- •Процедура «ЛИНЕЙН» в приложении EXCEL
- •Выводы:
n
yt a0 a1 x1t a2 x2t ... an xnt ut ai xit ut (7.1) i 0
Наилучшая линейная процедура получения оценок параметров уравнения (7.1) и условия, при которых эта процедура дает несмещенные и эффективные оценки, сформулирована в теореме Гаусса-Маркова
Карл Фридрих Гаусс
Время жизни 30.04.1777 - 23.02.1855 Научная сфера – математика, физика, астрономия
Андрей Андреевич Марков
Время жизни 14.06.1856 - 20.07.1922
Научная сфера - математика
Постановка задачи:
Имеем случайную выборку наблюдений за поведением экономического объекта объемом n
y |
11 |
|
x |
21 ... |
x |
k1 |
|
|
|
|
|
|
|
|
||||||
y |
1 |
x |
|
22 ... |
|
|
|
Выборка наблюдений за переменными |
||||||||||||
|
12 |
|
|
|
k2 |
|
||||||||||||||
|
|
2 |
x |
|
x |
|
x |
|
|
|
|
модели (7.1) |
|
|
||||||
... |
... |
|
... ... |
... |
|
|
Первый индекс – номер регрессора |
|||||||||||||
y |
|
1n |
|
|
2n ... |
|
kn |
|
|
|||||||||||
|
|
n |
x |
|
x |
|
x |
|
|
|
|
Второй индекс – номер наблюдения |
||||||||
|
y |
|
|
0 |
1 |
11 |
|
a |
2 |
x |
21... |
n |
x |
k1 |
1 |
|
||||
1 |
a |
|
|
a x |
|
|
|
|
|
a |
|
u |
|
|||||||
y2 |
a0 a1 x12 |
|
a2 x22 ... an xk 2 u2 |
(7.2) |
||||||||||||||||
.................................................. |
||||||||||||||||||||
|
||||||||||||||||||||
|
|
|
a0 |
a1 x1n |
|
a2 x2n ... an xkn un |
|
|||||||||||||
y1 |
|
|
(7.2) - Система уравнений наблюдений, связывающая наблюдения в выборке
Сформируем вектора и матрицу коэффициентов на основе системы (7.2)
Y – вектор выборочных значений эндогенной переменной U – вектор выборочных значений случайного возмущения A - вектор неизвестных параметров модели
х – вектор регрессоров
X – матрица коэффициентов при неизвестных параметрах
Y Ax U
По данным выборки найти: Ã, Cov(ÃÃ), σu, σ(ỹ(z)) Теорема (Гаусса – Маркова)
Если матрица Х неколлинеарна и вектор случайных возмущений удовлетворяет следующим требованиям:
1. M u 0 Математическое ожидание всех
i
случайных возмущений равно нулю
2. |
2 ui u2 |
Дисперсия случайных возмущений |
|
|
|
постоянна во всех наблюдениях |
|
|
|
(условие ГОМОСКЕДАСТИЧНОСТИ) |
|
3. |
Cov ui,uj 0 |
Случайные возмущения в разных |
|
наблюдениях не зависимы |
|||
|
при i j |
||
|
|
||
4. |
Cov xi,ui 0 |
Случайные возмущения и регрессоры |
|
не зависимы |
|||
|
|
Тогда наилучшей линейной процедурой оценки параметров модели (7.1) является:
(7.3)
которая удовлетворяет методу наименьших квадратов
При этом:02T0u210
Доказательство
Воспользуемся методом наименьших квадратов
|
|
2 |
|
|
T |
|
|
|
|
|
|
|
|
|
|
||
|
|
n |
|
u |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
u |
|
|
|
|
|
|
|
|
|
|
|
|
|
||
S |
i |
|
|
u min |
|
|
|
|
|
|
(7.4) |
||||||
|
|
i 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
где |
|
|
~ |
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
~ |
|
|
|
|
|
|
|
|
(7.5) |
||||||
|
u Y |
Y |
Y Xa |
|
|
|
|
|
|
|
|
||||||
Подставив (7.5) в (7.4) получим |
|
|
|
||||||||||||||
T |
|
|
T |
|
|
|
|
|
|
T |
T |
T |
Y |
~ |
|||
~ |
|
~ |
|
|
|
~ |
|||||||||||
S u u Y |
Xa |
Y Xa Y |
~ |
a |
X |
Xa |
|||||||||||
T |
|
~ |
|
|
|
|
~ |
|
|
|
|
|
|
|
|||
Y |
T |
|
T |
Y a |
T |
X |
T |
Xa |
|
|
|
(7.6) |
|||||
Y |
2a |
X |
|
|
|
|
|
|
Для получения необходимого условия экстремума дифференцируем (7.6) по вектору параметров
S |
T |
|
T ~ |
||
|
2 X Y 2 X Xa 0 |
|
~ |
||
a |
|
|
Откуда система нормальных уравнений для определения искомых параметров получает вид
X |
T |
~ |
T |
Y |
(7.7) |
|
Xa |
X |
Решение системы (7.7) в матричном виде есть
Выражение (7.3) доказано
Докажем несмещенность оценок (7.3) |
|
|||||||||||||
|
|
|
1 |
|
|
|
|
|
|
|
1 |
T |
|
|
M a M X |
X |
|
X |
|
Y M |
X |
X |
|
X |
Xa |
u |
|||
~ |
T |
|
|
T |
|
|
T |
|
|
|
|
|
|
|
|
M XT X |
1 |
|
|
|
|
|
|
||||||
|
|
|
XT X a |
u a |
Несмещенность оценки (7.3) доказана
Вычислим ковариационную матрицу оценок (7.3)
~ ~ |
|
|
1 |
|
|
|
1 |
|
|
|
|
1 |
Cov a,a Cov X |
T |
X |
X |
Y, X |
X |
X |
Y u |
X |
X |
|||
|
|
|
T |
T |
|
|
T |
2 |
T |
|
|
В результате получено выражение (7.4)
Пример 1. Пусть имеем выборку из n наблюдений за случайной величиной Y
Найти наилучшие оценки среднего значения и дисперсии этой переменной
В терминах теоремы Гаусса –Маркова задача формулируется так: необходимо построить модель типа Y = a0 +u, при этом имеем:
Решение
1. Вычисляем (XTX)-1 4. Находим дисперсию среднего
2.Вычисляем (XTY)
3.Вычисляем оценку параметра а0