17. Регрессионный анализ

Методы регрессионного анализа (РА) относятся к многомерным статистическим методам и основаны на понятии регрессии. В РА решаются несколько задач, различных по постановке. Основные из них:

1. известна структура и аналитическое представление модели, выполняется оценка параметров модели – задача идентификации;

2. получены экспериментальные данные о недетерминированном объекте, которые используются для выбора лучших моделей – задача дискриминации;

3. отсутствует априорная информация о структуре модели, экспериментальные данные используются для поиска модели, пригодной для описания данных, ищутся ответы на вопросы:

   • сколько независимых переменных должно входить в модель (используется метод ранговой коррекции и экспертных оценок),

   • является ли модель линейной или нелинейной (выясняется тип нелинейности по каждой переменной),

   • анализируются данные на возможность представления модели гладкой непрерывной функцией.

18.Задача идентификации в регрессионном анализе

Задача идентификации может быть представлена следующим образом: в факторном пространстве переменных задана функция, в т.ч. как гладкая непрерывная.

Эту функцию можно разложить в ряд Тейлора в любой точке.

Обычно в качестве модели, которая идентифицируется, выбирается отрезок ряда Тейлора, имеющий следующий вид:

Построение модели в рамках её номинальной структуры (т.е. определение коэффициентов уравнения регрессии) может производиться двумя основными способами:

1. пассивный эксперимент – эксперимент, в ходе которого наблюдается нормальное поведение объекта;

2. активный эксперимент заключается в том, что исследователем задается некоторая схема варьирования факторов или, иначе, задается план эксперимента.

В экономике чаще всего возможен пассивный эксперимент и только в определенных задачах, где объект исследования допускает варьирование факторов по схеме, заданной исследователем, возможно проведение активного эксперимента.

Для линейной модели РА используется следующее выражение:

Нереализованная форма модели справедлива и для нелинейных шкал факторов, в которых , где функция может быть представлена , которые используются для введения нелинейности.

Каждая строка матрицы переменных (X) может быть интерпретирована как точка в факторном пространстве.

E – вектор ошибок наблюдения, В – вектор коэффициентов уравнения регрессии.

В данном уравнении матрица переменных и столбец результатов известны, неизвестны коэффициенты регрессии.

Т.е. ошибки не коррелированны, независимы между собой и имеют однородную дисперсию.

В РА для того, чтобы оценить точность полученной оценки параметра наблюдения, необходимо выдвинуть гипотезу о типе распределения ошибки наблюдения:

Это означает, что Е принадлежит множеству многомерного нормального распределения с математическим ожиданием 0, дисперсией и единичной матрицей, которая характеризует взаимозависимость ошибок.

Решая задачу МНК, получим:

Данная матрица симметрична относительно главной диагонали.

Рассмотрим свойство матрицы . Она называется квадратичной формой, если:

Выполним нормировку результатов наблюдения следующим образом:

С учетом нормировки может быть получено следующее отношение:

Информационная матрица Фишера представляет собой матрицу парных корреляций. Для независимых входящих переменных она равна единичной. Диагональная матрица может быть получена в случае ортогональности матрицы Х (т.е. произведение всех переменных равно нулю кроме произведения переменных само на себя).

Корреляционная матрица М позволяет вычислить коэффициент множественной корреляции, который указывает на то, какая доля факторов в рассеивании рассматриваемых переменных является общими со всеми остальными.

, где

- определитель минора матрицы.

Например, если , это значит, что 60% факторов в рассеивании У для первой переменной являются общими со всеми остальными.

Обратная к информационной матрице Фишера позволяет определить оценку ковариационной матрицы в уравнении регрессии:

Таким образом, дисперсия оценок любого параметра модели зависит от корреляции входящих переменных.