23.Метод гребневой регрессии в регрессионном анализе
Несмотря на то, что применение МНК во многих случаях обосновано, и оценки являются несмещенными, эффективными и состоятельными, в целом ряде случаев, часто встречающихся на практике, этот метод не дает желаемых результатов. Бывает, что полученные результаты являются абсурдными и противоречат здравому смыслу. Например, может быть получено уравнение линейной регрессии, знаки коэффициентов которого противоречат здравому смыслу. Так, с увеличением материалоемкости продукции себестоимость уменьшается по уравнению регрессии, хотя реально дело обстоит по-другому.
Такие явления можно объяснить тем, что формальное применение математических методов дает формальное выражение уравнения регрессии. Математические методы реагируют только на количественные (выборочные) данные и на применяемые методы расчета. Сами по себе математические методы на основе формальных построений не обязаны отражать физическую сущность явлений.
С точки зрения МНК и РА такие эффекты объясняются нарушением предпосылок модели. В частности, входящие переменные или факторы могут быть сильно коррелированны, а это увеличивает дисперсию оценок параметров модели, т.е. выборочное значение оценки уравнения регрессии может сильно колебаться по выборочным значениям данных с точностью до знака, а, следовательно, с точностью до здравого смысла.
Для устранения
отмеченных проблем используются
различные модификации РА – например,
метод гребневой регрессии. Идея метода
заключается в получении смещенной
оценки, но обладающей меньшей дисперсией.
Смешение оценок достигается путем
прибавления к диагональным элементам
матрицы
некоторого числа
.
Графики оценки и смещения оценки имеют следующий вид:
Среднее квадратичное отклонение имеет вид:
Стремятся выбрать
таким, чтобы среднеквадратическое
отклонение было минимальным. Это
позволяет существенно увеличить
эффективность модели в условиях
неопределенности параметров.
может быть выбрано методом подбора,
т.к. при его выборе изменяется выбор
оценки уравнения регрессии, и доказано,
что они будут стремиться к постоянному
значению.
Для улучшения результатов РА используют и другие методы, к которым относятся методы главных компонент и факторного анализа.
24.Метод главных компонент
Идея метода заключается в том, что размерность факторного пространства можно уменьшить. В этом случае регрессионная модель будет лучше описывать выборочные данные, результаты исследования или сам объект. Здесь каждая строка наблюдений в матрице РА есть точка в факторном пространстве.
Моделью метода главных компонент является следующее уравнение:
где F
- новые факторы, которые являются
ненаблюдаемыми, но представляют собой
компоненты в общем рассеивании переменных.
Итак,
- компонента, дающая максимальный вклад
в общее рассеивание переменных,
- следующий по величине вклад в дисперсию
за вычетом первого вклада и т.д.
Алгебраически этот метод описывается так:
Оказывается, что факторы выражаются через матрицу факторных нагрузок в силу ортогональности. Целью исследования является определение матрицы факторных нагрузок.
Основными теоретическими предпосылками метода главных компонент заключается в следующем: если набор переменных обладает матрицей корреляции, то существует единственное линейное преобразование такое, что
- собственные числа матрицы корреляции.
Матрица обладает следующими свойствами:
,
т.е. ортогональное преобразование не
меняет обобщенной дисперсии, которая
содержится в корреляционной матрице;
,
т.е. в матрице
собственные числа расставлены в порядке
возрастания. Известно также, что
Таким образом, вычисление главных компонент сводится к вычислению собственных чисел матрицы . Т.к. упорядочена по возрастанию, то может быть взята та часть, которая определяет главную дисперсию.
Геометрически метод главных компонент представляет собой подбор ортогонального преобразования, интерпретируемого как поворот осей координат, при котором сумма квадратов отклонений становится минимальной.
В этом случае новые оси координат новых главных компонент будут совпадать с главными осями эллипсоида рассеивания. Появляется возможность выделить главные компоненты через исходные факторы.
Особенность метода заключается в том, что определение новой системы факторов является единственным, т.к. собственные числа матрицы единственны. Данный метод не имеет ограничений на требования о нормальности закона распределения.
Недостатки метода:
неинвариантность к масштабам переменных, поэтому их следует варьировать,
сложность интерпретации при наличии нелинейных связей между факторами.