23. Методы борьбы с мультиколлинеарностью.

1. Изменить или увеличить выборку;

2. Исключить одну из переменных;

3. Преобразовать мультиколлинеарные переменные:

• Использовать нелинейные формы;

• Использовать агрегаты (нелинейные комбинации нескольких переменных);

• Использовать первые разницы в место самих переменных;

4. Ничего не делать! Самое главное – выбрать правильное средство.

Сбор дополнительных данных — это самый простой способ устранения мультиколлинеарности, однако на практике это не всегда возможно.

Метод преобразования переменных — это способ замены всех переменных, включенных в модель. Например, вместо значений результа­тивной переменной и факторных переменных мож­но взять их логарифмы. Тогда модель множест­венной регрессии имеет вид:

In у = В₀ + В₁In х₁ + В₂ In х₂ + е.

Однако этот метод не гарантирует устране­ния мультиколлинеарности.

Гребневая регрессия (или ридж) — это один из смещенных методов оценки коэффи­циентов модели регрессии. Данный метод при­меняется в случае, когда ни одну из переменных, включенных в модель регрессии, нельзя удалить. Суть гребневой регрессии заключается в том, что ко всем диагональным элементам корреля­ционной матрицы (X^Т X) добавляется число т (тау): 10 ^-6 < т < 0,1. Тогда неизвестные коэффициенты модели множественной регрессии будут определяться по формуле: В˜ = (Х^ТХ +тIn)^-1 Х^тY где In — единичная матрица.

Гребневая регрессия позволяет стабилизи­ровать оценки коэффициентов модели множест­венной регрессии к определенному числу и уменьшить их стандартные ошибки.

Метод главных компонент — это основ­ной метод исключения переменных из модели регрессии. В этом случае модель множествен­ной регрессии строится не на основе матрицы факторных переменных X, а на основе матрицы главных компонент F.

Метод пошагового включения факторных переменных в модель регрессии — это метод определения из возможного набора факторных переменных именно тех, которые усилят качест­во модели регрессии.

Суть метода пошагового включения состоит в том, что из числа всех факторных переменных в модель регрессии включаются переменные, имеющие наибольший модуль парного линейно­го коэффициента корреляции с результативной переменной. При добавлении в модель регрес­сии новых факторных переменных их значимость проверяется с помощью F-критерия Фишера. Если F_набл > F_крит, то включение факторной пере­менной в модель множественной регрессии явля­ется обоснованным. Проверка факторных пере­менных на значимость осуществляется до тех пор, пока не найдется хотя бы одна переменная, для которой не выполняется условие F _набл > F _крит

23. Линеаризация регрессионных моделей путем логарифмических преобразований.

Для оценки параметров нелинейных  моделей , как правило, используют  линеаризацию   модели , которая заключается в том, что с помощью подходящих  преобразований  исходных переменных исследуемую зависимость представляют в виде линейного соотношения между преобразованными переменными. Если не удается подобрать соответствующее линеаризующее преобразование, то применяют методы нелинейной оптимизации на основе исходных переменных.

Различают два класса нелинейных  регрессионных  моделей:

- модели, нелинейные относительно фактора, но линейные по параметрам;

- модели нелинейные по параметрам.

Модели, нелинейные относительно факторов, но линейные по параметрам. Введением новых переменных такую модель можно свести к линейной, для оценки параметров которой используется обычный метод наименьших квадратов.

Рассмотрим примеры линеаризующих преобразований:

1) Полиномиальная модель: y=a+b1x+b2x2+…+bpxp.

Соответствующая линейная  модель : y=a+b1z1+b2z2+…+bpzp, где z1=x, z2=x2, …, zp=xp.

2) Гиперболическая  модель : y=a+bx.

Соответствующая линейная  модель : y=a+bz, где z=1x.

3) Логарифмическая  модель : y=a+b∙lnx.

Соответствующая линейная  модель : y=a+bz, где z=lnx.

 Модели  нелинейные по параметрам. Среди таких  моделей  выделяют нелинейные  модели  внутренне линейные  и  нелинейные  модели , внутренне нелинейные.  Модели  внутренне линейные можно привести к линейному виду с помощью соответствующих  преобразований .

Примеры внутренне линейных  моделей   и  их  линеаризация :

1) Мультипликативная степенная  модель : y=ax1b1x2b2…xpbp.

Линеаризующее  преобразование : lny=lna+b1lnx1+b2lnx2+…+bplnxp

Или Y=A+b1z1+b2z2+…+bpzp, где Y=lny, A=lna, z1=lnx1, z2=lnx2,…, zp=lnxp.

2) Экспоненциальная модель: y=ea+b1x1+b2x2+…+bpxp.

Линеаризующее преобразование: lny=a+b1x1+b2x2+…+bpxp.

3) Обратная  регрессионная  модель: y=ka+b1x1+b2x2+…+bpxp.

Линеаризующее преобразование: 1y=ak+b1kx1+b2kx2+…+bpkxp.