19. Множественная корреляция. Скорректированный индекс детерминации.

Для множе. регрессии необходим пар-тр оценки его значимости. Введем показатель множ. корреляции и его квадрата — коэф-та детерминации. Показатель множ. корреляции хар-т тесноту связи рассм-ого набора факторов с исследуемым признаком. Независимо от формы связи в качестве показателя множ. корреляции может быть использован индекс множ. корреляции

(1)

При лин. зависимости признаков формула индекса множ. корреляции имеет вид

где — стандартизованные коэф-ты регрессии;

— парные коэф-ты корреляции результата с каждым фактором.

Для док-ва рассм. лин. ур-ние множ. регрессии в стандартизированном масштабе. Для него индекс множ. корреляции

Числитель подкоренного выражения представляет собой факторную сумму квадратов отклонений для стандартизованных переменных

Т.к. t_у=0 и Σ(t_у-t_y)²= Σt²_y=n, то индекс множественной корреляции используя t_y=β₁t_x1+β₂t_x2+…+β_pt_xp, получим:

Формула индекса множ. корреляции (1) для лин. регрессии получила наз. лин. коэф-та множ. корреляции, или совокупного коэф-та корреляции.

При лин. зависимости опр-ние совокупного коэф-та корреляции через матрицу парных коэф-тов корреляции:

где ∆r — опр-ль матрицы парных коэф-тов корреляции;

∆r₁₁ — опр-ль матрицы межфакторной корреляции.

Для ур-ния у=а+b₁x₁+b₂x₂+…+b_рx_р+ε опр-ль матрицы коэф-тов парной корреляции примет вид:

Формула скорректированного индекса множественной детерминации имеет вид:

,

где — число параметров при переменных;

— число наблюдений.

Поскольку , то величину скорректированного (adjusted) индекса детерминации можно представить в виде

.

Чем больше величина , тем сильнее различаются и .

20. Частная корреляция при множественной регрессии. Прцедура пошагового отбора переменных

Для множ. регрессии возникает естественная задача найти «чистую» корреляцию между двумя переменными, исключив (линейное) влияние других факторов. Это можно сделать с помощью коэф-та частной корреляции. Предположим, что имеется регрессионная модель y=a+b₁x₁+b₂x₂+ε. Цель — опр-ть корреляцию между у и первым регрессором х₁ после исключения влияния х₂.

Соответствующая процедура устроена следующим образом.

1. Осущ-им регрессию у на х₂ и константу и получим прогнозные знач ŷ=α₁+α₂х₂

2. Осущ-им регрессию х₁ на х₂ и константу и получим прогнозные знач x₁=γ₁+γ₂х₂.

3. Удалим влияние х₂, взяв остатки е_у =у-ŷ и е_х1=х₁-х₁.

4. Опр-м (выборочный) коэф-т частной корреляции между у и х₁ при исключении влияния х₂ как (выборочный) коэф-т корреляции между е_у и е_х1

r(y,x₁|x₂)=r(e_y,e_x1)

Из св-в метода наим. квадратов => что е_у и е_х1 не коррелированны с х₂. Именно в этом смысле указанная процедура соответствует интуитивному представлению об «исключении (линейного) влияния переменной х₂».

М. показать: .

Значения r(y,x₁|x₂) лежат в интервале [-1, 1], как у обычного коэф-та корреляции. Равенство коэф-та r(y,x₁|x₂) нулю означает, отсутствие прямого (линейного) влияния переменной х₁ на у.

Сущест. связь м/у r(y,x₁|x₂) и R²: ;

.

Коэф-т частной корреляции часто используется при решении проблемы спецификации модели. На практике довольно часто приходится сталкиваться с ситуацией, когда имеется большое число наблюдений различных параметров (независимых переменных), но нет априорной модели изучаемого явления. Возникает естественная проблема, какие перем включить в регрессионную схему.

Процедура присоединения-удаления

На первом шаге из исходного набора объясняющих переменных выбирается (включается в число регрессоров) переменная, имеющая наибольший по мо-дулю коэф-т корреляции с зависимой переменной у.

Второй шаг состоит из двух подшагов. На первом, если число регрессоров уже больше двух, делается попытка исключить один из регрессоров. Ищется тот регрессор x_S, удаление которого приводит к наименьшему уменьшению коэффициента детерминации. Затем сравнивается значение F-статистики для проверки гипотезы Н₀ о незначимости этого регрессора с некоторым заранее заданным пороговым значением F_искл. Если F < F_искл, то x_S удаляется из списка регрессоров.

Второй подшаг состоит в попытке включения нового регрессора из исходного набора предсказывающих переменных. Ищем переменную x_р с наибольшим по модулю частным коэф-том корреляции (исключается влияние ранее включенных в уравнение регрессоров) и сравниваем значение F-статистики для проверки гипотезы Н₀ о незначимости этого регрессора с не-которым заранее заданным пороговым значением F_вкл. Если F > F_вкл, то х_р включается в список регрессоров. Второй шаг повторяется до тех пор, пока происходит изменение списка регрессоров.