2.2.2.Стандартизованное уравнение множественной регрессии

Коэффициенты уравнения регрессии, как и всякие абсолютные показатели, не могут быть использованы в сравнительном анализе, если единицы измерения соответствующих переменных различны. Например, если y– расходы семьи на питание,х₁– размер семьи, ах₂– общий доход семьи и мы определяем зависимость вида =a+b₁x₁+b₂x₂иb₂>b₁, то это не значит, чтоx₂сильнее влияет наy, чемх₁, т. к. b₂– это изменение расходов семьи при изменении доходов на 1 руб., а b₁– изменение расходов при изменении размера семьи на 1 человека.

Сопоставимость коэффициентов уравнения регрессии достигается при рассмотрении стандартизованного уравнения регрессии:

y⁰=₁x₁⁰+₂x₂⁰+ … +_mx_m⁰+ е ,

где y⁰и x⁰_k– стандартизованные значения переменныхyиx_k:

S_yи S– стандартные отклонения переменныхy иx_k,

_k(k=) –-коэффициенты уравнения регрессии (но не параметры уравнения регрессии, в отличие от приведенных ранее обозначений).-коэффициенты показывают, на какую часть своего стандартного отклонения (S_y) изменится зависимая переменнаяy, если независимая переменнаяx_kизменится на величину своего стандартного отклонения (S). Оценки параметров уравнения регрессии в абсолютных показателях (b_k) иβ-коэффициенты связаны соотношением

.

-коэффициенты уравнения регрессии в стандартизованном масштабе создают реальное представление о воздействии независимых переменных на моделируемый показатель. Если величина -коэффициента для какой-либо переменной превышает значение соответствующего-коэффициента для другой переменной, то влияние первой переменной на изменение результативного показателя следует признать более существенным.

Для простой регрессии -коэффициент совпадает с коэффициентом парной корреляции, что позволяет придать коэффициенту парной корреляции смысловое значение.

При анализе воздействия показателей, включенных в уравнение регрессии, на моделируемый признак наравне с -коэффициентами используются также коэффициенты эластичности. Например, показатель средней эластичности рассчитывается по формуле

и показывает, на сколько процентов в среднем изменится зависимая переменная, если среднее значение соответствующей независимой переменной изменится на один процент (в случае независимости объясняющих переменных).

2.2.3. Оценки точности уравнения множественной регрессии

Как уже отмечалось, оценки параметров уравнения регрессии вычисляются по выборочным данным и лишь приближенно оценивают эти параметры. В связи с этим появляется необходимость оценить точность как уравнения регрессии в целом, так и его параметров в отдельности.

Как и в случае парной регрессии, при решении первой задачи используют процедуру дисперсионного анализа, основанную на разложении общей суммы квадратов отклонений зависимой переменной на две составляющие.

Как известно,

SST = SSR + SSE

или

Аналогичное разложение имеет место и для степеней свободы:

df_T=df_R+df_E,

где df_T= n–1 – общее число степеней свободы;

df_R= m – число степеней свободы, соответствующее регрессии (m – число независимых переменных в уравнении регрессии);

df_E= n–m–1 – число степеней свободы, соответствующее остаткам.

Разделив суммы квадратов на соответствующее число степеней свободы, получим суммы квадратов на одну степень свободы или средние квадраты, которые являются оценками дисперсии зависимой переменнойyили остатковeв условиях разных предпосылок. Одна из оценок рассчитывается в предположении, что все коэффициенты в модели регрессии равны нулю (H_o:==…==0), а другая – в общих условиях. Затем эти оценки сравниваются по критерию Фишера с числом степеней свободы числителя, равнымmи знаменателя (n–m–1). Если рассматриваемые оценки близки, то это говорит в пользу нулевой гипотезы.

Если нулевая гипотеза отклоняется, т.е. выясняется, что не все коэффициенты в модели регрессии равны нулю, то в этом случае говорят, что уравнение регрессии значимо, в противном случае – не значимо. Последнее означает, что уравнение регрессии ничего не дает для предсказания зависимой переменной и не может быть использовано в анализе.

Дисперсионный анализ множественной регрессии проводится в таблицах вида :

Таблица 2.1

Таблица дисперсионного анализа регрессии

Источник вариации	Сумма квадратов	Степени свободы	Средние квадраты	F- отношение
Модель Ошибки	SSR SSE	m n–m–1	MSR MSE	F=
Общая	SST	n–1

В табл. 2.1 MSR=SSR/mиMSE=SSE/(n–m–1) - оценки дисперсии, рассчитанные в разных условиях и сравниваемые затем на основе критерия Фишера.

Вернемся еще раз к MSE. Этот показатель является одной из характеристик точности уравнения регрессии. По-другому его называют остаточной дисперсией и обозначаютS.MSEявляется несмещенной оценкой дисперсии.

MSE также используется при вычислении других показателей точности уравнения регрессии. Например, корень квадратный из MSE называется стандартной ошибкой оценки по регрессии(S_y,x) и показывает, какую ошибку в среднем мы будем допускать, если значение зависимой переменной будем оценивать по найденному уравнению регрессии на основе известных значений независимых переменных. Имеем

Кроме того, этот показатель в неявном виде участвует в определении еще одного показателя точности уравнения множественной регрессии, а именно – коэффициента множественной детерминации (R²). Как известно,

или после преобразований:

Отсюда следует, что коэффициент множественной детерминации показывает долю вариации результирующего показателя, обусловленную вариацией включенных в уравнение регрессии независимых переменных, или, иными словами, обусловленную регрессионной зависимостью.

Коэффициент множественной детерминации обычно выражают в процентах, поэтому, например, если R²= 75 %, то это означает, что изменение зависимой переменной на 75 % объясняется изменением включенных в уравнение регрессии независимых переменных, а остальные 25 % изменения зависимой переменной обусловлено изменением неучтенных факторов, в том числе и ошибками.

Корень квадратный из коэффициента множественной детерминации является коэффициентом множественной корреляции:

Как отмечалось, коэффициент множественной корреляции показывает тесноту линейной корреляционной связи между зависимой переменной и всеми независимыми переменными. По сути дела, это коэффициент корреляции между фактическими и расчетными значениями зависимой переменной.

Коэффициент множественной детерминации изменяется от нуля до единицы и равен единице, если SSE= 0, (связь линейная функциональная), равен нулю, еслиSST=SSE, (линейная связь отсутствует).

Значимость коэффициента множественной детерминации определяется на основе критерия Фишера:

с mстепенями свободы числителя и (n–m–1) степенями свободы знаменателя.

Из определения коэффициента множественной детерминации следует, что он будет увеличиваться при добавлении в уравнение регрессии независимых переменных, как бы слабо не были они связаны с независимой переменной. Следуя этой логике, в уравнение регрессии для увеличения точности отражения изучаемой зависимости может быть включено неоправданно много независимых переменных. Точность уравнения при этом может увеличиться незначительно, а размерность модели возрасти так, что ее анализ будет затруднен. Для преодоления этого недостатка и был разработан исправленный (на число степеней свободы) коэффициент множественной детерминации, имеющий вид:

или после преобразования:

.

Здесь – исправленноеcучетом степеней свободы значение коэффициента множественной детерминации (adjusted for df).

В отличие от ,будет убывать, если в уравнение регрессии будут добавляться незначимые независимые переменные.

Исправленный коэффициент позволяет избежать переоценки независимой переменной при включении ее в уравнение регрессии. Если добавление переменной приводит к увеличению , то включение ее в уравнение регрессии оправданно, в противном случае – нет

Продолжим анализ точности уравнения регрессии. Как уже отмечалось, при проверке значимости уравнения регрессии проверяется гипотеза о том, что все коэффициенты модели регрессии равны нулю. Если нулевая гипотеза отклоняется, то это означает, что не все коэффициенты в модели регрессии равны нулю, и тогда встает вопрос о проверке значимости каждого коэффициента регрессии в отдельности.

Такая проверка осуществляется на основе статистик Стьюдента, вычисленных для свободного члена и для коэффициентов регрессии.

Статистика Стьюдента для свободного члена и коэффициентов уравнения регрессии равна:

= b_k/ ,

где – стандартные ошибки соответствующих оценок.

Будем считать, что b₀ =a, тогда

= MSE [(X^TX)^-1] _kk , (k=0,1,…,m).

Здесь [(X^TX)^-1] _kk является соответствующим диагональным элементом матрицы (X^TX)^-1 .

В случае мультиколлинеарности определитель матрицы (X^TX) близок к нулю, поэтому стандартные ошибки коэффициентов регрессии существенно увеличиваются. При этом коэффициенты регрессии теряют свою познавательную ценность.

При компьютерных расчетах вместе со статистикой Стьюдента для каждой оценки параметров уравнения регрессии вычисляется и выборочный уровень значимости или р-величина. По ее значению и определяется значимость каждой оценки параметров уравнения регрессии.