4.7. Связь между тестами

В случае парного регрессионного анализа (и только парного регрессионного анализа) t-критерий для гипотезы , F-критерий коэффициента и t-критерий для гипотезы эквивалентны друг другу. Мы начнем с определения зависимости между первыми двумя тестами.

В разделе 2.4 было показано, что коэффициент может интерпретироваться как квадрат коэффициента корреляции между и , то есть . Теперь, в случае парной регрессии, является линейной функцией х, поэтому коэффициент корреляции между и должен совпадать с коэффициентом корреляции между х и у, то есть с . Следовательно, в парном регрессионном анализе (и только; в парном регрессионном анализе) должен быть равен квадрату коэффициента корреляции между х и у. Мы докажем это, непосредственно начиная с уравнения (2.24), т. е. с определения коэф­фициента

(4.22)

Поскольку Делая замену для b, получим:

(4.23)

Из уравнений (3.59) и (3.60) можно видеть, что F-статистика для коэффициента является в точности квадратом t-статистики для .

Как и следовало ожидать, критическое значение F будет равно квадрату критического значения t-статистики при любом уровне значимости, и эти два теста всегда дают один и тот же результат. Другими словами, коэффициент корреляции между х и у будет указывать на значимую зависимость, если и только если уровень в регрессии между у и х будет говорить о такой зависимости.

Более того, можно показать, что величина b будет значимо отличаться от нуля при использовании F-теста, если и только если F-тест значим при данном уровне значимости. Используя тот факт, что равняется , и оба определения коэффициента в уравнениях (2.24) и (2.25), мы можем переписать выражение для стандартной ошибки величины b:

(3.61)

Следовательно,

(3.62)

и мы показали, что t-статистика для проверки гипотезы такая же, как и t-статистика для проверки гипотезы .

Таким образом, в случае парной регрессии проверка нулевой гипотезы тестом Стьюдента и проверка нулевой гипотезы тестом Фишера дают одинаковые результаты. Эквивалентный результат дает тест Стьюдента для гипотезы . Это утверждение справедливо при наличии только одной независимой переменной.

5. Нелинейная регрессия. Простейшие модели

5.1. Нелинейность по переменным и нелинейность по параметрам

Одним из недостатков линейного регрессионного анализа, как это следует из самого названия, является то, что он может быть применен только к линейным уравнениям. В случае простого регрессионного анализа речь идет об уравнениях вида:

(5.1)

состоящих из постоянной величины (которая может и отсутствовать), зависимой переменной, умноженной на некоторый коэффициент, и случайного достаточного члена, которым мы можем временно пренебречь. В общем случае линейное уравнение выглядит так, что каждый объясняющий элемент, за исключением постоянной величины, записан в виде произведения переменной и коэффициента:

(5.2)

Уравнения вида

(5.3)

и

(5.4)

являются нелинейными. Выбрав значения для  и  и построив графики, мы обнаружим, что оба они представлены кривыми y зависимости (5.3) и (5.4) считаются приемлемыми для описания кривых Энгеля, характеризующих соотношение между спросом на определенный товар (y) и общей суммой дохода (х). Как можно определить параметры  и  в каждом уравнении, зная значения  и х?

В конечном счете, в обоих случаях можно применить линейный регрессионный анализ, для этого потребуется лишь небольшая подготовка. Во-первых, заметим, что уравнения (5,1) и (5.2) являются линейными в двух смыслах. Правая часть линейна по переменным, если определить их в представленном виде, а не как функции. Следовательно, она состоит из взвешенной суммы переменных, а параметры являются весами. Например, в уравнении (5.1) имеется просто , а не , Правая часть также линейна по параметрам, так как она состоит из взвешенной суммы параметров, а переменные х в данном случае являются весами.

Для целей линейного регрессионного анализа важное значение имеет только второй тип линейности. Нелинейность по переменным всегда можно обойти путем использования соответствующих определений. Например, предположим, что соотношение имеет вид:

(5.5)

Если определить и т.д., то соотношение примет следующий вид:

(5.6)

и теперь оно является линейным как по переменным, так и параметрам. Такой тип преобразований является лишь косметическим, и обычно уравнения регрессии записываются с нелинейными выражениями относительно переменных. Это позволяет избежать лишних обозначений.

С другой стороны, уравнение типа (5.4) является нелинейным как по параметрам, так и по переменным, и его нельзя преобразовать только тем замены определений. (Не следует думать, что его можно преобразовать в линейное, если определить и подставить вместо z; поскольку неизвестно, мы не сможем рассчитать выборочное значение z).

Таким образом, нелинейная по переменным модель - линейная модель , в которой возможна замена переменной , приводящая получившуюся модель у = F(z) - к линейной;

нелинейная по параметрам модель - модель, которую нельзя привести заменами переменных к линейной;

В случае (4.3), однако, единственное, что нам нужно сделать, — это определить z = (1/x). Тогда уравнение (5.7) примет вид:

 =  + z (5.7)

и оно будет линейным, в этом случае мы без всяких проблем оценим регрессию между у и z. Постоянный член в уравнении регрессии будет представлять собой оценку , а коэффициент при z — оценку .

Пример:

Допустим, вы исследуете соотношение между ежегодным потреблением бананов и годовым доходом, и в табл. 5.1 приведены наблюдения для 10 семей.

На рис. 4.1 представлено облако точек, соответствующих наблюдениям, также график уравнения регрессии между у и x;

. (5.8)

Из рис. 5.1 видно, что график уравнения регрессии не вполне соответствует точкам наблюдений, несмотря на то, что коэффициент преимущественно отличается от нуля при однопроцентном уровне значимости. Очевидно, что точки наблюдений лежат на кривой, тогда как уравнение регрессии характеризуется прямой. В данном случае нетрудно заметить, что функциональная зависимость между y и х определена неправильно. В том случае, если вы не можете представить зависимость в графическом виде (например, если вы используете множественный регрессионный анализ), понять, что где-то допущена ошибка, можно с помощью анализа остатков. В данном случае значения остатков приведены в табл. 5.2.

Таблица 5.1