2. Регрессионный анализ. Простая и линейная регрессия

Предыдущий вопрос посвящен описанию математи­ческого аппарата, привлекаемого для реализации 3-го этапа статистического исследования зависимостей, на котором исследователь пытается проанализировать структуру связей между рассматриваемыми переменными и измерить степень их тесноты. После того как он убедится в наличии статистически значимых связей между анализируемыми переменными, он приступает к выявлению и математическому описанию конкретного вида интересующих его зависимостей: подбирает класс функций, в рамках которого будет вести свой дальнейший анализ (этап 4); производит, ес­ли это необходимо, отбор наиболее информативных предска­зывающих переменных (этап 5); вычисляет оценки для неизвест­ных значений параметров, участвующих в записи уравнения искомой зависимости (этап 6); анализирует точность получен­ного уравнения связи (этап 7). Этапы 4—7 и составляют содер­жание регрессионного анализа.

Но прежде чем переходить к изложению методов, составля­ющих аппарат регрессионного анализа, необходимо ввести и прокомментировать ряд основных понятий и определений.

Условным средним у_х называется среднее арифметическое на­блюдавшихся значений случайной величины Y, соответствующих X = х. Очевидно, что у_х = f(x), это уравнение называют выбо­рочным уравнением регрессии Y по х.

Условным средним х_у называется среднее арифметическое на­блюдавшихся значений случайной величины X, соответствующих Y = у. Очевидно, что х_у =(у), это уравнение называют выбо­рочным уравнением регрессии X по у, а ее график – выборочной линией регрессии X по у. Условные средниеу_х и х_у, которые находят по выборке, принимают в качестве оценок условных математических ожиданий т_у(х) и т_к(у).

Если обе линии регрессии Y по х и X по у - прямые, то корреляционную зависимость называют линейной (линейная корреля­ция). Это бывает в том случае, если количественные признаки случайных величин X и Y, распределены по совместному нормальному закону.

То есть: у_х =кх + b

х_у =cy + d

где: к = yx – коэффициент регрессии Y по Х,

c = xy – коэффициент регрессии Х по Y.

yx = rxyy/x; xy = rxyx/y; yx·yx = rxy².

Эмпирические уравнения регрессии имеют вид:

 у_х =у + rxyy/x (х – х)

 хy =x + rxyx/y (y – y)

Нахождение выборочных уравнений регрессии – одна из главных задач теории корреляции (регрессивного анализа), когда двумерный признак распределён по нормальному закону.

Для нормально распределенного случайного вектора (Х,Y) теоретические уравнения регрессии линейные:

y- т_y = rxy y/x (х-m_х), (1)

x- т_y = rxy x/ y (y-m_y), (2)

г де т_x = M (X); т_{y =} M (Y); x =  D(X); y =  D(Y)

rxy - коэффициент корреляции,

Cov (X;Y)

r xy= (3)

x y

где Cov (X;Y) = M (Xº Yº) = Kв; Xº= X-mx; Yº= Y-my.