11. Регрессионный и корреляционный анализ

11.1. Регрессионный анализ

Одномерная линейная регрессия:

В этом случае функциональная зависимость ищется в виде прямой зависимости, имеющей одну переменную.

Одномерная нелинейная регрессия:

В этом случае зависимость может быть любая, кроме линейной, но зависимая переменная одна.

Многомерная регрессия:

Здесь рассматриваются несколько переменных.

Математический метод, который обеспечивает такую подгонку кривой, при которой экспериментальные точки ложатся на нее наилучшим образом в смысле критерия наименьших квадратов, называется регрессионным анализом.

В схеме регрессионного анализа предполагается, что независимая переменная x является неслучайной функцией, значения которой задаются заранее перед началом наблюдений за системой. Зависимая переменная y -это СВ.

Обычно к этому приводят 2 предположения:

1) x измеряется без ошибок ( или ими можно пренебречь ), а при измерении y имеются случайные ошибки;

2) y зависит не только от x, но и от ряда неконтролируемых факторов. В этом случае нас интересует лишь среднее значение y при заданном x, т.е. функциональная зависимость y от x:

M [ y / x ] = f [ x, a₀, a₁, ...] (11.1)

Алгоритм реализации регрессионного анализа:

1. Сбор данных и представление этих данных в виде прямоугольной таблицы значений;

x x₁ x₂ ... x_N

y y₁ y₂ ... y_N табл. 11.1

2. Данные из табл. 25.1 представляются в виде поля разброса в системе координат ( x, y )

y

y_N y = a₀ + a₁x

.

y₂ .

y_{1 .}

x₁ x₂ x_N x

3. По виду поля разброса ( этап 2 ) подбирается вид функциональной зависимости ( кривая ) .

Этот этап субъективен.

а) линейная зависимость:

y

y = a₀ + a₁x

a₁ > 0 a₁ < 0

x

б) квадратичная зависимость:

y = a₀ + a₁x + a₂x²

a₂ > 0 a₂ < 0

в) кубическая зависимость:

y = a₀ + a₁x + a₂x² + а₃x³

а₃ > 0 a₃ < 0

г) парабола n-ой степени:

y = a₀ + a₁x + a₂x² + а₃x³ + ... + a_nxⁿ

д) логарифмическая кривая:

y = a₀ + a₁ lg x

a₁ > 0

a₁ < 0

е) показательная зависимость:

y = a₀e^a1x

a₁ > 0

a₁ < 0

ж) кубическая логарифмическая кривая:

lg y = a₀ + a₁ lg x

з) зависимость между затратами ресурсов и результатами производственной деятельности может быть представлена в следующем виде:

y = a₀x₁^a1x₂^a2, где

x₁, x₂ -затраты по определенным компонентам;

y - результат производственной деятельности;

а₀, а₁, а₂ - const

и) линейная производственная функция:

y = a₀ + a₁x₁ + a₂x₂ + ... , где

x₁и x₂ соответствующие затраты ресурсов;

a_i - норма расхода соответствующих ресурсов, либо среднее значение величины расхода того или иного ресурса.

При подборе кривых помогает анализ вычисления разностей различных порядков y и x.

1) если отношение (y / x)  const , то y = a₀ + a₁x;

2) если отношение ( lg y / x)  const, то в качестве функциональной зависимости выберем y = a₀x^a1;

3) если отношение ( lg y /  lg x)  const, то y = a₀a₁^x;

4) если отношение ( (x/y) / y)  const, то y = x / (a₀ + a₁x);

5) если отношение (² y / ² x)  const, то y = a₀ + a₁x²

Мы можем осуществить выбор кривой по скорости изменения первой производной и по ускорению. Могут быть еще сезонные или периодические составляющие ряда, они аппроксимируются гармоническими функциями.

4. На этом этапе определяются коэффициенты функциональной зависимости ( параметры ). Этот этап реализуется с помощью метода наименьших квадратов (МНК).

Суть МНК:

МНК - это соотношение (11.2):

S = d₁² + d₂² + ... + d_n² (11.2)

d_i = [ y_i’ - ( a₀ + a₁x_i )]²

n

S =  [ y_i’ - ( a₀ + a₁x_i )]²  min

i=1

n

dS/da₀ = 2  [ y_i’ - ( a₀ + a₁x_i )] [-1] = 0

i=1

n (11.3)

dS/da₁ = 2  [ y_i’ - ( a₀ + a₁x_i )] [-x_i] = 0

i=1

Решая (11.3) относительно а₀и а₁, получим:

 y_i’  x_i² -  x_i  y_i’ x_i

a₀ = (11.4)

n  x_i² - (  x_i)²

 x_i y_i’ -  x_i  y_i’

a₁ = (11.5)

n  x_i² - (  x_i)²

5. Оценка прогноза ( функциональной зависимости ). Здесь может быть использован критерий Фишера или остаточная дисперсия.