1. Исследование (лучше – анализ) предметной области

1.1.Линейная регрессия.

Линейная регрессия описывается простейшей функциональной зависимостью в виде уравнения прямой линии и характеризуется прозрачной интерпретацией параметров модели (коэффициентов уравнения). Правая часть уравнения позволяет по заданным значениям регрессора (объясняющей переменной) получить теоретические (расчетные) значения результативной (объясняемой) переменной. Эти значения иногда называют также прогнозируемыми.

Однако при выдвижении гипотезы о характере зависимости коэффициенты уравнения остаются неизвестными. Вообще говоря, получение приближенных значений этих коэффициентов возможно различными методами.

Наиболее распространенным из этих методов является метод наименьших квадратов (МНК). Он основан на требовании минимизации суммы квадратов отклонений фактических значений результативного признака от расчетных (теоретических) значений. Вместо теоретических значений (для их получения) подставляют правые части уравнения регрессии в функцию, равную сумме квадратов отклонений фактических значений результативного признака от теоретических, а затем находят частные производные от этой функции. Эти частные производные берутся не по переменным х и у, а по параметрам а и b. Частные производные приравнивают к нулю и после несложных, но громоздких преобразований получают систему уравнений для определения параметров. Коэффициент b при переменной х называется коэффициентом регрессии, он показывает среднее изменение результата с изменением фактора на одну единицу. Параметр a может не иметь экономической интерпретации, особенно если знак этого коэффициента он отрицателен.

ПАРНАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ.

Парная линейная регрессия используется для изучения функции потребления. Коэффициент регрессии в функции потребления используется для расчета мультипликатора – что это?. Практически всегда уравнение регрессии дополняется показателем тесноты связи??. Для простейшего случая линейной регрессии этим показателем тесноты связи является линейный коэффициент корреляции. Но поскольку линейный коэффициент корреляции характеризует тесноту связи признаков в линейной форме, то близость абсолютной величины линейного коэффициента корреляции к нулю еще не служит показателем отсутствия связи между признаками.

Именно при другом выборе спецификации модели и, следовательно, виде зависимости фактическая связь может оказаться довольно близкой к 1. А вот качество подбора линейной функции определяется с помощью квадрата линейного коэффициента корреляции коэффициента детерминации. Он характеризует долю дисперсии результативного признака у, объясняемую регрессией в общей дисперсии результативного признака. Величина, дополняющая коэффициент детерминации до 1, характеризует долю дисперсии, вызванную влиянием остальных факторов, неучтенных в модели (остаточной дисперсии).

Парная регрессия представляется уравнением связи двух переменных (у и х) следующего вида:

y = f(x), (1.1)

где у зависимая переменная (результативный признак), а х - независимая переменная (объясняющая переменная, или признак-фактор). Различают линейную и нелинейную регрессии. Линейная регрессия описывается уравнением вида:

y = a + bx + ? . (1.2)

НЕЛИНЕЙНАЯ РЕГРЕССИЯ.

На практике часто встречается ситуация, когда априорно известен нелинейный характер зависимости между объясняемыми и объясняющими переменными. В этом случае функция f в уравнении у=(а,х) нелинейна (а - вектор параметров функции, которые нам нужно оценить). Например, вид зависимости между ценой и количеством товара в той же модели спроса и предложения: она не всегда предполагается линейной, как в нашем примере. Нелинейную функцию можно преобразовать в линейную. Однако не все функции поддаются непосредственной линеаризации. Любую дифференцируемую нужное число раз функцию можно разложить в функциональный ряд и затем оценить регрессию объясняемой переменной с членами этого ряда. Тем не менее такое разложение всегда осуществляется в окрестности определенной точки, и лишь в этой окрестности достаточно точно аппроксимирует оцениваемую функцию. В то же время оценить зависимость требуется обычно на более или менее значительном интервале, а не только в окрестности некоторой точки. При линеаризации функции или разложении её в ряд с целью оценки регрессии возникают и другие проблемы: искажение отклонений ей нарушение их первоначальных свойств, статистическая зависимость членов ряда между собой. Например, если оценивается формула

y= ax + bx² + e^’, (2.1)

полученная путем линеаризации или разложения в ряд, то независимые переменные х и х^2 связаны между собой даже не статистически, но функционально. Если исходная ошибка е здесь связана с переменной х, то добавление х^2 приводит к появлению (с соответствующими коэффициентами) квадрата этой переменной и её удвоенного произведения с х, что искажает исходные предпосылки модели. Поэтому во многих случаях актуальна непосредственная оценка нелинейной формулы регрессии. Для этого можно воспользоваться нелинейным МНК. Идея МНК основана на том, чтобы минимизировать сумму квадратов отклонений расчетных значений от эмпирических, т.е. нужно оценить параметры о функции f(a,x) таким образом, чтобы ошибки еi= уi-f(а,х), точнее - их квадраты, по совокупности были минимальными. Для этого нужно решить задачу минимизации

(2.2)

Для решения этой задачи существует два пути. Во-первых, может быть осуществлена непосредственная минимизация функции F с помощью методов нелинейной оптимизации, позволяющих находить экстремумы выпуклых линий. Это, например, метод наискорейшего спуска, при использовании которого в некоторой исходной точке определяется антиградиент (направление наиболее быстрого убывания) функции F. Далее находится минимум F при движении в данном направлении, и в точке этого минимума снова определяется градиент. Процедура повторяется до тех пор, пока разница значений f на двух последовательных шагах не окажется меньше заданной малой величины. Другой путь состоит в решении системы нелинейных уравнений, которая получается из необходимых условий экстремума функции F. Эти условия - равенство нулю частных производных функции F по каждому из параметров аj., т.е.

Faj = 0,

j =1,..,m. Получается система уравнений

-2(yi-f(a,xi))*fai'(a,xi) = 0, j = 1,..,m(2.3)

нелинейность которой обусловлена нелинейностью функции f относительно параметров аj. Эта система уравнений может быть решена итерационными методами (когда последовательно находятся векторы параметров, все в меньшей степени нарушающие уравнения системы). Однако в общем случае решение такой системы не является более простым способом нахождения вектора а, чем непосредственная оптимизация методом наискорейшего спуска.

Существуют методы оценивания нелинейной регрессии, сочетающие непосредственную оптимизацию, использующую нахождение градиента, с разложением в функциональный ряд (ряд Тейлора) для последующей оценки линейной регрессии. Наиболее известен из них метод Марквардта, сочетающий в себе достоинства каждого из двух используемых методов.

При построении нелинейных уравнений более остро, чем в линейном случае, стоит проблема правильной оценки формы зависимости между переменными. Неточности при выборе формы оцениваемой функции существенно сказываются на качестве отдельных параметров уравнений регрессии и, соответственно, на адекватности всей модели в целом.[2]

Какими могут быть критерии качества оценки линейной регрессии?

Линейная регрессия — это инструмент статистического анализа, исполь­зуемый для предсказания будущих значений по имеющимся данным. Применительно к ценным бумагам данный инструмент служит для вы­явления ситуаций, когда их курс слишком завышен или занижен.

Линия тренда линейной регрессии представляет собой прямую на це­новом графике, которая строится по методу наименьших квадратов так, чтобы отклонение цен от нее было минимальным.

Если вам нужно попытаться определить завтрашний курс ценной бу­маги, логично предположить, что он будет почти равен сегодняшнему. В условиях восходящей тенденции более правильным было бы предпо­ложение, что он будет немного выше сегодняшнего. Метод линейной регрессии позволяет получить статистическое подтверждение подоб­ных логических выводов.

Линия тренда линейной регрессии представляет собой обыкновенную линию тренда, построенную между двумя точками на ценовом графи­ке методом наименьших квадратов. В результате эта линия оказывает­ся точной средней линией изменяющейся цены. Ее можно рассматривать как линию «равновесной» цены, а любое отклонение от нее вверх или вниз указывает на повышенную активность соответ­ственно покупателей или продавцов.

Довольно распространенный способ использования линии тренда ли­нейной регрессии заключается в построении каналов. Канал линейной регрессии — его разработал Гилберт Рафф (Gilbert Raff) — состоит из двух параллельных линий, равноудаленных вверх и вниз от линии трен­да линейной регрессии. Расстояние между границами канала и лини­ей регрессии равно величине максимального отклонения цены закрытия от линии регрессии. Все ценовые изменения происходят в границах регрессионного канала, где нижняя граница играет роль линии поддержки, а верхняя — линии сопротивления. Обычно цены вы­ходят за границы канала лишь на короткое время. Если же они оста­ются за пределами канала дольше обычного, то это предвещает возможность разворота тенденции.

Линия тренда линейной регрессии показывает равновесное значение цены, а регрессионный канал — нормальный диапазон отклонения цен от линии тренда линейной регрессии.

Индикатор прогноза временных рядов показывает то же, что и линия тренда линейной регрессии. Любая точка на графике это­го индикатора равнозначна конечной величине линии тренда линей­ной регрессии.