Линеаризующие преобразования

В случае неадекватности линейного уравнения регрессии можно построить уравнение нелинейной регрессии, например, полиномиальной регрессии второй или третьей степени. При этом аналогично изложенному ранее, методом наименьших квадратов можно найти коэффициенты для квадратичной и кубической регрессий –

; . (9)

В некоторых случаях можно значительно упростить процедуру построения нелинейной модели, применив линеаризацию по параметрам или по переменным модели.

Например, установлено, что в задаче слежения за целями уровень возбуждения объектов и их производительность связаны следующей квадратичной зависимостью:

.

Эта модель не линейна по переменным, но линейна по параметрам. Если сделать замену

х₁ = возбуждение; х₂ = возбуждение²_,

то получим линейное уравнение – y = b₀ + b₁x₁ + b₂x₂.

Известно, что скорость роста человека с увеличением возраста изменяется по следующему экспоненциальному закону:

скорость роста = exp(-b₁*возраст). (10)

Эта модель не линейна и по переменным и по параметрам, но допускает линеаризацию. Прологарифмируем это уравнение и сделаем замену ln(cкорость роста) = y, возраст = х, получим линейное уравнение у = -b₁х.

В таблице приведены примеры нелинейных зависимостей и соответствующие им линеаризующие преобразования [6].

Функция	Линеаризующие преобразования
	y’	x’	b’0	b’1
	y	1/x	b0	b1
	1/y	х	b0	b1
	x/y	х	b0	b1
	lny	x	lnb0	lnb1
	1/у	ехр(-х)	b0	b1
	lny	lnх	lnb0	b1
	у	ln(х+1)	b0	b1
	1/у	1/x	b1/ b0	1/ b0

Линейный множественный регрессионный анализ

Парный регрессионный анализ рассматривали при помощи графической иллюстрации. При изучении множественного регрессионного анализа такой возможности нет, так как нет графической интерпретации многомерного пространства. Ясно, что р-мерное пространство – это только математическая модель, экстраполяция свойств двумерного пространства на р-мерное. Если при этом не стараться наглядно представить себе р-мерное пространство, то никаких затруднений для понимания множественного регрессионного анализа не возникает. При проведении экспериментов в такой множественной ситуации исследователь фиксирует значения функции отклика (у) и всех факторов, от которых она зависит (х_j). Результатами исследования являются уже не два вектор-столбца как при парном регрессионном анализе, а матрица результатов наблюдений:

где х_ij – значение j-го фактора в i-м исследовании; у_i – значение функции отклика в i-м исследовании; n – число исследований; ; р – число факторов.

Задача линейного множественного регрессионного анализа состоит в построении такого уравнения плоскости в (р + 1)-мерном пространстве, отклонение результатов наблюдений у_i от которой были бы минимальными. Другими словами, следует вычислить значения коэффициентов b₀, b₁, …, b_p в линейном полиноме

, (11)

Таким образом, чтобы минимизировать выражение

, (12)

где – предсказанные значения функции отклика по модели (11).

Для отыскания минимума указанного выражения необходимо найти частные производные по всем неизвестным коэффициентам b₀, b₁,…, b_p и приравнять их к нулю. Полученные уравнения образуют систему нормальных уравнений

(13)

Введем обозначение

, и ,

тогда систему (13) можно записать в матричной форме

, (14)

где X^T – матрица, транспонированная к матрице Х. Для решения системы нормальных уравнений в матричной форме следует умножить ее слева на матрицу, обратную матрице системы нормальных уравнений, если она существует т.е.

,

но , следовательно, столбец коэффициентов можно найти по выражению

(15)

После определения коэффициентов b₀, b₁, …, b_p и построения уравнения регрессии необходимо проверить его статистическую значимость при помощи критерия Фишера и статистическую значимость каждого b_i ( ) при помощи критерия Стьюдента. При необходимости можно построить доверительные интервалы истинных значений коэффициентов регрессии.

Адекватность регрессионной модели можно повысить, увеличивая степень полинома. Однако для полиномов высоких степеней при проведении матричных операций на вычислительной машине накапливаются столь значительные вычислительные погрешности округления, что решение становится практически невозможным. Поэтому обычно ограничиваются построением полинома второго порядка и проведением пошагового регрессионного анализа с включением или исключением переменных.