1. Оценка регрессии

Регрессией называют первый начальный условный момент

.

Подставляем в правую часть уравнения оценку условной плотности распределения вероятности и получаем непараметрическую оценку регрессии

,

.

2. Градиентный метод с использованием планирования первого порядка

Простейший градиентный алгоритм

. (5.5.1)

В результате планирования и обработки его результатов находим параметры , которые являются оценками градиента в безразмерных координатах. При переходе к размерным: .

Например, для двумерного случая имеем

,

где – коэффициенты линейной модели в безмерных координатах; – интервалы покачивания координат относительно точки ; – величины шага.

№27

1) Робастная непараметрическая оценка регрессии

Это взвешенная оценка и веса зависят от .

одинаковых веса в оценке , придают ей вид .

Состоятельная оценка медианы ..

Оценка удовлетворяет критерию наименьших квадратов

из необходимого условия экстремума

получаем оценку . Оценка медианы удовлетворяет модульному критерию

.

2) Метод Ньютона с использованием планирования 2-го порядка

Один из простых вариантов алгоритма Ньютона имеет вид

. После обработки измеренных значений минимизируемой функции получаем параметры безразмерной модели (при ): , , , , .

По этим коэффициентам вычисляем элементы матриц:

.

№28

1. Оценки условной энтропии и количества информации с использованием оценки Розенблатта – Парзена

На основе независимой выборки , , случайной двумерной непрерывной величины вычислим оценку условной энтропии вместо линейно входящей плотности подставляем оценку условной плотности [в ней вместо дельтаобразной функции по взята дельта функция], под знак логарифма – обычную оценку и получаем, что

= .

2. Методы случайного поиска

1. Внутри области, где отыскивается экстремум, последовательно по случайному механизму распределяются точки и в них измеряется функция качества. Точки, обеспечивающие наименьшее значение функции качества, запоминаются. Процесс поиска заканчивается, когда число безрезультатных проб превысит порог.

Проба считается безрезультатной, если значение функции качества больше, чем наименьшее значение функции, встретившееся во всех предыдущих пробах.

2. способ заключается в случайном выборе направления поиска и детерминированном поиске (одномерном поиске) вдоль данного направления.

Из области случайно выбираются точки . Они служат нулевым приближением для спуска в локальный экстремум. На этом этапе может быть реализован любой из алгоритмов поиска локального минимума. После каждого локального спуска полученное значение функции качества сравнивается с предыдущим. Если получено меньшее значение , то запоминается новое и . В противном случае проба считается безрезультатной. После многих испытаний основные минимумы будут выявлены, а в памяти будут храниться и , соответствующие глобальному минимуму. Поиск заканчивается, когда число безрезультатных проб превысит заданный порог.

№29

1. Адаптивное управление неопределённостью с использованием непараметрической оценки инверсной регрессии

Оценка обратной регрессии:

управляющее воздействие:

2. Глобальная оптимизация методом усреднения координат

Рассматриваем любую непрерывную ограниченную в функцию . Вводим последовательность непрерывных, положительных в функций таких, что для любых (где ) последовательность с ростом монотонно нарастает: ; . Примерами функции являются:

1) : , ;

2) : , , ;

3) при положительных : ; .

№30

1. Персептроны.

Персептрон был предложен американским ученым Ф. Розенблаттом в 1957 году

Схема параллельного вычислительного устройства персептронного типа

2. Непараметрическое сглаживание в классификации

решающая функция в виде непараметрической оценки регрессии: где

Решающее правило на базе нее имеет вид:

если , то принимается решение об истинности класса 1;

если , то принимается решение об истинности класса 2.

Параметр коэффициента размытости находим по экзаменующей выборке на базе экстремального критерия, например:

.