Тема 1. Основные факторные модели и их свойства.

Модель факторного анализа. Структура факторных уравнений. Неоднозначность факторного решения. Метод главных факторов. Метод центроидных факторов.

1. Раскройте содержательный смысл факторной модели.

2. Что такое факторная структура и факторное отображение?

3. Какова структура факторных уравнений?

4. Что является главной задачей факторного анализа?

5. Что такое общие факторы?

6. Что такое характерные факторы?

7. Что такое общности и характерности?

8. Опишите виды факторных разложений корреляционной матрицы.

9. Почему факторное решение неоднозначно?

10. Опишите метод главных факторов.

11. Опишите метод центроидных факторов.

Тема 2. Основные проблемы факторного анализа.

Проблема оценки значений факторов и виды факторных моделей. Оценки общностей и вращение факторов.

1. Как оценить приближенно значения факторов на объектах?

2. В чем смысл противоречивости факторной модели?

3. Как устранить противоречивость факторной модели?

4. В чем отличие компонентной модели от факторной?

5. Объясните содержательный смысл компонентной модели.

6. Сформулируйте задачу оценки общностей.

7. Что такое простая структура и её геометрический смысл?

8. Опишите критерии вращения факторов.

Тема 3. Методы экстремальной группировки признаков.

Экстремальная группировка признаков (параметров). Алгоритмы экстремальной группировки.

1. В чем смысл экстремальной группировки признаков?

2. Покажите принципиальную связь методов экстремальной группировки и факторного анализа?

3. Опишите первый алгоритм экстремальной группировки.

4^*. Опишите второй алгоритм экстремальной группировки.

5^*. Сравните достоинства и недостатки первого и второго алгоритмов экстремальной группировки.

4. Задача классификации и кластер-анализ.

   1. Постановка задачи классификации и кластер-анализа.

Пусть производятся наблюдения над некоторыми объектами  появляется случайно и независимо от другого и объективно принадлежит одному из m классов _к, к=1, …m. Требуется, при появлении очередного объекта _i, i=1, 2, …, определить его принадлежность к одному из классов _к, к=1,…m.

Заметим, что число N наблюдаемых объектов принципиально не ограничено: N, то есть решением задачи классификации должен быть способ определения принадлежности к некоторому классу каждого вновь появившегося объекта независимо от остальных. Такой способ реализуется в виде так называемого решающего правила.

Решающее правило представляет собой некоторую функцию g(), принимающую значения на множестве классов {₁, …_m}, где g()=_к при _i_к. Пусть результат наблюдения объекта _i представлен n-мерным вектором x_i=(x_i1,…x_in). Тогда решающая функция g() доступна нам в виде функции g(x), причем мы хотим, чтобы выполнялось условие g(x_i)= _к при x_i_к.

Наиболее общим подходом к решению задачи классификации является вероятностный подход к поиску решающего правила классификации. При вероятностном подходе предполагается, что в n-мерном пространстве задана m-модальная плотность распределения вероятностей, где локальные максимумы плотности распределения характеризуют локальные сгущения объектов в пространстве. В данном случае области ₁, …_m локального сгущения объектов являются, вообще говоря, пресекающимися, накрывающими в совокупности все пространство, и не являются в этом смысле классами. Классификация порождается решающим правилом g(x) в виде непересекающихся областей ^*_к_к, к=1, …m также накрывающими в общем случае все признаковое пространство, где g(x_i)= _к, при x_i^*_к.

Основой вероятностного подхода к поиску классификации методам принятия решения о классе объекта является байесовская теория принятия решений.

Но выработка вероятностного решающего правила часто сопряжена с определенными практическими трудностями, так как требует полного знания всех соответствующих распределений вероятностей или их параметров. Если ввести упрощающее предположение, что вероятностные меры сосредоточены в ограниченных областях признакового пространства, то для выработки решающего правила можно применить детерминисткий подход. В этом случае предполагается, что области ₁, …_m не пересекаются, то есть ^*_к=_к , к=1,…m, и образуют разбиение n-мерного пространства на m классов. Для выработки детерминистского решающего правила требуется лишь знание характеристик, описывающих взаимное расположение областей ₁, …_m в признаковом пространстве.

Как уже упоминалось ранее, результаты совокупности наблюдений обычно представлены матрицей данных X(N*n). Фиксированное число наблюдений N дает возможность построить классификацию данной совокупности из N объектов не на основе решающего правила, а сразу, непосредственно перечислением номеров классов объектов. Методы построения классификации сразу перечислением решают так называемую задачу кластер-анализа. Особенность задачи кластер-анализа сотоит в том, что её решение получается при анализе одновременно всей совокупности N наблюдаемых объектов. Следовательно, методы кластер-анализа основаны на изучении характеристик взаимного расположения классов как локальных сгущений объектов в признаковом пространстве.

Но отсутствие явно заданного решающего правила приводит к необходимости вновь решать задачу кластер-анаиза для всех N наблюдений при добавлении нового наблюдения к исходной матрице данных. При этом оказывается, что классификация ранее наблюденных объектов может измениться. Это приводит нас к проблеме кластерного решения. При наличии решающего правила классификация ранее наблюденных объектов не изменяется, и их не требуется вновь анализировать – про них можно забыть.

Отметим далее, что при наличии решающего правила алгоритм классификации представляет собой простейшую процедуру отнесения объект к тому классу, номер которого указан решающим правилом. При отсутствии решающего правила для получения классификации перечислением требуется разработать специальный алгоритм. Очевидно, что алгоритмов может быть много, в зависимости от того, что понимается под характеристиками взаимного расположения классов, а также от способов получения перечисления номеров классов. В свою очередь, разнообразие алгоритмов кластер-анализа приводит к тому, что на одних и тех же данных порождаются, вообще говоря, различные классификации. Добавим, что многие алгоритмы кластер-анализа довольно просты, что весьма привлекательно на практике, но результат их работы может и не иметь достаточного статистического обоснования.

4.2. БАЙЕСОВСКОЕ РЕШАЮЩЕЕ ПРАВИЛО КЛАССИФИКАЦИИ.

Пусть для каждого класса _к существует некоторая априорная вероятность его появления p(_к), к=1,,m. Пусть в n-мерном пространстве Rⁿ задана условная плотность распределения p(x|_к) вектора х относительно каждого класса _к. Другими словами, пусть в n-мерном пространстве определена совместная дискретно-непрерывная плотность распределения p(_к,x)=p(_к)Р(х|_к), к=1,,m, хRⁿ.

Пусть =[g(x),_к] – потери, связанные с принятием решения xg(x) о классе объекта g(x){₁,,_m}, когда его истинная принадлежность x_к. Будем характеризовать качество решающего правила g() математическим ожиданием потерь, которое примем за средний риск ошибки принятия решения

,

Очевидно, что выражение R[g()] можно представить как сумму интегралов

,

где минимизация всего выражения эквивалентна минимизации каждой её составляющей, причём вектор х играет роль переменной, пробегающей все значения в пространстве Rⁿ, а не конкретного значения. Тогда для заданного значения х средний роль условный риск принятия некоторого решения g(x) запишется так

.

Тогда принятое решение есть

.

С другой стороны, после наблюдения вектора х по правилу Байеса можно найти апостериорную вероятность p(_к|х) появления класса _к

Тогда получим решение

.

Часто функция потерь задаётся как величина

с целью штрафовать одинаково все ошибки и достичь наименьшей величины среднего риска. Тогда принятое решение есть

,

так как .

Рассмотрим случай двух классов. Тогда условный средний риск для вектора х:

Очевидно, что принимая , еслиR[g(x)=₁]<R[g(x)=₂].

Выразим это условие через апостериорные вероятности, обозначив _ij=[_i,_j]. Получим (₂₁-₁₁)р(₁|х)>(₁₂-₂₂)P(₂|x). Так как _ij>_ii, то есть потери при ошибке больше, чем при правильном решении, то ₁₂-₂₂>0. Поэтому при фиксированных потерях наш выбор определён наиболее правдоподобным состоянием наблюдений (наиболее апостериорной вероятностью наблюдений). Тогда получим

.

По правилу Байеса также получим эквивалентное выражение через условные вероятности

.

Здесь слева записано отношение правдоподобия. Байесовское решающее правило рекомендует выбирать класс ₁, если отношение правдоподобия превышает некоторый порог, не зависящий от наблюдения х. Примем ₁₁₌₂₂=0 и ₁₂=₂₁=1. Тогда получим R[g(x)=₁]=p(₂|x) и R[g(x)=₂]=p(₁|x) и примем решение

если P(₂|x)<p(₁|x), то есть p(₁|x)>p(₂|x).

Для отношения правдоподобия получим

.

Если классы ₁ и ₂ равновероятны, то получим простое решающее правило

.

Часто для случая двух классов решающее правило определяют в виде разделяющей функции

.

Разделяющие функции такого типа называются байесовскими классификаторами. Принимается решение , еслиd(x)>0 и , если d(x)0. Для более общего случая m классов принимается решение , если выполнено условиеd_kj(x)>0 для всех j=1,,m, jk, где например, d_kj(x)=p(_k|x)=p(_j|x), d_kj(x)=-d_kj(x).