32. Нечеткое представление информации; типовые функции принадлежности, мера нечеткости.

Степень принадлежности к множеству A, представляющая собой обобщение характеристической функции, называется функцией принадлежности.

Значения функции принадлежности являются рациональными числами из интервала [0,1], где 0 означает отсутствие принадлежности к множеству, а 1 - полную принадлежность.

На нечетких множествах, рассматриваемых как обобщение обычных множеств, можно определить ряд математических операций, являющихся обобщением аналогичных операций, выполняемых на "четких" множествах. К ним относятся:

1. Логическая сумма множеств

2. Логическое произведение множеств

3. Отрицание множества

4. Равенство множеств А и В

Нечеткие множества А(х) и В(х) равны между собой, когда для всех элементов Xi обоих множеств выполняется условие

Для определения степени нечеткости множества введено понятие меры нечеткости.

Наиболее популярна мера Р.Егера, в соответствии с которой степень нечеткости множества А в метрике р, определяется выражением

Нечеткость и вероятность

В теории вероятности событие u либо происходит, либо нет, а вероятное p(u) представляет меру того, что оно состоится или что случайная переменная x примет значение u.

Понятие нечеткости измеряется степенью, с которой событие x=u принадлежит к некоторому множеству событий А. Фактически измеряется степень, в которой универсальное множество U содержится в подмножестве A.

31. Факторный анализ

Основная цель факторного анализа – обнаружить скрытые общие факторы, объясняющие связи между наблюдаемыми признаками. Исходные показатели для проведения факторного анализа также центрируются.

x₁, x₂ …x_p – исходные наблюдаемые показатели; y₁, y₂ …y_p’ – общие факторы, p’< p. x₁-₁ = , j = 1…p.

q_j - нагрузка общего фактора y_ на исходный показатель, u_j – остаточная случайная компонента, невязка. M[Y] = 0, M[U] = 0, D[Y] = 1; y и u попарно некоррелированны (r(y_i, y_j) =0, r(u_i, u_j) =0).

F – возможная с учетом ограничений линейная комбинация.

I_p’(Z(X))=1- , R_x –корреляционная матрица исходных данных, - корреляционная матрица = , - евклидова норма.

Найденные факторы y могут считаться причинами, а признаки x – следствиями.

30. Метод главных компонент

Задача заключается в определении такого набора , найденного на классе F допустимых преобразований исходных показателей x₁, x₂ …x_p, что .

F – всевозможные линейные ортогональные нормированные комбинации исходных показателей: Z_j(X) = c_j1(x₁-₁)+…+ c_jp(x_p-_p). ; , i  j. . В матричной форме = LX, – вектор искомых вспомогательных переменных, - матрица, строки которой удовлетворяют условиям ортогональности. . Переменные, полученные таким образом называются главными компонентами исследуемой системы показателей X. Первой главной компонентой ₁ (X) называется такая нормировано-центрированная линейная комбинация показателей, которая среди всех прочих линейных комбинаций имеет наибольшую дисперсию. , l₁ – первая строка матрицы L.

Пусть X центрирована: X=X - , M[X] = 0,  = M[X X’] – ковариационная матрица.

l₁: (-I) =0 или det(-I)=0 – характеристическое уравнение матрицы . Так как  - симметрична и неотрицательна, уравнение имеет p вещественных неотрицательных корней ₁…₁  0.

, ₁ - наибольшее собственное значение. Первая главная компонента Z₁(X) = l₁X, l₁ – соответствующий ₁ собственный вектор.

Основные числовые характеристики главных компонент: M[Z]= M[L X]=L M[X] = 0; _Z = M[Z Z’] = M[(L X) (L X)’]= M[LXX’ L’]= LM[XX’] L’=LL’ – диагональная матрица, по диагонали стоят собственные числа.; D[Z_k]= _k , k=1…p.

Кроме того, сумма дисперсий исходных признаков равняется сумме дисперсий главных компонент, а обобщенная дисперсия исходных признаков || равняется обобщенной дисперсии главных компонент |_Z|.

Критерий информативности: , отсюда также можно получить ответ сколько (p’) главных компонент достаточно для качественного представления.

Использование главных компонент эффективно, когда все показатели X имеют одинаковую физическую природу (измеряются в одинаковых единицах). Иначе результаты исследования будут зависеть от выбора масштаба и природы единиц измерения.

28-29. Задача классификации. Кластерный анализ .

Кластерный анализ - метод многомерного статистического анализа для решения задачи классификации данных. Задача классификации данных- выявления соответствующей структуры в них. Результат решения - разбиение множества исследуемых объектов и признаков на однородные в некотором понимании группы, или кластеры

Предполагается что, 1)выбранные характеристики допускают в принципе желательное разбиение на кластеры;2)единицы измерения (масштаб) выбраны правильно.

Данные нормируют вычитанием среднего и делением на среднеквадратичное отклонение, так что дисперсия становится равной единицы, а математическое ожидание - нулю

3)объекты представляются как множество точек в многомерном евклидовом пространстве; 4)каждый объект принадлежит одному и только одному подмножеству разбиения; 5) Происходит объединение объектов, схожих по всей совокупности факторов, и замена их некоторым усредненным объектом, что исключает дублирование данных; 6)объекты, принадлежащие одному и тому же кластеру - сходны, в то время, как объекты, принадлежащие разным кластерам - разнородны

Меры однородности объектов : 1. Евклидово расстояние

2. Линейное расстояние (хеммингово)

3. Sup-норма (расстояние Чебышева )

4.Обобщенное степенное растояние Минковского

5. Расстояние Махаланобиса

6. Манхетеннское («расстояние городских кварталов»)

7.обобщенное расстояние Колмогорова (Power distance)

Стратегии объединения кластеров:

1.Стратегия ближайшего соседа

2.Стратегия дальнего соседа (метод «полных связей»)

3.Стратегия группового среднего (метод «средней связи» )

4.Центроидная стратегия («центроидный метод» );

5. Стратегия, основанная на приращении суммы квадратов

Решением задачи кластерного анализа являются разбиения, удовлетворяющие некоторому критерию оптимальности. Этот критерий может представлять собой некоторый функционал, выражающий уровни желательности различных разбиений и группировок, который называют целевой функцией.

Критерии построения разбиения:

1)минимизация внутриклассовой инерции. Расстояние между классами определяется как разность моментов инерции двух последовательных разбиений, одно из которых получено из другого объединением рассматриваемых классов

2)минимизация полной инерции при объединении двух классов. Расстояние между классами определяется как момент инерции их объединения

3)минимизация дисперсии объединения двух классов. Расстояние между классами - дисперсия объединенного класса

Достоинства:

1)позволяет производить разбиение объектов не по одному параметру, а по целому набору признаков;

2)не накладывает никаких ограничений на вид рассматриваемых объектов, позволяет рассматривать множество исходных данных практически произвольной природы;

3)позволяет рассматривать достаточно большой объем информации и резко сокращать, сжимать большие массивы информации, делать их компактными и наглядными.

Недостатки и ограничения:

1)состав и количество кластеров зависит от выбираемых критериев разбиения;

2)при сведении исходного массива данных к более компактному виду могут возникать определенные искажения, а также могут теряться индивидуальные черты отдельных объектов за счет замены их характеристиками обобщенных значений параметров кластера

Описание алгоритма FOREL.

1. Все данные, которые нужно обработать, представляются в виде точек. Каждой точке соответствует вектор, имеющий n-координат. В координатах записываются значения параметров, соответствующих этим точкам.

2.  Затем  строится  гиперсфера радиуса R1=Rmax, которая охватывает все точки.  Если  бы  нам был нужен один таксон, то он был бы представлен именно  этой  начальной сферой.

3. Уменьшаем радиус на заранее заданную величину DR, т.е. R2=R1 - DR. Помещаем центр сферы в любую из имеющихся точек и запоминаем эту точку. Находим точки, расстояние до которых меньше радиуса, и вычисляем координаты центра тяжести этих "внутренних" точек. Переносим центр сферы в этот центр тяжести  и  снова  находим  внутренние  точки. Сфера как  бы  «плывет»  в  сторону  локального  сгущения точек. 

Такая процедура  определения  внутренних  точек и переноса   центра   сферы продолжается до тех пор,  пока  сфера  не  остановится,  т.е.  пока  на очередном  шаге  мы  не  обнаружим,  что  состав  внут-ренних  точек,  а, следовательно, и их центр тяжести, не меняются. Это  значит,  что  сфера остановилась в области  локального  максимума   плотности   точек   в признаковом пространстве. 

4. Точки,  оказавшиеся  внутри  остановив-шейся  сферы,  мы   объявляем принадлежа-щими кластеру номер 1 и исключаем их из даль-нейшего рассмотрения. Для оставшихся точек описанная выше процедура повторяется до тех пор, пока все точки не окажутся включенными в таксоны. 

5. Каждый кластер характеризуется своим центром. Координаты центра кластера в данном случае вычисляются как средние арифметические соответствующих координат всех точек, попавших в данный кластер.

Здесь появляется параметр DR, определяемый исследователем чаще всего подбором в поисках компромисса: увеличение DR ведёт к росту скорости сходимости вычислительной процедуры, но при этом возрастает риск потери тонкостей таксономической структуры множества точек (объектов). Естественно ожидать, что с уменьшением радиуса гиперсфер количество выделенных таксонов будет увеличиваться.

27. Задача классификации. Дискриминантный анализ Цель дискриминантного анализа – получение правил для классификации многомерных наблюдений в одну из нескольких категорий или совокупностей. Число классов известно заранее.

Дискриминация в две известные совокупности.

Рассмотрим задачу классификации одного многомерного наблюдения х = (х₁,х₂,…х_р)^/ в одну из двух совокупностей. Для этих совокупностей известны р-мерные функции плотностей т.е. известны как форма плотности, так и ее параметры. Напомним, что если в одномерном случае параметры нормального распределения задаются двумя скалярными величинами (мат. ожиданием и дисперсией), то в многомерном случае первым параметром служит вектор мат. ожиданий, а вторым – ковариационная матрица.

Предположим, что р(1) и р(2) = 1-р(1) априорные вероятности появления наблюдения х из совокупностей 1 и 2. Тогда по теореме Байеса апостериорная вероятность того, что наблюдение х принадлежит совокупности 1 а апостериорная вероятность для х принадлежать совокупности 2

Классификация может быть осуществлена с помощью отношения Объект относим к классу 1, если это отношение больше 1, т.е. р(1 ׀ х)>1/2, и ко второму классу, если это отношение меньше 1. Такая процедура минимизирует вероятность ошибочной классификации. При введении функции штрафа (потерь): с(2 ׀ 1) – цена ошибочной классификации наблюдения из совокупности 1 в класс 2, а с(1 ׀ 2) - цена ошибочной классификации наблюдения из 2 в класс 1, решающее правило принимает вид Итак, суть дискриминантного анализа состоит в следующем. Пусть известно о существовании двух или более генеральных совокупностей и даны выборки из каждой совокупности. Задача заключается в выработке основанного на имеющихся выборках правила, позволяющего приписать некоторый новый элемент к правильной генеральной совокупности, когда нам заведомо неизвестно о его принадлежности. Суть дискриминантного анализа – разбиение выборочного пространства на непересекающиеся области. Разделение происходит с помощью дискриминантных функций. Число дискриминантных функций равно числу совокупностей. Элемент (новый) приписывается той совокупности, для которой соответствующая дискриминантная функция при подстановке выборочных значений имеет максимальное значение.

Алгоритм счёта: