МАТЕМАТИЧЕСКИЕ МЕТОДЫ _распознавания образов

некоторое τ=1,2,…. Для каждой такой пары {i,t}, t>θ, образуем следующий числовой вектор длины n×τ :

I(Si(t-θ-τ+1)), I(Si(t-θ-τ+2)),…, I(Si(t-θ))	(3)
Соответственно, построим наборы
I(S(t-θ-τ+1)), I(S(t-θ-τ+2)),…, I(S(t-θ))	(4)

Объединяя (3),(4) получим начальную информацию для класса Kλ - множества признаковых векторов в моменты времени t-θ-τ+1, t-θ-τ+2, … , t- θ, которым соответствует ситуация № λ в момент t. Отметим, что при t-θ- τ+1 < 0 описания (3),(4) будут неполными. Таким образом, в итоге формируется начальная информация I0 для стандартной постановки задачи распознавания [1], и задача прогнозирования состояния объекта S на момент T+θ может быть решена как задача распознавания признакового описания

I(S(T-θ+1)), I(S(T-θ+2)),…, I(S(T)).

Данная модель прогнозирования была апробирована с использованием системы ЛОРЕГ [2] для решения задач поиска закономерностей по начальной информации и распознавания.

Настоящая работа выполнена при поддержке Российского Фонда фундаментальных исследований (проекты №99-01-00433, 99-07-90120, 97- 01-00495) и ИНТАС №96-952

Литература

1.Журавлев Ю.И. Об алгебраическом подходе для решения задач распознавания или классификации, Проблемы кибернетики, Наука, Москва, 1978, выпуск 33, стр.5-68.

2.Богомолов В.П., Виноградов А.П., Ворончихин В.А., Журавлев Ю.И., Катериночкина Н.Н., Ларин С.Б., Рязанов В.В., Сенько О.В. Программная система ЛОРЕГ - алгоритмы распознавания, основанные на голосовании по множествам логических закономерностей. Москва, ВЦ РАН, 1998, 63 с.

Логический подход к динамической задаче прогнозирования

А.А. Сапоженко, Н.В. Сумкина

(Москва)

В данной работе рассматривается логико-вероятностный подход к задаче прогнозирования динамики изменяющихся во времени величин, значение которых определяется как детерминированными, так и случайными факторами. Предполагается, что влияние детерминированных факторов является доминирующим. К классу таких задач относится, например, задача прогнозирования изменения курса одной валюты относительно другой. Идея

предлагаемого здесь подхода состоит в том, чтобы сначала как можно полнее описать и учесть логические связи между факторами и прогнозируемой величиной, и только в тех случаях, когда это становится невозможным или слишком сильно увеличивает объем вычислений, применять вероятностные методы прогнозирования. Для описания логических связей используется аппарат многозначных функций. На основе данного подхода разработан алгоритм, входом для которого является вектор кода событий, влияющих на изменение рассматриваемой величины, а выходом является предполагаемый интервал ее изменения за заданный период.

Предлагаемый метод решения задачи прогнозирования состоит из предварительного анализа информации и алгоритма прогнозирования. Предполагается, что задана таблица Т, состоящая из некоторого числа

действительно значных n-мерных векторов ai , i =1, m значений факторов и соответствующих им значений f (ai ) рассматриваемой величины f. Значения f (ai ) являются, вообще говоря, действительными числами из

некоторого интервала [c,d]. На предварительном этапе осуществляется перекодирование информации в k-значную (с минимально возможным k). При этом интервал [c,d] разбивается на некоторое число r непересекающихся промежутков I1,K, I r и вводятся r характеристических

функций g j , j = 1, r таких, что

1, если значение прогнозируемой величины принадлежит интервалу

gi = с номером неменьше i;0, иначе.

Значения факторов кодируются целыми неотрицательными числами, не превосходящими k-1 так, что каждая из характеристических функций g j

оказывается монотонной. Такое кодирование всегда можно осуществить, быть может, за счет введения дополнительных «бессодержательных» факторов. В результате получается новая таблица T ′, задающая систему r монотонных k-значных функций. Далее свойство монотонности используется для преобразования и сокращения таблицы T ′ с целью построения решающего правила. Именно: единицы монотонной функции g j

опускаются вниз, а нули поднимаются вверх насколько это возможно при соблюдении монотонности. Здесь используются идеи известного алгоритма минимизации предложенного Акерсом [1]. При этом часть строк и столбцов

удаляется из таблицы T ′, а область неопределенности функции уменьшается. Идея использования свойств монотонности содержится также в работах [2],[3]. Такое преобразование может быть осуществлено многими способами, а целью является минимизация области неопределенности. Полученная таким образом новая таблица (точнее r таблиц) является основой для построения решающего правила следующего типа: если некоторый испытуемый вектор попадает в единичную (нулевую) область, то значение функции g j определено соответственно 1(0). Если же он попадает

в область неопределенности, прибегаем к «бросанию монеты». В этой связи возникает целый ряд задач, касающихся мощности области неопределенности монотонных многозначных функций.

В заключение отметим, что предложенный метод реализован алгоритмом, входом для которого является вектор кода событий, влияющих на изменения курса рубля к доллару США, а выходом является предполагаемый интервал изменения курса за заданный период. Точность прогноза составляет 80-90%.

Литература

1.А. А. Сапоженко, Л. М. Караханян Об отрицательных эффектах, связанных с исключением несущественных переменных // Автоматика и вычислительная техника, 1981. № 3. С. 28-35.

2.Воронцов К.В. О проблемно-ориентированной оптимизации базисов задач распознавания // ЖВМ и МФ. 1998. Т.38, № 5. С. 870-880.

3.Рудаков К. В. Универсальные и локальные ограничения в проблеме коррекции эвристических алгоритмов // Кибернетика. 1987. № 2. С. 30-35.

Об одном методе выбора оптимальной модели аппроксимации

О.В. Сенько

(Москва)

Рассматривается задача аппроксимации возможной стохастической

зависимости величины Y			от набора параметров X1,..., X n .				Предполагается,
что	аппроксимация		проводится		по	обучающей	информации
~	= {( y1, x1 ),...,( ym , xm )} , где y j			-значение величины Y ,			измеренное при
S0
векторе значений x		j параметров		X1,..., X n . Пусть Ω - множество событий,
заключающихся в измерении величины Y в некоторой точке
параметрического пространства.				Предполагается, что на			множестве Ω

заданы σ-алгебра и вероятностная мера P. Обучающая выборка может трактоваться как элемент множества событий Ωm =Ω×...×Ω с σ-алгеброй

m и вероятностной мерой P m = P×...×P . Пусть G - некоторая модель аппроксимирующих функций. Аппроксимация производится путем поиска внутри модели G функции с минимальной суммой квадратов отклонений прогнозируемого значения Y от истинного.

Пусть ωm - элемент вероятностного пространства (Ωm , m ,Pm ). Тогда оптимальную для обучающей выборки ωm функцию из моделиG мы обозначим как f (Y ,G ,ωm ).

Для решения одной и той же задачи может быть предложено целая совокупность моделей аппроксимирующих функций. Чем сложнее модель, тем более высокая точность аппроксимации может быть достигнута. Однако на самом деле такой рост точности часто является лишь результатом простой подгонки и не ведет к более точному прогнозу для новых объектов. Возникает вопрос о том, какая из моделей является наиболее адекватной. Для ответа на данный вопрос предлагается использовать функционал L (Y ,G ), представляющий собой математическое ожидание отклонения

прогноза от истинного значения на произведении множества всех допустимых объектов Ω и множества всех допустимых обучающих выборок

Ωm .

L (Y ,G )= ∫ ∫ [Y (ω) − f (Y ,G ,ωm )]2dωmdω

ωm ω

Очевидно, что при наличии нескольких возможных моделей аппроксимации различной сложности предпочтительнее выбрать ту, которая доставляет минимум функционалу L (Y ,G ). Существует несколько

возможностей оценки функционала качества аппроксимации.

Одним из них является широкоизвестный метод скользящего контроля. Наряду с ним может быть использованы также подходы, основанные на технике бутстрэпа. Самостоятельный интерес может представлять оценка

состовляющих функционала L (Y ,G ).

Работа была сделана при поддержке РФФИ 99-07-90120, 99-01-00433.

Литература:

1.Ширяев А.Н. Вероятность. М., Наука, 1989.

2.Вапник В.Н. Восстановление зависимостей по эмпирическим даннымю. М., Наука, 1979.

3.Efron B. Bootstrap Methods. Annals of Statistics, 1979

Поиск оптимальной разметки вершин помеченных графов в задаче классификации структурных объектов.

А.А. Скворцов, М.И. Кумсков

(Москва)

Приведено решение задачи построения расширенных фрагментов и эффективный алгоритм поиска наиболее прогностичных из них в рамках данной пошаговой модели. Целью работы является продолжение разработки унифицированной методологии для решения задач классификации структурных объектов (на примере QSAR-задачи оценки свойств химических соединений).

Постановка задачи.

Пусть имеется база данных(БД) химических соединений, представленных молекулярными графами, и имеется информация о значениях исследуемого свойства у этих соединений. Требуется построить в заданном классе дескрипторов признаковое пространство и выбрать такое подпространство и модель на нем, которая обладает наибольшей предсказательной силой. При этом задача распознавания и классификации распадается на две взаимосвязанные подзадачи:

На задачу построения признакового пространства, в котором может быть эффективно устроен выбор подпространства в рамках данного типа моделей,

и

На задачу выбора хорошей модели, при условии большой размерности

пространства.

Методы реализации.

Выберем

типом

модели

простую

линейную

модель:

F(X

,..,X

k

) = b +b f

(X

1

)+....+ f

(X

k

),

Y N −FN

→min,

где X

i

- вектор-

1

0 1

i1

ik

признак

из

пространства,

{fi }-

фиксированный

набор

функций

преобразования вектора признака. Для выбора оптимальной модели будем пользоваться пошаговой групповой моделью: на каждом шаге алгоритма имеется набор фиксированного заранее числа уравнений, далее для каждого уравнения формируется множество новых уравнений путем добавления одного вектора-признака из числа возможных, далее из всех вновь сформированных уравнений отбираются лучшие на основании определенных критериев, эти лучшие уравнения переходят на следующий шаг алгоритма. Критерий отбора – максимальность коэффициента

множественной корреляции. Критерий остановки – плохая устойчивость лучшей модели.

Ввиду большой размерности пространства признаков для каждого уравнения на данном шаге мы будем добавлять не все возможные признаки,

абудем искать в пространстве признаков те, которые будут существенно улучшать данное уравнение. Для такого поиска будем пользоваться генетическим алгоритмом. При этом генетический алгоритм будем запускать не на всем пространстве, а воспользуемся разложением пространства на сумму подпространств, запустим отдельно на каждом подпространстве.

Формирование признакового пространства проводится в два этапа. На первом этапе формируются базовые фрагменты и соответствующие им базовые дескрипторы. На втором формируются все возможные расширения базовых фрагментов, для каждого базового фрагмента множество его расширений разбивается на классы эквивалентности, которые будут расширениями соответствующих дескрипторов. Эти новые дескрипторы образуют наше признаковое пространство.

Вкачестве базовых фрагментов берем фрагменты первого уровня: все возможные цепочки фиксированной длины. Цепочка - ациклический, связанный фрагмент помеченного графа, где степень любой вершины < 3. Примитивами описания - метками вершин графа являются строки символов, заранее сформированных на основе каких-либо локальных свойств вершины. Множество различных цепочек (не изоморфных) образует базовые дескрипторы. Вектор-признак для каждого дескриптора есть число вхождений фрагментов в каждый из графов БД, изоморфных данному дескриптору.

Пусть для каждой вершины заданно значение определенного локального

свойства f (v j ) . Тогда для каждого базового дескриптора на основании

этого

свойства

можно

сформировать

его

расширеие:

hext -

пара:

(h, P(h)= (a j ≤ f (v j ) < bj ))

j =1...n , n -число вершин в

h ,

a j , b j

R .

Обозначим

H h (G)=

U

(h, P(h)= (a j ≤ f (v j ) < bj )) -

множество

всех

a j ,bj R

возможных расширений фрагмента

h в графе G. Фрагмент hext входит в

граф

G, если

существует

такой

подграф

G′ G ,

что

h ≡ G′

и

P(h)=1.Различные

расширения

одного

фрагмента т.е расширения

с

различными

наборами параматров

a j , b j

могут иметь

одних и тех

же

представителей в данном графе и следовательно несут одинаковую информацию о числе вхождений, такие расширения надо отождествить т.е

провести	факторизацию	H h (G)	по	отношению
P1(G′)= P2 (G′), G′ G,h ≡ G′.		Т.к. эти классы	образованы	для данного

конкретного графа, а нам надо иметь дескрипторы для всей базы то в

качестве расширенных дескрипторов возьмем классы эквивалентности,
полученные факторизацией HEXT = U UH h (G j )	по отношению
G j hi Hk [G j ]
P1 (G′)= P2 (G′), j G′ G j ,h ≡ G′ . Обозначим FHEXT	множество всех

расширенных дескрипторов. Чтобы найти число вхождений расширенного дескриптора надо найти число вхождений любого его представителя т.е. любого расширения из этого класса. Более того на основании следующего

утверждения ( Утв: В любом классе эквивалентности F существует hext , у которого [a,b) [a j ,bj ) hextj из того же класса.) в качестве такого представителя мы будем брать минимальный элемент. Для формирования

расширенных дескрипторов для данного дескриптора		h	можно
сформировать все возможные минимальные элементы для него.
Для нахождения множества минимальных элементов	h	сформируем
таблицу Zh = {(a1,...,al )}G′≡h = {( f1(v1(G′)),..., fl (vl (G′)))}G′≡h	Пусть		(Zh ) -

множество, элементами которого являются всевозможные подмножества

множества

Zh .

Тогда

любой

элемент

L из

(Zh )

порождает

минимальный элемент из FHEXT (k) :

h*ext =h(a1*,b1*),...(,al*,bl*), a*J =

min (aJ),

aJ:(a1,...al ) L

b* =

max (a ). Каждый

элемент

L представляется

двоичным вектором

J a

:(a

,...a ) L

J

J

1

l

( x1 ,... xu ), xi

{0,1},U-число элементов в

Zhp ,

считаем что элементы Zhp

занумерованы (любым образом). Тогда xi =1 означает, что H j

включает i-

й элемент из Zhp , а xi = 0 что не включает.

Тоже

FHEXT

мы

получим

из

FHEXT =

U

IF1...IFN

]}

, где {Fih [Gi ]}- множество классов

h H (k )

h

[G1

h

[GN

F1 {Fi

]},...FN {Fi

эквивалентности для h и данного графа Gi . Это разложение по h H (k) -

множеству базовых фрагментов и дает разложение признакового пространства на подпространства. Каждое подпространство пораждается

своим множеством Z т.е. векторами (x1 ,...xu ) .

Работа выполнена при поддержке РФФИ, проекты: 98-01-00324 и 97-07- 90307.

Оценка информативности признаков и объема обучающей выборки в задаче распознавания образов

А. Ф. Терпугов, С. Н. Колупаева, А. Е. Янковская

(Томск)

Оценка информативности признаков имеет большое значение для проблемы распознавания образов, так как позволяет выбирать для этой цели наиболее информативные признаки и ранжировать их по убыванию их информативности. В работе изучается подход к этой проблеме на основе дивергенции информации Кульбака [1].

Пусть

имеется некоторый

признак

A ,

который

может

принимать

градации

A1 ,A2 ,K,Ak . Пусть

для

первого

образа

H1

эти

градации

появляются с

вероятностями

p1,p2 ,K,pk , а для второго образа

H2

− с

вероятностями

q1,q2 ,K,qk . Тогда дивергенция Кульбака

имеет

вид

[1]:

I (H1 : H 2 )= ∑k

( pi − qi

) ln

pi

.

Эта

величина

определяет

предельно

i=1

qi

достижимую вероятность ошибки при распознавании образов H1

и H2 .

Сами

вероятности

p1,p2 ,K,pk

и

q1,q2 ,K,qk

априори,

разумеется,

неизвестны. Однако их можно оценить по обучающей выборке. Пусть для

обучения предъявлено N образов H1				и в них признак	A в i -й градации
встретился ni раз	( i =		). Тогда	можно оценить	величины pi			по
		1, k
стандартной формуле	pi = ni N .
Аналогично, если в обучающей выборке было предъявлено M образов
H2 и и в них признак A в i -й градации встретился mi раз ( i =							),	то
						1, k

можно оценить величины qi

по формуле qi

= mi M .

Тогда можно оценить

и

дивергенцию

информации

Кульбака

по

формуле

k

pˆ

i

k

n

i

m

i

n

M

Iˆ(H1 : H 2 )= ∑( pˆi − qˆi ) ln

= ∑

−

ln

i

.

qˆi

mi N

i=1

i=1

N

M

Показано,

что для

N

и

M

много

больше 1

оценка

дивергенции

информации

является

асимптотически

несмещённой.

Учитывая

независимость образов в обучающих выборках, показана сходимость оценки Iˆ к I в средне квадратичном смысле.

Так как величины

pi ,qi ,i =

1,k

нам неизвестны, то для получения оценки

ˆ

ˆ

можно

использовать

выражение

D{I}

)

1

k

)

)

)

)

2

k )

)

2

ˆ

p

i

p

i

− q

i

p

i

=

+

+

)

D{I}

N

∑ pi ln )

− ∑ pi ln

i=1

qi

pi

i=1

qˆi

1

k

)

)

)

)

2

k )

)

2

p

i

p

i

− q

i

p

i

+

+

)

)

.

∑ pi ln )

− ∑qi ln

M i=1

qi

qi

i=1

qi

)

) )

Выражения для

и

I

D{I

} могут быть использованы для следующих

целей:

1. Ранжирования признаков по их различающей способности. Как показано в [1], чем больше дивергенция информации, тем меньше вероятность ошибки при распознавании образов. Поэтому наибольшей различающей способностью (информативностью) обладает тот признак, для которого дивергенция информации максимальна, и наименьшей − тот признак, для которого дивергенция информации минимальна.

2. Сравнительной оценки различающей способности двух признаков. Если имеются два признака A и B с различной разрешающей способностью, то их сравнение по различающей способности естественно

проводить по отношению их дивергенций информации, то есть по I)A I)B .

3. Проверка гипотезы о том, что два признака A и B обладают различной разрешающей способностью. Речь идёт о проверке гипотезы вида

I A = I B

при

альтернативе

I A ≠ I B .

Для

такой проверки естественно

использовать статистику S =

)

I

− I

B) )

и считать доказанным,

что

)A

D{I A} + D{I B }

признаки

A и

B обладают различной разрешающей способностью, если

выполнится

условие

S

≥ gα ,

где

gα

− пороговое значение по уровню

значимости

α

для стандартного нормального распределения (то есть

gα

равно 1.96 дляα =5%, 2.59 для α =1% и т.д.).

4. Знание

) )

по

D{I } позволяет находить доверительный интервал для I

)

± gα

) )

формуле

I = I

D{I } по доверительному уровню 1 −α .

))

5.Иногда величина D{I } может оказаться слишком большой для

вынесения надёжных выводов. В этом случае может понадобиться дополнительная обучающая выборка, объём которой можно оценить.

Представим D{I } в виде D){I)} =

P

+

Q

, где

N

M

k )

)

)

)

2

k )

)

2

p

i

p

i

− q

i

p

i

+

−

,

)

P = ∑ pi ln )

∑ pi ln )

i=1

qi

pi

i=1

qi

k )

)

)

)

2

k

)

)

2

p

i

p

i

− q

i

p

i

+

−

)

ln )

Q = ∑qi ln )

∑qi

.

i=1

qi

qi

i=1

qi

Предположим, что мы хотим добиться выполнения условия

Это эквивалентно условию

P

+

Q

≤ D0 . Рассмотрим кривую

P

N

M

N

Записывая её в виде M =

Q

+

Q

P

ND0 − P

D0

D0

) )

D{I } ≤ D0 . + MQ = D0 .

		Мы видим (см. рис. 1), что эта
M		кривая	представляет		собой
		гиперболу, лежащую в квадранте
		N > P D0 ,	M > Q D0 .		Для
		получения	нужной	точности в
		оценке дивергенции		информации
Q/D0		надо взять объёмы		обучающих
		выборок	такими,		что
P/D0	N	изображающая их точка лежит в
		заштрихованной области.
Рис. 1.

Приведенные формулы для оценки информативности признаков и объема обучающей выборки программно реализуются на языке С++ в среде Windows 95 и будут включены в интеллектуальную систему ИСПРИР [2] Работа частично поддержана РФФИ, гранты № 95-01-00295 и № 98-01-

03019.

Литература

1.C. Кульбак Теория информации и статистика. М.: Наука, 1967, 408 с.

2.Yankovskaya A., Gedike A., Shwarzman E. The First Version of the Intelligent System ISPRIR for Decision Making// IT+ SE’ 98. Proceedings of the XXV International Conference. Part I. - Ukraine, Crimea, Yalta-Gurzuf, 1998. - p. 171.