Глава 3 оценка параметров и обучение с учителем

3.1. Оценка параметров и обучение с учителем

В гл. 2 рассматривались вопросы разработки оптимального классификатора в случае, когда известны априорные вероятности Р(ω_j) и плотности p(x|ω_j), условные по классу. К сожалению, на практике при распознавании образов полная вероятностная струк­тура задачи в указанном смысле известна далеко не всегда. В ти­пичном случае имеется лишь неопределенное общее представление об исследуемой ситуации и некоторый набор конструктивных вы­борок — конкретных представителей образов, подлежащих класси­фикации ¹. Задача, следовательно, заключается в том, чтобы найти способ построения классификатора, используя эту информацию.

Один из подходов к задаче заключается в ориентировочной оценке неизвестных вероятностей и плотностей по выборкам и по­следующем использовании полученных оценок, как если бы они были истинными значениями. Оценка априорных вероятностей в типичных задачах классификации образов не представляет большой трудности. Иначе обстоит дело с вопросом оценки условных по классу плотностей. Имеющееся количество выборок всегда пред­ставляется слишком малым для их оценки, и если размерность вектора признаков х велика, то задача сильно усложняется. Труд­ность значительно уменьшится, если возможна параметризация условных плотностей, исходя из общего представления о задаче. Допустим, например, что есть некоторые основания предпо­ложить, что p(x|ω_j) соответствует нормальному распределению со средним значением μ_j и ковариационной матрицей ∑_j хотя точные значения указанных величин неизвестны. Это упрощает задачу, сводя ее вместо определения функции p(x|ω_j), к оценке параметров μ_j и ∑_j.

Задача оценки параметров, относящаяся к классическим зада­чам математической статистики, может быть решена различными способами. Мы рассмотрим два общепринятых способа — оценку по максимуму правдоподобия и байесовскую оценку. Несмотря на то, что результаты часто оказываются весьма близкими, подход к решению при применении этих способов принципиально различен. При использовании методов максимального правдоподобия зна­чения параметров предполагаются фиксированными, но неизвест­ными. Наилучшая оценка определяется как величина, при которой вероятность реально наблюдаемых выборок максимальна. При бай­есовских методах параметры рассматриваются как случайные переменные с некоторым априорно заданным распределением. Ис­ходя из результатов наблюдений выборок, это распределение пре­образуют в апостериорную плотность, используемую для уточнения имеющегося представления об истинных значениях параметров.

Как мы увидим, в байесовском случае характерным следствием привлечения добавочных выборок является заострение формы функции апостериорной плотности, подъем ее вблизи истинных значений параметров. Это явление принято называть байесовским обучением. Следует различать обучение с учителем и обучение без учителя. Предполагается, что в обоих случаях выборки х полу­чаются посредством выбора состояния природы ω_j, с вероятностью Р(ω_j), а затем независимого выбора х в соответствии с вероятност­ным законом p(x|ω_j). Различие состоит в том, что при обучении с учителем известно состояние природы (индекс класса) для каж­дого значения, тогда как при обучении без учителя оно неизвестно. Как и следовало ожидать, задача обучения без учителя значительно сложнее. В данной главе будет рассмотрен только случай обучения с учителем, рассмотрение же случая обучения без учителя отложим до гл. 6.