- •Глава 6 классификация наблюдений
- •6.1. Проблема классификации
- •6.2. Принципы правильной классификации
- •6.2.2. Два случая двух генеральных совокупностей.
- •6.3. Методы классификации наблюдений в случае
- •6.4. Классификация наблюдений в случае двух генеральных совокупностей, имеющих известные многомерные нормальные распределения
6.2.2. Два случая двух генеральных совокупностей.
Рассмотрим способы определения «минимума цены» в двух случаях. В первом случае предположим, что нам известны априорные вероятности, соответствующие двум генеральным совокупностям. Пусть вероятность того, что наблюдение ведется над индивидуумом из генеральной совокупности , равна q, а соответствующая вероятность для генеральнойсовокупности 2 равна q2. Вероятностные свойства генеральной совокупности определяются функцией распределения. Для удобства мы будем считать, что у этого распределения существует плотность, хотя случай дискретного распределения требует почти таких же рассуждений. Пусть плотности распределения вероятностей, соответствующие генеральным совокупностям и 2, равны соответственно (x) и р2(x). Если при попадании выборки в область R1 она классифицируется как выборка из , то вероятность правильно классифицировать наблюдение при условии, что оно производилось действительно над индивидуумом из , равна
(1)
где dx = dx1. . .dxp, а вероятность неправильно классифицировать наблюдение, производимое над индивидуумом из , равна
(2)
Аналогично вероятность правильно классифицировать наблюдение, производимое над индивидуумом из , равна
Р(2|2, R)= (x)dx.(3)
а вероятность неправильно классифицировать такое наблюдение равна
P(1|2, R) = (x)dx.(4)
Так как вероятность того, что наблюдение производится над , равнаq1 то вероятность такого наблюдения и правильной классификации его равна qP(1|1, R), т. е. это вероятность ситуации, соответствующей левому верхнему углу таблицы 1. Точно так же вероятность того, что наблюдение производилось над генеральной совокупностью и классифицировалось неправильно, равна P(2|1,R). Вероятность, соответствующая нижнему левому углу таблицы 1, равна qP(1|2,R) , a вероятность, соответствующая правому нижнему углу, равна q2Р(2|2, R).
Чему равны средние потери, или математическое ожидание потерь, связанных с неправильной классификацией? Это математическое ожидание равно сумме цен каждой неправильной классификации, умноженных на вероятность такой классификации, т. е.
С(2|1)P(2| 1, R)q + С(1|2)P(1| 2, R)q (5)
(5) выражает средние потери, которые и нужно сделать минимальными. Таким образом, нам нужно разбить пространство на такие две области R1 и R2, чтобы математическое ожидание потерь было как можно меньшим. Метод, который обеспечивает минимум (5) при данных q и q2, называется методом Бейеса.
В примере со студентами «невыгоды» неправильной классификации связаны, с одной стороны, с затратами на обучение студентов, которые не закончат успешно курс обучения, и, с другой стороны, с исключением из колледжа возможно хороших в будущем студентов.
В другом случае, который мы здесь рассмотрим, априорные вероятности неизвестны. В этом случае математическое ожидание потерь при условии, что наблюдение производилось над генеральной совокупностью , равно
С(2|1)P(2| 1,R) = r(1. R). (6)
Если же наблюдение производилось над 2, то математическое ожидание потерь равно
С(1|2)P(1|2,R) = r(2,R). (7)
Нам неизвестно, над какой генеральной совокупностью производилось наблюдение: над или над . К тому же мы не знаем вероятностей этих двух случаев.
Метод R не хуже метода R*, если r(l, R)r(l, R*) и r (2,R)r (2, R*). R лучше, чем R, если хотя бы одно из этих неравенств является строгим. Обычно не существует метода, который был бы лучше или, по крайней мере, не хуже всех остальных методов. Метод R называется допустимым, если не существует метода, лучшего, чем R. Нас будет интересовать целый класс допустимых методов. Мы покажем, что при определенных условиях этот класс совпадает с классом методов Бейеса. Класс методов является полным, если для любого метода, не входящегов этот класс, существует лучший метод из этого класса. Класс методов называется почти полным, если для любого метода, не входящего в этот класс, существует метод из этого класса, который не хуже такого метода. Минимальный полный класс (если он существует) — это такой полный класс, что никакой его собственный подкласс не является полным. Аналогично определяется и минимальный почти полный класс. Мы покажем, что при определенных условиях допустимый класс является минимальным полным классом. Для простоты мы отождествим методы, отличающиеся друг от друга лишь на множествах нулевой вероятности. В следующем параграфе мы будем делать утверждения, подразумевая, что они справедливы везде, «за исключением множеств нулевой вероятности», но не оговаривая этого особо.
Принцип, называемый минимаксным, обычно приводит к единственному методу. Метод, называется минимаксным, если максимум математического ожидания потерь r(i,R), является минимальным. С установившейся точки зрения этот метод может считаться оптимальным. Более полное рассмотрение понятий, содержащихся в этом и последующих параграфах, можно найти в книгах Вальда [3] и Блекуэлла и Гиршика [1].