6.4.2. Пример

Чтобы продемонстрировать, с какими конкретными вопросами можно встретиться, рассмотрим простую одномерную двухкомпо­нентную смесь, имеющую нормальную плотность:

25 выборок, показанных в табл. 6. 1, были отобраны из этой смеси с ₁=—2 и ₂ =2.

Таблица 6.1

25 Выборок из смеси с нормальным распределением

k	xk	Класс	k	xk	Класс
1	0,608	2	13	3,240	2
2	-1,590	1	14	2,400	2
3	0,235	2	15	—2,499	1
4	3,949	2	16	2,608	2
5	-2,249	1	17	—3,458	1
6	2.704	2	18	0,257	2
7	-2,473	1	19	2,569	2
8	0,672	2	20	1,415	2
9	0,262	2	21	1,410	2
10	1,072	2	22	—2,653	1
11	-1.773	1	23	1,396	2
12	0,537	2	24	3,286	2
			25	—0,712	1

Используем эти выборки для вычисления логарифма функции правдоподобия

для различных значений₁ и ₂. На рис. 6. 1 показано, как изменяется l в зависимости от ₁ и ₂ Максимальное значение l достигается при ₁ =—2,130 и ₂=1,668, которые находятся поблизости

Рис. 6.1.Контуры функции логарифма правдоподобия.

от значений ₁=-2 и ₂=2¹. Однако l достигает другого максимума, сравнимого с первым, при ₁ =2,085 и ₂=—1,257. Грубо говоря, это решение соответствует взаимной замене ₁ и _2. Отметим, что, если бы априорные вероятности были равны, взаимная замена ₁ и ₂ не вызвала бы изменения логарифма функции правдоподобия. Таким образом, когда плотность смеси не идентифицируема, решение по максимуму правдоподобия не является единственным.

Можно дополнительно взглянуть на природу этих множествен­ных решений, изучая результирующие оценки плотностей смеси. Рис. 6. 2 показывает истинную плотность смеси и оценки, получен­ные с использованием оценок по максимуму правдоподобия, как если бы они были истинными значениями параметров. 25 значений выборок показаны в виде точек вдоль оси абсцисс. Отметим, что максимумы как действительной плотности смеси, так и решения по максимуму правдоподобия размещены там же, где расположены две основные группы точек.

Рис. 6.2.Оценка плотности смеси

Оценка, соответствующая меньшему локальному максимуму логарифма функции правдоподобия, представляет собой зеркальное отображение, но ее максимумы также соответствуют группам точек. На первый взгляд ни одно из решений не является явно лучшим, и оба представляют интерес.

Если соотношение (13) используется для итерационного решения уравнения (12), результаты зависят от начальных значений ₁(0) и ₂(0). Рис 6.3 показывает, как различные начальные точки приводят к различным решениям, и дает некоторое представление о степени сходимости. Отметим, что, если ₁(0)=₂(0) мы попадаем в седловую точку за один шаг. Это не случайность. Это происходит по той простой причине, что в этой начальной точке P(_1,|x_k, ₁(0))=P(_1,|x_k, ₂(0))- Таким образом, уравнение (13) дает средние для всех выборок ₁ и ₂ при всех последующих итерациях. Ясно, что это общее явление, и такие решения в виде седловой точки можно ожидать, если выбор начальной точки не дает направленного смещения в сторону от симметричного ответа.

Рис. 6.3.Траектории для итерационной процедуры.