Глава 3 оценка вектора среднего значения и ковариационной матрицы

3.1. Введение

Нормальное распределение полностью определяется век­тором среднего значения и ковариационной матрицей . Первой статистической проблемой является вопрос о том, как оценить эти параметры по результатам выборки. В § 3.2 показано, что оценкой наибольшего правдоподобия для является выборочное среднее, оценка наибольшего правдо­подобия для пропорциональна матрице, состоящей из вы­борочных дисперсий и ковариаций. Выборочная дисперсия равна сумме квадратов отклонений наблюденных значений от выборочного среднего, деленной на число наблюдений без единицы; выборочная ковариация определяется подобным же образом по результатам взаимных произведений соот­ветствующих отклонений. Выборочная ковариационная матрица является несмещенной оценкой.

Распределение вектора выборочного среднего дано в § 3.3, и показано, как может быть проверена гипотеза, что является данным вектором, еслиизвестна. Случай, когданеизвестна, будет рассмотрен в главе 5.

3.2. Оценки наибольшего правдоподобиядля вектора среднего значения и ковариационной матрицы

Пусть дана выборка наблюдений (вектор) над р-мерным (невырожденным) нормальным распределением, и нас интере­суют оценки вектора среднего значения и ковариационной матрицы этого распределения. Мы выведем оценки наи­большего правдоподобия.

Оказывается, что метод наибольшего правдоподобия очень полезен для различных оценок и проблем проверки гипотез, относящихся к многомерным нормальным распределениям. Оценки, полученные по методу наибольшего правдоподобия, или их модификации обычно обладают некоторыми оптималь­ными свойствами. В частном случае, изучаемом здесь, оценки асимптотически эффективны (Крамер [2], § 33.3).

Допустим, что выборка из N наблюдений над X, распре­деленным N(,), есть x₁, .... x_N, где N>p. Функция правдоподобия будет равна

(1)

Поскольку показатель записан в терминах , определим сперва оценки наибольшего правдоподобия для и =. В функции правдоподобия векторыx_1, ..., x_N фиксированы как значения выборки и L является функцией и . Чтобы подчеркнуть, что величины и являются переменными (а не параметрами), мы обозначим их через и. Тогда логарифм функции правдоподобия будет равен

(2)

Поскольку In L является возрастающей функцией L, то ее максимум находится в той же точке пространства ,что и максимумL.

Пусть выборочное среднее равно

(3)

и матрица сумм квадратов и попарных произведений откло­нений величин от среднего значения равна

(4)

Будет удобно воспользоваться следующей леммой.

Лемма 3.2.1. Пусть x_1, ..., x_N представляют со­бой N (р-мерных) векторов и

определен равенством (3). Тогда для любого вектора b

. (5)

Доказательство.

(6)

Второй и третий члены равны нулю, так как согласно (3). Теорема доказана.

Если мы предположим, что b=, то получим

(7)

Используя этот результат и свойства следа матрицы (spCD = =spDC), получим

(8)

Тогда мы можем записать (2) следующим образом:

(9)

Поскольку матрица * неотрицательно определена, то

и равна нулю, когда . Для определения максимума второго и третьего членов (9) при­меним следующую лемму (которая применяется также в по­следующих главах).

Лемма 3.2.2. Пусть :.

(10)

где является неотрицательно определенной иD = (d) положительно определена. Тогда максимум f(С) получается при C=ND^-1 и равен

(11)

Доказательство.

Заметим, что , если |С|0 или если один или несколько элементов С всестремятся к или(недиагональные элементы)¹). Мак­симумы (С) находят, приравнивая нулю производные(С) по элементамС. Применив теорему 7 приложения 1, получим

(12)

где C_kk обозначает алгебраическое дополнение c_kk в С. Для kl

(13)

так как c_kl = c_lk. .Приравняв 2df/dc_kk и df/dc_kl нулю и учтя, что C_kl/ является элементом l-й строки k-го столбца С, получим NC^-1 = D. Отсюда С=. Значение макси­мума равно

f(ND^-1) =. (14)

Применив эту лемму к (9), где последний член равен нулю, обнаружим, что

максимум достигается при

(15)

Мы предположим, что А невырожденная; в главе 7 мы уви­дим, что вероятность получения выборки (N > р), когда А вырожденная, равна нулю. Таким образом, существуети * положительно определена. Поэтомуявляется единственным значением*, которое обращает последний член (9) в нуль. Таким образом, оценками наибольшего правдоподобия дляи служат и.

Для нахождения оценки наибольшего правдоподобия для нам понадобится следующая лемма.

Лемма 3.2.3. Пусть — вещественная функция, определенная на некотором множестве S, и — одно­значная функция, имеющая однозначную обратную функ­цию, определенная на S со значениями на некотором другом множестве S*; т. е. каждому S соответ­ствует единственное S* и, обратно, каждому S* соответствует единственное S .

Пусть

(16)

Тогда, если достигает максимума при , то достигает максимума при. Если максимум при является единственным, то максимум при также будет единственным.

Доказательство. По предположению,

(17)

для всех S. Тогда для любого

(18)

Таким образом , достигает максимума при . Если максимум при является единственным, то при неравенство (17) является строгим, и максимум един­ственный. Имеем следующее следствие.

Следствие 3.2.1. Если для данной выборки являются оценками наибольшего правдоподобия пара­метров распределения , то (),…() являются оценками наибольшего прав­доподобия для (),…(),если пре­ образованиев,…является взаимнооднозначным. Если оценки являются един­ственными, то оценки ,… также являются единственными.

Из следствия видно, что оценкой наибольшего правдо­подобия для является. Обобщим полу­ченные результаты в следующей теореме.

Теорема 3.2.1. Если x₁ ..., x_N — выборка из N() (p < N), то оценками

наибольшего правдоподобия для и являются величины == (1/N)

и =(1/N).

Вычисление оценок проще производить с помощью специального случая леммы 3.2.1

(19)

Элемент вычисляется, как элемент, и элементN вычисляется, как N или .

Следствие 3.2.2. Если , …,образуют вы­борку из N(),где(),то оценкойнаибольшего правдоподобия для является = оценкой наибольшего правдоподобия дляявляется ,где естьi-я компонента х_а и естьi-я компо­нента , а оценка наибольшего правдоподобия дляравна .

(20)

Доказательство. Множество параметров и является взаимнооднозначнымпреобразованием множества параметров и. Поэтому, согласно следствию 3.2.1, оценкой для является, оцен­кой дляявляется, а оценкой для является ,

(21)

К. Пирсон [1] доказал справедливость этой оценки для , и (20) иногда называется коэффициентом корреляции Пирсона. Обычно он обозначается через r_l}.

Рис.2

Удобна геометрическая интерпретация векторов выборки ()= X как строк матрицы X. Пусть

(22)

'

т. е. y_i является i-и строкой X. Вектор y_i может рассматри­ваться как вектор в N-мерном пространстве, -я координата одного конца которого естьи другой конец которого расположен в начале координат. Выборка образуетр векто­ров в N-мерном евклидовом пространстве. Согласно опре­делению евклидовой метрики, длина y_i (т. е. расстояние от одного конца до другого) есть .Покажем теперь, что косинус угла междуу_i и y_j равен . Выберем скалярd так, чтобы вектор dy_j был ортогонален вектору ;т. е. 0 =dy_i ()' = d (). Поэтомуd=.Разложим y_i на у_j — d y_j и dy_j (y_j = (y_j—dy_j)+ d y_j), как показано на рис. 2. Ясно, что косинус угла

73

между y_i и y_j есть отношение длины d y_j, к длине y_i, т. е. он равен

Это доказывает желаемый результат.

Для того чтобы дать геометрическую интерпретацию а_ii и мы рассмотрим линию, образующую равные

Рис. 3.

углы с осями координат; эта линия проходит через начало и точку (1, 1, ..., 1) (рис. 3).

Проекция y_i на вектор = (1, 1, .... 1) будет

Разложим у_i на два вектора: — проекцию y_i на прямую, образующую равные углы с координатными осями, и y_i — проекцию y_i на плоскость, перпендикулярную к последней прямой. Длина y_i — равна

,

т. е. N.Перенесем и у_j — таким обра­зом, чтобы концы обоих векторов находились в начале координат; а-я координата первого вектора будет х_jа —,,а а-я координата второго будет . Косинус угла между

этими двумя векторами равен

В качестве примера вычислений рассмотрим данные таблицы 1, заимствованные у Стю дента [1].

Таблица!

Больной	Лекарство А	Лекарство В
	x
1	1,9	0,7
2	0,8	—1,6
3	1,1	-0,2
4	0,1	—1,2
5	—0,1	—0,1
6	4,4	3,4
7	5,5	3,7
8	1,6	0,8
9	4,6	0,0
10	3,4	2,0

Измерение x₁₁= 1,9 показывает увеличение времени сна в часах для первого больного при применении снотворного лекарства А и x₂₁=0,7 — увеличение числа часов сна для первого больного при применении лекарства В и т. д. Пред­полагая, что каждая пара (т. е. каждая строка таблицы) является наблюдением над , мы обнаружим, что

,

, (24)

и =r₁₂ =0,7952 (S будет определена ниже).