Введение в многомерный статистический анализ / page14-58 / ander2_3

служит для нахождения условного распределения любых q компонент случайного вектора X, если даны другие р — q компонент. Действительно, можно рассматривать частные распределения некоторых r компонент вектора X и определить условное распределение некоторых q компонент, если даны другие r — q компонент.

Теорема 2.5.1. Пусть компоненты вектора X разде­лены на две группы, образующие подвекторы X⁽¹⁾ и X⁽²⁾ . Допустим, что среднее значение подобным же обра­зом разделено на⁽¹⁾ и ⁽²⁾, и предположим далее, что ковариационная матрица вектора X разбита на₁₁, ₁₂, ₂₂,,которые являются ковариационными матрицами соответственно векторов X⁽¹⁾;X⁽¹⁾ и X⁽²⁾;X⁽²⁾.. Тогда, если распределение X нормально, то условное распреде­ление Х⁽¹⁾ при данном X⁽²⁾ = х⁽²⁾ также нормально со средним значением и ковариа­ционной матрицей

.

В качестве примера рассмотрим двумерное нормальное распределение и найдем условное распределение X₁, при данном Х₂ = х₂. В этом случае

Таким образом, матрица порядка (1 1) коэффи­циентов регрессии есть и матрица порядка (1 1) частных ковариаций есть Итак, плотность распределения

вероятностей Х₁ при данном х₂ будет

Следует отметить, что среднее значение этого условного распределения возрастает с ростом х₂, когда положителен, и убывает с ростом х₂, когда отрицателен.

Геометрическая интерпретация этой теории известна. Плот­ность вероятности может быть изображена поверх­ностью над плоскостью (x₁ ,x₂ ). Если пересечь эту поверхность плоскостью х₂ = с, мы получим кривую над прямой х₂ = с на плоскости (x₁ ,x₂). Орди­ната этой кривой пропорциональна условной плотности распре­деления вероятностей Х₁ при данном х₂ = с, т. е. она про­порциональна ординате кривой одномерного нормального распределения. В более общем случае удобно рассматривать эллипсоиды постоянной плотности распределения вероятностей в р-мерном пространстве. Поверхности постоянной плотности распределения являются пере­сечениями поверхностей постоянной плотности и гиперплоскостей x_q+l = c_q+l , ..., х_р = с_р; они также являются эллипсоидами.

Эти понятия становятся более ясными, если рассматривать реальные совокупности как идеализированно нормально распределенные. Рассмотрим, например, совокупность пар отец — сын. Если эту совокупность разумно считать однород­ной, то величины роста отцов и величины роста их сыновей приближенно распределены нормально в определенных гра­ницах. Условное распределение может быть получено, если рассматривать сыновей, рост отцов которых, скажем, 5 футов и 9 дюймов (в пределах точности измерений); величины роста этих сыновей приближенно распределены нормально. Среднее значение этого нормального распределения отличается от среднего роста сыновей, рост отцов которых, скажем, 5 футов и 4 дюйма, но дисперсии обеих совокупностей равны.

Мы можем также рассматривать тройки наблюдений: рост отца, рост старшего сына и рост второго сына. Распределение величин роста двух сыновей при росте их отцов в 5 футов 9 дюймов является условным распределением двух случайных величин; корреляция между величинами роста старших и вторых сыновей характеризуется частным коэффициентом корреляции. Закрепление роста отцов на постоянном уровне исключает влияние наследственности отцов; однако следует ожидать, что частный коэффициент корреляции будет положи­тельным, так как наследственность по материнской линии и факторы окружающей обстановки вызывают одинаковое изме­нение роста братьев.

Как было отмечено выше, любое условное распределение, полученное из нормального распределения, также является нормальным со средним значением, являющимся линейной функцией фиксированных значений случайных величин, и постоянной ковариационной матрицей. В случае, если распре­деление не подчинено нормальному закону, условное распре­деление одного множества случайных величин относительно другого обычно не обладает вышеуказанными свойствами. Однако можно так построить распределения величин, не являющихся нормальными, что некоторые условные распре­деления будут обладать этими свойствами. Это можно сделать, если взять за плотность распределения X произведение где f(x⁽²⁾) —произ­вольная плотность распределения.

2.5.2. Множественный коэффициент корреляции. Мы опять рассмотрим вектор X , разбитый на Х⁽¹⁾ и X⁽²⁾ . Рас­смотрим некоторые свойства Поскольку мы инте­ресуемся только функциями от ковариации, мы можем поло­жить (т. е. можно заменить на X). Выберем компоненту Х_i вектора Х⁽¹⁾. Тогда

(8)

(9)

и есть i-я строка , определяемая из матрицы

(10)

Рассмотрим теперь линейную функцию случайного век­тора Поскольку ковариация между и X⁽²⁾ равна

, (11)

то эти две величины независимы. Определим теперь линейную функцию ,для которой имеет минимальную дисперсию. Так как MZ² = MZZ' для скаляра Z,

то дисперсия, в силу (11), равна

(12)

Полученный в (12) результат равен

(13)

Поскольку положительно определена, то второе слагаемое в (13) неотрицательно и достигает минимума (то есть 0), когда . Таким образом, регрессия, является функцией Х⁽²⁾ такой, что дисперсия минимальна.

Покажем теперь, что максимум корреляции между X_i и достигается при .Известно, что

(14)

для некоторых с и . Отсюда

(15)

Таким образом,

(16)

Пусть теперь

(17)

Тогда (16) может быть представлено следующим образом:

(18)

Этим закончено доказательство следующей теоремы.

Теорема 2.5.2. Пусть X распределен ;

и ,а обозначает i-ю строку .Из всех линейных комбинаций линейная, комбинация дает минимум дисперсии и максимум корреляции между Х_i и .

Определение 2.5.3. Максимальное значение кор­реляции между X_i и линейной комбинацией назы­вается множественным коэффициентом корреляции между X_i и Х⁽²⁾ и обозначается через . Из этого определения следует

(19)

Полезна формула

' (20) где

(21)

Поскольку

, (22)

отсюда следует, что

. (23)

Это, между прочим, показывает, что никакая условная дис­персия компоненты X не может быть больше ее безусловной дисперсии. Действительно, из формулы (23) видно, что с уве­личением уменьшается условная дисперсия.

2.5.3. Некоторые формулы для частных коэффициентов корреляции. Рассмотрим теперь отношения между несколь­кими условными распределениями, полученными фиксированием нескольких различных множеств случайных величин. Эти отно­шения полезны, поскольку они позволяют определить одно множество параметров условного распределения по другому. Частным случаем является

(24)

это следует из (7), когда р = 3 и q = 2. Получим теперь обобщение этого результата. Вывод довольно скучный, но он дается здесь для полноты изложения. Пусть

(25)

где X⁽¹⁾ состоит из р₁ , Х^{2) из р₂ , а Х ⁽³⁾ из р₃ компонент. Допустим, что нам задано условное распределение X ⁽¹⁾ и X ⁽²⁾ при данном X⁽³⁾ = x⁽³⁾ ; как найти условное распределение Х⁽¹⁾ при данных Х⁽²⁾ = х⁽²⁾ и Х^(3} = x⁽³⁾. Нам известно, что условное среднее значение и ковариация будут

(26)

и

(27)

Подобным же образом

. (28)

. (29)

Выразим теперь (28) и (29) в обозначениях (26) и (27).

Будем рассматривать распределение при данном х⁽³⁾

как многомерное нормальное распределение. Мы знаем, что

и

(31)

Известно, что формулы (28) и (30), а также формулы (29) и (31) являются одними и теми же. Это можно проверить также алгебраически.

В частности, при p₁=q, p₂=1 и р₃ = р – q - 1 мы получим

(32)

Поскольку

, (33)

мы получим

(34)

Это полезная формула для последовательного определения

по .

2.6. Характеристическая функция; моменты

2.6.1. Характеристическая функция. Характеристическая функция многомерного нормального распределения имеет вид, подобный плотности распределения вероятности. Моменты и семиинварианты легко вычисляются по характеристической функции.

Определение 2.6.1. Характеристическая функция

(1)

случайного вектора X определена для каждого действи­тельного вектора t.

Для разъяснения этого определения следует сперва дать представление о математическом ожидании комплексной функ­ции случайного вектора.

Определение 2.6.2. Пусть комплексная функция g (х) записана в виде

g (х) = g₁(х)+ ig₂ (х), где g₁ (х) и g₂(x) — действительные функции. Тогда математиче­ское ожидание g(X) равно

Mg(X) = Mg₁(X) + iMg₂(X). (2) В частности,

(3)

Для оценки характеристической функции вектора X часто бывает удобно применить следующую лемму:

Лемма 2.6.1. Пусть. Если X⁽¹⁾ и Х⁽²⁾ независимы и то

. (4)

Доказательство. Если g (х) вещественна и X имеет плотность распределения, то

(5)

Если g(x) комплексна, то

(6)

Тогда

Если применить лемму 2.6.1 к , то получится Лемма 2.6.2. Если компоненты X независимо рас­пределены, то

(8)

Найдем теперь характеристическую функцию Нормально распределенного случайного вектора.

Теорема 2.6.1. Характеристическая функция век­тора X, распределенного, равна

(9)

для любого действительного вектора t.

Доказательство. Из следствия 4 приложения 1 нам известно, что существует невырожденная матрица С, для которой

(10) Тогда

(11)

Пусть

(12)

Тогда Y распределен N(0, I).

Характеристическая функция Y равна

(13)

Поскольку распределена то

(14)

Таким образом,

, (15)

ибо ; третье равенство легко проверить, если напи­сать обе части этого равенства в интегральной форме. Со­гласно (11), получим

(16)

что доказывает теорему.

Характеристическая функция нормального распределения очень полезна. Ясно, что мы можем применить указанный метод доказательства для получения результатов § 2.4. Если

Z = DX, то характеристическая функция Z есть

(17)

что является характеристической функцией (согласно теореме 2.6.3).

Интересно использовать характеристическую функцию для того, чтобы показать, что только для многомерного нор­мального распределения любая линейная комбинация случай­ных величин распределена нормально. Рассмотрим p-мерный вектор Y с плотностью распределения вероятностей f(y) и характеристической функцией

(18)

и допустим, что среднее значение Y есть и ковариацион­ная матрица есть . Допустим также, что величина u'Y нор­мально распределена для каждого и. Тогда характеристиче­ская функция такой линейной комбинации будет

(19)

Пусть теперь t=l. Поскольку правая часть (19) является характеристической функцией , то доказательство завершено (см. теорему 2.6.3).

Теорема 2.6.2. Если всякая линейная комбинация компонент вектора Y распределена нормально, то Y также распределен нормально.

Можно было бы мимоходом заметить, что для справедли­вости теоремы 2.6.2 существенно, чтобы всякая линейная комбинация была распределена нормально. Например, если и Y₁ и Y₂ не являются независимыми, то каж­дая из Y₁ и Y₂ может иметь частное нормальное распределе­ние, а распределение Y может не быть нормальным. Легче всего это проиллюстрировать на геометрическом примере.

Пусть совместное распределение Х₁, Х₂ нормально со средним значением, равным нулю. Переместим ту же массу в границах рис. 1 от прямоугольника А к С и от В к D. Мы увидим, что результирующее распределение F таково, что частные распределения Y_l и Y₂ такие же, как и частные распределения соответственно Х₁ и Х₂, которые являются нормальными, и тем не менее совместное распределение Y_l и Y₂ не нормально.

Этот пример может быть использован также для доказатель­ства того, что две величины

Y_l и Y₂ могут быть некоррелиро­ванными, и частное распределение каждой из них может быть нормаль­но, но совместное распределение Y₁ и Y₂ не обязательно нормально и эти величины не обязательно независимы. Чтобы показать это, надо выбрать прямоугольники так, чтобы для ре­зультирующего распределения мате­матическое ожидание Y_l Y₂ было равно нулю. Геометрически ясно, что это может быть сделано.

Рис. 1.

Для будущего мы установим две полезные теоремы, относящиеся к характеристическим функциям.

Теорема 2.6.3. Если случайный вектор X имеет плотность распределения вероятностей f (х) и характе­ристическую функцию , то

(20)

Отсюда видно, что характеристическая функция однозначно определяет плотность распределения вероятностей. Если же плотность вероятности для X не существует, то характери­стическая функция однозначно определяет распределение вероятности для любого «интервала непрерывности». В одно­мерном случае интервал непрерывности—это интервал, в котором функция распределения не имеет разрывов на концах.

Теорема 2.6.4. Пусть -последовательность функций распределения, a—последовательность соответствующих характеристических функций. Необходимым и достаточным условием сходимости к функции распределения

F (х) является сходимость к для каждого t, где непрерывна при t =0. Если это условие соблюдается, то предел есть характеристическая функция для предельного распре­деления F(x).

С доказательством этих двух теорем читатель может ознакомиться по книге Крамера [2], §§ 10.6, 10.7.

2.6.2. Моменты и семиинварианты. Моменты величин X_1, ..., X_p с совместным нормальным распределением могут быть получены из характеристической функции (9). Среднее значение равно

(21)

Второй момент есть

(22)

Таким образом,

(23)

(24)

Любой третий центральный момент равен

(25)

Четвертый центральный момент равен

(26)

Определение 2.6.З. Если все моменты распределе­ния существуют, то семиинварианты равны коэффи­циентам k в разложении

(27)

В случае многомерного нормального распределения

Семиинварианты, для которых, обращаются в нуль.

ЛИТЕРАТУРА

§ 2.2. Кен да л л [3], стр. 19—22, 79—81, 104—105; Колмого­ров [1]; Крамер [2], стр. 260—270, 291—297; Муд [2], стр. 74—86, 102—103; Уилкс [10], стр. 5—40.

§ 2.3. Дэвид [3]; К е н д а л л [2], [3], стр. 22, 79—80, 89 133-134, 376-378; Кэдуел [1]; Муд [2], стр. 165-170, 176-180; К. Пирсон [6], [7]; Плакетт [2J; Пойа [1]; Уилкс [10], стр. 59—68.

_г § 2.4. Крамер [2], стр. 312-313; Муд [2], стр. 181; Уилкс [10], стр. 68—71.

§ 2.5. К е н д а л л [3], стр. 334—335; 368—376, 380—381; Кра­мер [2], стр. 305-308, 314-316; Муд [2], стр. 181-184; К Пир­сон [1]; Уилкс [10], стр. 40—46; 71; Юл [1], [2].

§ 2.6. К е н д а л л [3], стр. 79—80; Крамер [2], стр. 100—103, 310-311, 376-378; Кук [1], [2]; Муд [2], стр. 184-186

Ко всей главе 2. Бирнбаум [1]; Вашвани [1]; Гне-денко [1]; Джонсон [1]; Камат [1]; Кансадо [11; Мак-Фа дден И]; Мор а н [2]; Набейя[1]; ОбергП]; Скито-вич[1]; Филлер, Льюис и Пирсон [1].