theory
.pdfОсновные понятия и теоремы |
75 |
В общем случае, зная только законы распределения случайных величин ξ1, ξ2 , нельзя найти закон распределения вектора ξ = (ξ1; ξ2 ) (совместный закон распределения). Для этого нужно знать связь между ξ1 и ξ2.
Абсолютно непрерывные случайные векторы
Определение 13. Распределение вероятностей n-мерной случайной величины (случайного вектора) ξ = (ξ1, …, ξn ) называется абсолютно непрерывным распределением, а сама случайная величина ξ – абсолютно непрерывной n-мерной случайной величиной, если для любого множества
B B( n )
P |
|
(B) = ∫…B ∫ p |
|
(x1, …, xn )dx1…dxn , |
(7) |
ξ |
ξ |
где pξ : n → – интегрируемая по Лебегу функция.
Функция pξ называется плотностью распределения n-мерной случай-
ной величины или многомерной плотностью распределения.
Функция распределения абсолютно непрерывной n-мерной случайной величины для любых x n допускает представление
|
|
|
|
|
|
|
x1 |
xn |
|
|
||
|
|
|
|
|
F |
|
(x) = ∫ … ∫ p |
|
(t1 |
, …, tn )dt1 …dtn. |
(8) |
|
|
|
|
ξ |
ξ |
||||||||
|
|
|
|
|
|
|
−∞ |
−∞ |
|
|
||
Свойства многомерной плотности распределения |
|
|||||||||||
1) |
p |
|
(x) ≥ 0 для почти всех x n. |
|
||||||||
ξ |
|
|||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
2) |
∫ p |
|
(x)dx =1. |
|
|
|
|
|
||||
ξ |
|
|
|
|
|
|||||||
|
Rn |
|
|
|
|
|
|
|
|
|
|
|
3) Для почти всех x = (x1, |
…, xn ) |
n |
|
pξ (x1, …, xn ) = ∂n Fξ (x1, …, xn ) .
∂x1…∂xn
4) Для любого k =1, n
+∞
∫ pξ (x1, …, xn )dxk = p(ξ1, …, ξk−1, ξk+1, …, ξn ) (x1, …, xk−1, xk+1, …, xn ).
−∞
76 |
Глава 3. Случайные величины и их числовые характеристики |
|
Чтобы функция p(x), x n , была плотностью распределения некото- |
рой n-мерной случайной величины ξ, необходимо и достаточно, чтобы она
удовлетворяла свойствам 1) и 2).
Пример 14. Равномерное распределение на борелевском
множестве |
G из n. Распределение вероятностей n-мерной случайной |
||||||||||||||||
величины |
|
|
называется равномерным на множестве G, |
а величина |
|
– |
|||||||||||
ξ |
ξ |
||||||||||||||||
равномерно распределенной на G, если для любых B B( |
n ) |
||||||||||||||||
|
|
|
|
|
|
|
|
P (B) = | B ∩G| , |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
ξ |
|G| |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
где | A| – мера Лебега борелевского множества A, |
0 <|G|< ∞. |
||||||||||||||||
В этом случае плотность распределения |
|
имеет вид |
|
|
|
||||||||||||
ξ |
|
|
|
||||||||||||||
|
|
|
|
|
|
1 |
, |
если |
(x , |
…, |
x |
) G, |
|
|
|
||
|
|
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
1 |
|
|
|
n |
|
|
|
||
p |
|
(x1, …, xn ) = |G| |
|
|
|
|
|
|
|
|
|
|
|
||||
ξ |
|
если |
(x , |
…, |
x |
) G. |
|
|
|
||||||||
|
|
|
|
|
0, |
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
1 |
|
|
|
n |
|
|
|
Пример 15. Многомерное нормальное распределение с параметрами (a, σ2 ). Распределение вероятностей n-мерной случайной вели-
чины называетсямногомернымнормальнымраспределением спараметрами
a = (a , …, a ) и σ2 |
=[σ |
ij |
] n |
|
1 |
n |
|
i, j=1 |
(симметричная неотрицательно определенная матрица), если для любых
B B( n ) |
|
|
|
|
||
|
|
|
(det A)1/ 2 |
|
T |
|
P |
|
(B) = |
(2π)n / 2 |
∫exp{12 (x − a) A(x − a) |
}dx, |
|
ξ |
||||||
|
|
|
|
B |
|
|
|
|
|
|
n |
|
|
где A =[aij ] in, j=1, σ2 = A−1, xAxT = ∑ aij xi x j , |
det A – определитель матри- |
i, j=1
цы A.
Сингулярные случайные векторы
Определение 14. Распределение вероятностей n-мерной случайной величины (случайного вектора) ξ = (ξ1, …, ξn ) называется сингулярным, а
сама случайная величина ξ – сингулярной n-мерной случайной величиной (сингулярным вектором), если:
1) Fξ – непрерывная функция;
Основные понятия и теоремы |
|
|
|
|
77 |
||
|
|
2) существует такое множество S B( n ) |
нулевой меры Лебега, что |
||||
Ρ( |
|
S) =1. |
|
|
|
|
|
ξ |
|
|
|
|
|
||
|
|
Пример 16. Пусть случайная величина ξ1 |
имеет непрерывную функ- |
||||
цию распределения Fξ (x), |
g : |
→ – непрерывная, строго монотонно |
|||||
1 |
|
|
|
|
|
||
возрастающая функция, g−1 |
– |
обратная функция, кроме того, ξ |
2 |
= g(ξ ). |
|||
|
|
|
|
|
|
1 |
Тогда случайный вектор ξ = (ξ1, ξ2 ) будет сингулярным, так как
F(ξ1,ξ2 ) (x1, x2 ) = Ρ(ξ1 ≤ x1 ∩ξ2 ≤ x2 ) = Ρ(ξ1 ≤ x1 ∩ g(ξ1) ≤ x2 ) =
=Ρ(ξ1 ≤ x1 ∩ξ1 ≤ g−1(x2 )) = Ρ(ξ1 ≤ min (x1; g−1(x2 ))) =
=Fξ1 (min (x1; g−1(x2 ))) – непрерывная функция.
Рассмотрим множество
S ={(x , x ) : x R, i =1, 2, x = g(x )} B( 2 ). |
|||
1 2 |
i |
2 |
1 |
Множество S – кривая в |
2 , мера Лебега которой равна 0 и |
Ρ((ξ1, ξ2 ) S) = Ρ((ξ1, g(ξ1)) S) =1.
Понятие независимости случайных величин представляет собой перенос понятия независимости случайных событий на случайные величины и отражает отсутствие связи между случайными величинами. Иными словами, независимость случайных величин ξ и η можно охарактеризовать следу-
ющим образом: знание значений, которые приняла случайная величина ξ, не дает никакой новой информации о распределении случайной величины η.
Определение 15. Сигма-алгебра (σ-алгебра)
Aξ = ξ−1(B( ))
называется сигма-алгеброй, порожденной случайной величиной ξ. Определение 16. Случайные величины ξ1, …, ξn называются неза-
висимыми, если независимы σ-алгебры A1, …, An , порожденные этими случайными величинами, т. е. для любых B1, …, Bn B( ) имеет место равенство
n
Ρ(ξ1 B1 ∩ξ2 B2 ∩…∩ξn Bn ) = ∏ Ρ(ξk Bk ). (9)
k=1
Определение независимости случайных векторов дается аналогичным образом. Кроме того, дальнейшие утверждения независимости остаются справедливыми при замене случайных величин на случайные вектора.
78 |
|
|
Глава 3. Случайные величины и их числовые характеристики |
|||||||
Теорема 9 (критерий независимости). Случайные величины ξ1, …, ξn |
||||||||||
независимы тогда и только тогда, когда для любых x1, …, xn |
|
|||||||||
|
|
|
F |
|
|
n |
|
(x ). |
|
(10) |
|
|
|
(x , …, x ) = ∏ F |
|
||||||
|
|
|
(ξ1, …, ξn ) |
1 |
n |
k=1 |
ξk |
k |
|
|
Теорема 10. Пусть случайные величины |
ξ1, |
…, ξn абсолютно непре- |
||||||||
рывны и существует плотность распределения |
p(ξ1, …, ξn ) (x1, |
…, xn ) |
слу- |
|||||||
чайного вектора |
|
= (ξ1, …, ξn ). |
|
|
|
|
|
|
||
ξ |
|
|
|
|
|
|
||||
Они |
независимы тогда |
и |
только |
тогда, |
когда для |
почти |
всех |
|||
x1, …, xn |
|
|
|
|
|
|
|
|||
|
|
|
p |
|
|
n |
|
|
|
(11) |
|
|
|
(x , …, x ) = ∏ p (x ). |
|
||||||
|
|
|
(ξ1,…,ξn ) |
1 |
n |
k=1 |
ξk |
k |
|
|
Требование существования плотности случайного вектора |
(ξ1, …, ξn ) |
является необходимым только для доказательства независимости указанных случайных величин. В обратную сторону ее существование вытекает из того, что случайные величины ξ1,…,ξn независимы и абсолютно непрерывны.
Теорема 11. Дискретные случайные величины ξ1, …, ξn независимы тогда и только тогда, когда для любых возможных значений x1, …, xn случайных величин ξ1, …, ξn соответственно выполнено равенство
n
Ρ(ξ1 = x1 ∩ξ2 = x2 ∩…∩ξn = xn ) = ∏ Ρ(ξk = xk ). (12)
k=1
Независимость случайных величин сохраняется при функциональных преобразованиях.
Утверждение 2. Если ξ1, …,ξn – независимые случайные величины, gi : → , i =1, n, – борелевские функции, то случайные величины g1(ξ1), …, gn (ξn ) также независимы.
Пример 17. Пусть вероятностное пространство (Ω, A , Ρ) задано следующим образом: Ω =[0; 1], A = B([0; 1]), Ρ – мера Лебега. Рассмотрим на этом вероятностном пространстве случайную величину ξ(ω) = ω. Найдем все случайные величины η, независимые с ξ на данном вероятностном
пространстве.
Используя утверждение 2, несложно показать, что только тривиальные (вырожденные) случайные величины η, будут независимы с ξ.
Данный пример показывает, что необходимо с должной осторожностью относиться к фразе «пусть на произвольном вероятностном пространстве (Ω, A , Ρ) заданы независимые случайные величины ξ и η (произвольные!)».
Основные понятия и теоремы |
79 |
Для такой конструкции вероятностное пространство должно быть достаточно «обширным». На самом деле, для любых данных распределений случайных величин ξ и η можно построить вероятностное пространство и задать
на нем случайные величины ξ и η так, что они будут независимы и иметь
данные распределения. Поэтому приведенную выше фразу следует понимать в том смысле, что пространство (Ω, A , Ρ) уже достаточно «обширно»
и на нем заданы независимые случайные величины, распределения которых совпадают с данными.
Пусть задана дискретная случайная величина ξ с законом распределения
|
ξ : |
x1 … xn …, |
∑pi =1. |
|
p : p1 … pn …, pi > 0, |
||
|
|
|
i |
Функция g : |
→ |
– борелевская. Тогда очевидно, что закон распре- |
|
деления случайной величины g(ξ) имеет вид |
|
||
g(ξ) : g(x1) |
g(x2 ) … g(xn ) …, |
pi > 0, ∑pi =1, |
|
Ρ : |
p1 |
p1 … pn …, |
|
|
|
|
i |
при этом если некоторые из значений g(xi ) совпадают, то они записывают-
ся один раз, а вероятности их появления равны суммам вероятностей тех возможных значений xi , при которых функция g принимает одно и то же
значение.
Многомерный случай описывается аналогично.
Пусть ξ = (ξ1, …, ξn ) – n-мерная абсолютно непрерывная случайная величина с плотностью распределения
pξ (x), x = (x1, …, xn ) n.
Рассмотрим случайный вектор η = (η1, …, ηn ), где ηi = gi (ξi ), i =1, n.
Функции gi : |
→ |
– непрерывные, для которых существуют обратные |
|||||||||||
преобразования |
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
ξ |
|
= g−1(η ), i = |
|
. |
|||
|
|
|
|
|
|
i |
1, n |
||||||
|
|
|
|
|
|
|
i |
i |
|||||
|
|
Обозначим |
|
|
|
|
|
|
|
|
|||
|
|
g(x) = (g1(x), …, gn (x)), |
g−1(x) = (g1−1(x), …, gn−1(x)). |
||||||||||
|
|
Теорема 12. Если случайный вектор |
|
имеет плотность распределения |
|||||||||
ξ |
|||||||||||||
p |
|
, η = g( |
|
), |
где функция g = (g1, |
…, gn ) непрерывно дифференцируема, а |
|||||||
|
ξ |
||||||||||||
ξ |
80 |
Глава 3. Случайные величины и их числовые характеристики |
||||||||||||||
ее обратная функция g−1 = (g1−1, |
…, gn−1), |
|
то случайный вектор η имеет |
||||||||||||
плотность распределения p |
|
, которая определяется по формуле |
|
||||||||||||
η |
|
||||||||||||||
|
p |
η |
(x) = p (g−1 |
(x)) |
|
Ig−1(x) |
|
, |
|
||||||
|
|
|
|
||||||||||||
|
|
|
|
|
ξ |
|
|
|
|
|
|
|
|
||
где |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
∂g−1(x) n |
|
|
|
|
|||||
|
|
Ig−1(x) = |
|
i |
|
|
|
, |
|
|
|
||||
|
|
|
∂x j |
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
i, j=1 |
|
|
|
|
|
а | A| |
– определитель матрицы A. |
|
|
|
|
|
|
|
|
||||||
Пусть даны две случайные величины ξ и η, |
тогда по теореме 8 |
|
|||||||||||||
|
Fξ+η (z) = ∫∫ |
dF(ξ, η) (x, |
y). |
(13) |
|||||||||||
|
|
|
|
|
|
x+y≤z |
|
|
|
|
|
|
|
|
|
Если ξ и η независимы, то из (13) имеем |
|
|
|
|
|||||||||||
|
+∞ |
|
|
|
|
|
|
|
|
+∞ |
|
|
|
|
|
|
Fξ+η (z) = ∫ Fξ (z − y) dFη ( y) = ∫ Fη (z − y) dFξ ( y). |
(14) |
|||||||||||||
|
−∞ |
|
|
|
|
|
|
|
|
−∞ |
|
|
|
|
|
Если случайная величина ξ |
произвольна, а случайная величина |
η аб- |
|||||||||||||
солютно непрерывна и они независимы, то существует плотность |
pξ+η и |
||||||||||||||
она равна |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
+∞ |
|
|
|
|
|
|
|
|
|
|
|
pξ+η (t) = ∫ |
pη (t − y) dFξ ( y), |
t . |
(15) |
|||||||||||
|
|
|
|
|
−∞ |
|
|
|
|
|
|
|
|
|
|
Если обе случайные величины ξ и η абсолютно непрерывны и незави- |
|||||||||||||||
симы, то |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
+∞ |
|
|
|
|
|
|
|
|
+∞ |
|
|
|
|
|
|
pξ+η (t) = ∫ pη (t − y) pξ ( y) dy = ∫ pξ (t − y) pη ( y) dy. |
(16) |
|||||||||||||
|
−∞ |
|
|
|
|
|
|
|
|
−∞ |
|
|
|
|
Формулы (13)–(16) называют формулами композиции или свертками.
Определение 17. Математическим ожиданием случайной величины ξ называется число
M ξ = ∫ξ(ω)dΡ(ω) = ∫ξ(ω)Ρ(dω).
Ω Ω
Математическое ожидание случайной величины ξ – это интеграл Лебега от этой величины по вероятностной мере.
Основные понятия и теоремы |
81 |
Свойства математического ожидания – это свойства интеграла Лебега.
1)Если Ρ(ξ = c) =1, то M ξ = c.
2)Если ξ – интегрируемая неотрицательная случайная величина, то
M ξ ≥ 0.
3)Если |ξ |≤ c, то M |ξ |≤ c.
4)Если |ξ |≤ η и η интегрируема, то ξ также интегрируема и
M|ξ |≤ M η.
5)Если ξ и η – интегрируемые случайные величины, то для любых a, b случайная величина также интегрируема и
M(aξ +bη) = a M ξ +b M η.
6) Случайные величины ξ и |ξ | одновременно интегрируемы, и |M ξ |≤ M |ξ|.
7) Теорема о монотонной сходимости. Пусть {ξn}, n ≥1, – последова-
тельность неотрицательных интегрируемых случайных величин таких, что
ξn ↑ ξ поточечнопри n → ∞. Если sup M ξn <∞, то ξ такжеинтегрируемаи
n
M ξ = lim M ξn.
n→∞
8) Теорема о мажорируемой сходимости (Лебега). Если для почти всех ω Ω
|
|
|
ξ |
n |
→ξ, |
|
|
|
|
|
|
||
|
|
|
|
|
|
n→∞ |
|
|
|
|
|
|
|
|ξn |≤ η, n =1, 2, …, и M η < ∞, то |
|
|
|
|
|
|
|||||||
|
|
|
M ξ = lim M ξn. |
|
|
|
|
|
|
||||
|
|
|
|
|
|
|
n→∞ |
|
|
|
|
|
|
9) Свойство мультипликативности математических ожиданий. Пусть |
|||||||||||||
ξ1, …, ξn – независимые случайные величины, |
M ξi < ∞, i = |
|
. Тогда су- |
||||||||||
1, n |
|||||||||||||
ществует M(ξ1ξ2 …ξn ) и |
|
|
|
|
|
|
|
|
|
||||
M(ξ1ξ2 …ξn ) = M ξ1 M ξ2 … M ξn. |
|
|
|
||||||||||
Обратное утверждение, вообще говоря, неверно. |
|
|
|
||||||||||
10) Формула замены переменных в интеграле Лебега. Пусть |
|
|
= |
||||||||||
|
ξ |
||||||||||||
= (ξ1, …, ξn ) – случайный вектор, |
g : n → |
борелевская функция, тогда |
|||||||||||
M g( |
|
) = ∫g( |
|
(ω)) d P(ω)= ∫ g(x)dFξ (x). |
(17) |
||||||||
ξ |
ξ |
||||||||||||
|
|
Ω |
|
|
n |
|
|
|
|
|
|
Если в этой формуле существует один из интегралов, то существует второй и они равны.
82 |
Глава 3. Случайные величины и их числовые характеристики |
Из свойства 10 и соответствующих свойств интеграла Лебега – Стилтьеса вытекают следующие утверждения.
Утверждение 3. Пусть ξ – абсолютно непрерывная случайная величина с плотностью распределения pξ (x), g : → – борелевская функ-
ция. Тогда
∞
M g(ξ) = ∫ g(x) pξ (x)dx.
−∞
Утверждение 4. Пусть ξ – дискретная случайная величина с законом распределения
|
|
|
ξ : |
x1 |
x2 … xn …, |
||||
|
|
|
Ρ : |
p1 |
p2 … pn …, |
||||
g : |
→ |
– борелевская функция. Тогда |
|
|
|
|
|||
|
|
|
|
|
∞ |
|
|
|
|
|
|
|
M g(ξ) = ∑g(xn ) pn. |
||||||
|
|
|
|
|
n=1 |
|
|
|
|
|
Пример 18. Пусть случайная величина ξ принимает конечное число |
||||||||
различных значений a1, a2 , |
…, am ; pk = Ρ(ξ = ak ), k = |
|
. Будем повто- |
||||||
1, m |
|||||||||
рять n |
раз эксперимент, |
в котором наблюдается величина ξ. Через |
|||||||
x1, |
…, |
x n |
обозначим наблюдаемые значения этой случайной величины. |
||||||
Тогда среднее значение наблюдаемых чисел равно |
|||||||||
|
|
|
|
n |
m |
ki |
|
|
|
|
|
|
|
1 ∑xk =∑ai |
, |
||||
|
|
|
|
|
|||||
|
|
|
|
n k=1 |
i=1 |
n |
где ki – число появленийсобытия {ξ = ai} вэтойсерииэкспериментов, т. е.
1 |
n |
m |
|
∑xk =∑ai νn (ξ = ai ), |
(18) |
||
n k=1 |
i=1 |
|
где νn ( A) – частота появления события A в n испытаниях. Заметим, что при n → ∞
νn ( A) → Ρ( A) ,
(см., напр., [16, с. 32]), т. е.
1 ∑n xk → M ξ.
n k=1
Таким образом, математическое ожидание случайной величины ξ можно трактовать как вероятностное среднее этой величины.
Основные понятия и теоремы |
83 |
Пример 19. Математическое ожидание дискретной случайной величины имеет аналог в теоретической механике. Пусть на прямой расположена система материальных точек с массами pn и пусть xn – координата n-й
точки. Тогда центр тяжести системы будет иметь координату
|
∑xn pn |
|
∑xn pn |
|
|
x = |
n |
= |
n |
= ∑x |
p , |
|
|
||||
|
∑ pn |
1 |
n |
n |
|
|
n |
|
|||
|
n |
|
|
|
|
совпадающую с математическим ожиданием случайной величины ξ , имеющей закон распределения
ξ : |
x1 |
x2 |
... |
xn ..., |
Ρ : |
p1 |
p2 |
... |
pn ... . |
Для натуральных m величина M ξm , если она определена, называется моментом m-го порядка случайной величины ξ. В частности, момент первого порядка ξ – это ее математическое ожидание. Величина M|ξ | m называ-
ется абсолютным моментом m-го порядка случайной величины ξ. Момен-
ты (абсолютные моменты) случайной величины (ξ − M ξ) называются цен-
тральными моментами (абсолютными центральными моментами) слу-
чайной величины ξ.
Определение 18. Дисперсией случайной величины ξ называется число
D ξ = M(ξ − M ξ)2 ,
число σξ = Dξ называется среднеквадратическим отклонением случайной величины ξ.
Определение 19. Ковариацией случайных величин ξ и η называется число
cov(ξ, η) = M(ξ − M ξ)(η − M η).
Свойства дисперсии
1)D ξ = M ξ2 −(M ξ)2.
2)D ξ ≥ 0.
3) D(ξ +c) = D ξ, где c .
4)D(cξ) = c2Dξ, где c .
5)D ξ = 0 тогда и только тогда, когда существует константа c такая, что Ρ(ξ = c) =1.
84 |
Глава 3. Случайные величины и их числовые характеристики |
6)D(ξ + η) = D ξ + D η + 2cov(ξ, η).
7)Если случайные величины ξ и η независимы, то
D(ξ + η) = D ξ + D η.
Воспользовавшись свойством 10 математического ожидания, можно доказать, что:
|
∞ |
1) |
M ξk = ∫ xk dFξ (x), |
−∞
∞
M|ξ | k = ∫ | x| k dFξ (x),
−∞
∞
M(ξ − M ξ)k = ∫ (x − M ξ)k dFξ (x),
−∞
∞
M |ξ − M ξ |k = ∫ | x − M ξ|k dFξ (x), k =1, 2, …;
−∞
2) если случайная величина ξ абсолютно непрерывна с плотностью распределения pξ , то
∞
M ξk = ∫ xk pξ (x)dx,
−∞
∞
M|ξ | k = ∫ | x| k pξ (x)dx,
−∞
∞
M(ξ − M ξ)k = ∫ (x − M ξ)k pξ (x)dx,
−∞
∞
M|ξ − M ξ|k = ∫ | x − M ξ|k pξ (x)dx, k =1, 2, …;
−∞
3) если случайная величина ξ дискретна с законом распределения
ξ : |
x1 |
… xn |
…, |
Ρ : |
p1 |
… pn |
…, |
то
∞
M ξk = ∑xnk pn , n=1
∞
M|ξ | k = ∑| xn | k pn ,
n=1