gumen_kurs / Теория / mono_a4 / MONO_A4

Раздел 10. Преобразования случайных величин

10.1Преобразование одной случайной величины

Мы будем рассматривать только преобразования случайных величин с абсолютно непрерывными распределениями. Пусть с. в. имеет функцию распределения F (x) и плотность распределения f (x). Построим с помощью функции g : R ! R случайную величину = g( ). Требуется найти функцию распределения и, если существует, плотность распределения .

Замечание 18. Плотность распределения случайной величины = g( ) существует далеко не при любых функциях g. Так, если функция g кусочно-постоянна, то с. в. имеет дискретное распределение, и плотность ее распределения не существует.

Упражнение 16. Привести пример случайной величины с абсолютно непрерывным распределением и непрерывной функции g такой, что = g( ) имеет

а) дискретное распределение; б) невырожденное дискретное распределение.

Плотность распределения g( ) заведомо существует, если, например, функция g монотонна («строго монотонна»). Вспомним, что означает «найти плотность распределения , если она существует».

По определению, если мы представим (для любого x) функцию распределения

x

R

в виде F (x) = h(y) dy, где подынтегральная функция h(y) неотрицательна,

1

то плотность распределения с. в. существует и в точности равна подынтегральной функции: f (x) = h(x).

Так что доказывать существование плотности распределения и находить ее мы будем одновременно, находя нужное интегральное представление для функции распределения.

Теорема 23. Пусть имеет функцию распределения F (x) и плотность распределения f (x), и постоянная a отлична от нуля. Тогда случайная величина = a + b имеет

плотность распределения f (x) =	1			f			x b	.
	jaj						a

Доказательство. Пусть сначала a > 0.

a+b

a

a

(x b)=a

Z

F

(x) = F

(x) = P(a + b < x) = P <

x b

= F

x b

=

1

f (t) dt =

Замена: t =

y b

,

dt =

dy

3

x

y =

Z

a

a

2 t = x b

y = x, t =

=

4

a

a

5

=

1

f

y

b

dy;

7!

1 7!

1

1

a

то есть при a > 0 случайная величина = a + b имеет абсолютно непрерывное распределение с плотностью

a

a

jaj

a

f (x) =

1

f

x b

=

1

f

x b

:

50

Пусть теперь a < 0.

a+b

a

1

Z

F

(x) = F

(x) = P(a + b < x) = P

>

x b

=

(x b)=a

f

(t) dt =

=

Замена: t =

y b

,

dt =

dy

,

t =

x b

y = x,

t =

y =

1 i

=

a

h

a

a

7!

1 7!

1

a

x

jaj

a

Zx a

Z

=

1

f

y b

dy =

1

f

y b

dy;

1

то есть при a < 0 случайная величина = a + b имеет абсолютно непрерывное распре-

		jaj				a
деление с плотностью f	(x) =	1		f		x b	.

Для произвольной монотонной функции g (то есть такой, что для любых x1 < x2 ëèáî g(x1) < g(x2) (монотонно возрастающая функция), либо g(x1) > g(x2) (монотонно убывающая функция)) справедливо аналогичное теореме 23 утверждение.

Теорема 24. Пусть имеет функцию распределения F (x) и плотность распределения f (x), и функция g : R ! R монотонна. Тогда случайная величина = g( ) имеет плотность распределения

f (x) =		1			f g 1(x) :
	jg0	g 1		(x) j
Здесь g 1 — функция, обратная к g, è				1		= g 1(x) 0 — производная функции
			g0	g 1(x)

g 1(x).

Упражнение 17. Доказать теорему 24.

Следующие утверждения сразу следуют из теоремы 23. Первое из них мы уже доказывали непосредственно. Доказать остальные.

Следствие 8. Åñëè = N0;1, òî = + a = Na;2 .

1

x

a

1

(x a)2

p2

Доказательство. Действительно, f

(x) =

f

=

e

2 2 .

Следствие 9.

Åñëè = N

2 , òî =

a

= N

.

a;

0;1

Следствие 10.

Åñëè = E , òî = = E1.

10.2Функции от двух случайных величин

Пусть 1; 2 — случайные величины с плотностью совместного распределения f 1;2 (x1; x2), и задана функция g : R2 ! R. Требуется найти функцию (а если существует, то и плотность) распределения случайной величины = g( 1; 2).

51

Пользуясь тем, что вероятность случайному вектору попасть в область можно вы- числить как объем под графиком плотности распределения вектора над этой областью, сформулируем утверждение.

Теорема 25. Пусть x 2 R, и область Dx R2 состоит из точек (x1; x2) таких, что g(x1; x2) < x. Тогда случайная величина = g( 1; 2) имеет функцию распределения

F (x) = P g( 1	; 2) < x = P ( 1; 2) 2 Dx		= ZZ f 1;2 (x1; x2) dx2 dx1:
			Dx

Всюду далее в этой главе предполагается, что случайные величины 1 è 2 независимы, то есть f 1;2 (x1; x2) = f 1 (x1)f 2 (x2).

Следствие 11 (Формула свертки). Åñëè ñ. â. 1 è 2 независимы и имеют абсолютно непрерывное распределение с плотностями f 1 (x1) è f 2 (x2), то плотность распределения суммы 1 + 2 равна «свертке» плотностей f 1 è f 2 :

	1		1
f 1+ 2 (t) =	Z	f 1 (u) f 2 (t u) du =	Z	f 2 (u) f 1 (t u) du	(13)
	1		1

Доказательство. Воспользуемся утверждением теоремы 25 для функции g(x1; x2) = x1 +x2. Итегрирование по области Dx = f(x1; x2) : x1 +x2 < xg можно заменить последовательным вычислением двух интегралов: наружного – по переменной x1, меняющейся от 1 до 1, и внутреннего – по переменной x2, которая при каждом x1 должна быть меньше, чем x x1. Òî åñòü Dx = f(x1; x2) : x1 2 (1; 1); x2 2 (1; x x1)g. Поэтому

F 1+ 2 (x) = ZZ f 1;2 (x1; x2) dx2 dx1	=	ZZ	f 1 (x1) f 2 (x2) dx2 dx1 =
	независ-ть			1 0 x x1f 1 (x1) f 2 (x2) dx21 dx1
Dx		Dx	=
				Z	@	Z	A
				1		1

Сделаем в последнем интеграле замену переменной x2 íà t òàê: x2 = t x1. Ïðè ýòîì x2 2 (1; x x1) перейдет в t 2 (1; x), dx2 = dt. В полученном интеграле меняем, наконец, порядок интегрирования:

F 1+ 2 (x) =

1 0

x f 1 (x1) f 2 (t

x1) dt1 dx1

=

x

0

1 f 1 (x1) f 2 (t

x1) dx1

1dt:

Z

Z

A

Z

Z

A

1 @ 1

1 @ 1

|

x

{z

}

f 1

+ 2 (t)

1

1

1

(x)

R1

(t) dt, ãäå

Итак, мы представили функцию распределения

F + 2

â âèäå

f 1+ 2

f 1+ 2 (t) =

Z

f 1 (x1) f 2 (t x1) dx1 =

Z

f 1 (u) f 2 (t u) du:

1

1

Второе равенство получается либо из первого заменой переменных, либо если всюду в доказательстве поменять местами индексы 1 è 2.

Следствие 11 не только предлагает формулу для вычисления плотности распределения суммы, но и утверждает (заметьте!), что сумма двух независимых случайных величин с абсолютно непрерывными распределениями также имеет абсолютно непрерывное распределение. Для тех, кто уже ничему не удивляется, упражнение: привести пример двух случайных величин с абсолютно непрерывными распределениями, таких что их сумма имеет вырожденное распределение.

52

Если даже одна из двух независимых случайных величин имеет дискретное, а вторая

– абсолютно непрерывное распределение, то их сумма тоже имеет абсолютно непрерывное распределение, как показывает следующее упражнение.

Упражнение 18. Пусть с. в. имеет таблицу распределения P( = ai) = pi, с. в. имеет плотность распределения f (x), и эти величины независимы. Доказать, что +

P

имеет плотность распределения f + (x) = pif (x ai).

i

10.3Примеры использования формулы свертки

Пример 27. Пусть независимые случайные величины и имеют стандартное нормальное распределение. Докажем, что их сумма имеет нормальное распределение с параметрами 0 и 2.

Доказательство. По формуле свертки, плотность суммы равна

		1			1			1		2		x2
f	(x) =	Z	1	e 21 u2 e 21 (x u)2 du =	Z	1	e 21 (2u2+x2 2xu)du =	Z	1	e u	+	2	xu du:
			2			2			2
+
		1			1			1

Выделим полный квадрат по u в показателе экспоненты: u2 + x22 Тогда

f + (x) = e	x2	1	2 e (u	2 )	2	du = e	x2	1	2 e v		dv =	2p e			x2 1
	4	Z					4	Z							Z
			1	x					1	2		1			4

xu = u x2 2 + x42 .

1 2				1				x2
								4
p		e v	dv =	2p		e		:

1 1 1

Последнее равенство верно поскольку под интегралом стоит плотность нормального

1

распределения с параметрами 0 и p2 , так что интеграл по всей прямой равен 1. Итак, мы получили, что плотность суммы есть плотность нормального распределения с параметрами 0 и 2.

Если сумма двух независимых случайных величин из одного и того же распределения (возможно, с разными параметрами) имеет такое же распределение, говорят, что это распределение устойчиво относительно суммирования.

В следующих утверждениях, доказать которые предлагается читателю, перечислены практически все устойчивые распределения. Еще с одним из них (распределением 2) читатель познакомится в курсе математической статистики.

Лемма 4.	Пусть	случайные	величины	=	è	=	независимы.	Тогда
+ = + .
Лемма 5.	Пусть	случайные	величины	= Bn;p	è	= Bm;p	независимы.	Тогда
+ = Bn+m;p.
Лемма 6.	Пусть случайные величины = Na1; 12				è = Na2; 22		независимы.	Тогда
+ = Na1+a2; 12+ 22 .

Лемму 6 мы докажем позднее, используя аппарат характеристических функций, хотя при некотором терпении можно попробовать доказать ее с помощью формулы свертки, как в примере 27.

Показательное распределение не устойчиво по суммированию, однако его можно считать частным случаем гамма-распределения, которое уже в некотором смысле устой- чиво относительно суммирования.

53

= ;k 1,

Определение 38. Случайная величина имеет гамма-распределение ; с парамет-

рами > 0; > 0, если она имеет плотность распределения

f (x) =

(c x 1e x;

ïðè x > 0;

0;

ïðè x 6 0;

1

1

c вычисляется из условия

R

R

x 1e x dx = 1, òî åñòü

где постоянная

1

f (x) dx = c

0

c =

.

( )

R0

при

целых

и

.

1)

— гамма-функция Эйлера;

Здесь

( ) =

1x

1e

x dx = (

1) (

k

(k) = (k 1)!

(1) = 1

Заметим, что показательное распределение E есть гамма-распределение ;1.

Лемма 7. Пусть независимые случайные величины 1; : : : ; n имеют показательное распределение E = ;1. Тогда 1 + + n = ;n.

Доказательство. Докажем утверждение по индукции. При n = 1 оно верно в силу равенства E = ;1. Пусть утверждение леммы справедливо для n = k 1. Докажем, что оно верно и для n = k. По предположению индукции Sk 1 = 1 + + k 1

то есть имеет плотность распределения

fSk 1

(x) =

80; k 1

k

2

x

ïðè x 6 0;

<

x

e

;

ïðè x > 0:

(k

2)!

=

+

+

Тогда по формуле свертки

плотность суммы S

k

:

1

k равна

1

1

k

1

fSk (x) =

Z

fSk 1 (u)f k (x u) du =

Z

uk 2e uf k (x u) du:

(k 2)!

1

0

Òàê êàê f k (x u) = 0 при x u < 0, то есть при u > x, то плотность под интегралом отлична от нуля, если переменная интегрирования изменяется в пределах 0 6 u 6 x. Поэтому

x	(k 2)!	x	(k 2)! uk 2 du =	(k 1)! xk 2e x:
fSk (x) = Z0		uk 2e u e (x u) du = e x Z0
	k 1		k	k

Òî åñòü Sk = ;k, что и требовалось доказать.

54

«Если я имею одинаковые шансы на получение a или b, то цена моему ожиданию равна (a+b)=2».

Õ ð è ñ ò è à í Ã þ é ã å í ñ, О расчетах в азартной игре (1657)

Раздел 11. Числовые характеристики случайных величин

11.1Математическое ожидание случайной величины

Определение 39. Математическим ожиданием E (средним значением, первым моментом) случайной величины с дискретным распределением, задаваемым таблицей P( = ai) = pi, i 2 Z, называется число

XX

E =

aipi =

aiP( = ai); если указанный ряд абсолютно сходится.

ii

Åñëè æå Pjaijpi = 1, то говорят, что математическое ожидание не существует.

i

Определение 40. Математическим ожиданием E (средним значением, первым моментом) случайной величины с абсолютно непрерывным распределением с плотностью распределения f (x), называется число

1
E = Z	xf (x) dx; если указанный интеграл абсолютно сходится.
1
1

R

Если же jxjf (x) dx = 1, то говорят, что математическое ожидание не существует.

1

Математическое ожидание имеет простой физический смысл: если на прямой разместить единичную массу, поместив в точки ai массу pi (для дискретного распределения), или «размазав» ее с плотностью f (x) (для абсолютно непрерывного распределения), то точка E есть координата «центра тяжести» прямой.

Пример 28. Пусть случайная величина равна числу очков, выпадающих при одном

		6	1
	подбрасывании кубика. Тогда E =	X			= 3:5: в среднем при одном подбрасывании
			k
		k=1		6
	кубика выпадает 3:5 очка!

Пример 29. Пусть случайная величина — координата точки, брошенной наудачу

		Za	b	1		a+b
	на отрезок [a; b]. Тогда E =		x		dx =		:	центр тяжести равномерного
				b a		2

распределения на отрезке есть середина отрезка!

11.2Свойства математического ожидания

Во всех свойствах предполагается, что рассматриваемые математические ожидания существуют.

E0. Математическое ожидание случайной величины есть ЧИСЛО!

55

E1. Для произвольной функции g : R ! R

8

X

>g(ak)P( = ak); если распределение дискретно;>

E g( ) =	>	1
	>	k
	<	Z
	>	1 g(x)f (x) dx;	если распределение абсолютно непрерывно.
	>
	>
	>
	:

Доказательство. Мы докажем это свойство (как и почти все дальнейшие) только для дискретного распределения. Пусть g( ) принимает значения c1; c2; : : : с вероятностями

X

P(g( ) = cm) =	P( = ak). Тогда
X	k:g(ak)=cm		k:g(Xk
	X	cm		m
E g( ) = cmP(g( ) = cm) =					P( = ak) =
m	m		a )=c			X
	=	Xk:g(Xk			m
					g(ak)P( = ak) =	g(ak)P( = ak):
		m	a )=c			k

E2. Математическое ожидание постоянной равно этой постоянной: E c = c.

E3. Постоянную можно вынести за знак математического ожидания: E (c ) = cE .

Доказательство. Следует из свойства E1 ïðè g(x) = cx.

E4. Математическое ожидание суммы любых случайных величин и равно сумме их математических ожиданий:

E ( + ) = E + E :

Доказательство. Для величин с дискретным распределением: пусть xk è yn — зна- чения и , соответственно. Для функции g : R2 ! R можно доказать свойство, аналогичное E1 (сделать это! ). Пользуясь этим свойством для g(x; y) = x + y, запишем:

X

X

X

E ( + ) = (xk + yn)P( = xk; = yn) =

xk

P( = xk; = yn) +

k;n

k

|

n

{z

}

P( =xk)

+ yn

P( = xk; = yn) = E + E :

n

k

X

X

P

=y

)

|

(

{z

n

}

E5.

Åñëè > 0 ï.í. («почти наверное», то есть с вероятностью 1:

P( > 0) = 1),

òî E > 0;

Åñëè > 0 ï.í., è ïðè ýòîì E = 0,

òî = 0 ï.í., òî åñòü P( = 0) = 1.

Упражнение. Доказать для дискретного распределения!

Следствие 12.

Åñëè 6 ï.í., òî E 6 E .

Åñëè 6 ï.í., è ïðè ýòîì E = E , òî = ï.í.

E6. Математическое

ожидание произведения

независимых

случайных

величин рав-

но произведению

их математических

ожиданий: åñëè

и независимы, то

E ( ) = E E .

56

Доказательство.		X X
	X
E ( ) =	(xkyn)P( = xk; = yn) =		xk	ynP( = xk)P( = yn) = E E :
	k;n	k	n
Замечание 19.	Обратное утверждение	ê	свойству E6 неверно: из равенства

E ( ) = E E не следует независимость величин и .

Пример 30. Пусть ' = U0;2 , = cos ', = sin ' — заведомо зависимые случайные величины (доказать!). Но математическое ожидание их произведения равно произведению их математических ожиданий: по свойству E1

2	1			2	1
E = Z0		cos x dx = 0; E = Z0				sin x dx = 0;
	2				2
		2	1
E = Z0				cos x sin x dx = 0 =		E E :
			2

11.3Моменты старших порядков. Дисперсия

Определение 41. Åñëè E j jk < 1, то число

E k называется моментом порядка k (k-м моментом) случайной величины ;

E j jk называется абсолютным моментом порядка k (абсолютным k-м моментом) случайной величины ;

E ( E )k называется центральным моментом порядка k (центральным k-м моментом) случайной величины ;

E j E jk называется абсолютным центральным моментом порядка k (абсолютным центральным k-ì моментом) случайной величины .

Число D = E ( E )2 (центральный момент порядка 2) называется дисперсией случайной величины

Пример 31. Пусть, скажем, случайная величина принимает значение 0 с вероятностью 1 10 5, и значение 100 с вероятностью 10 5. Посмотрим, как моменты разных порядков реагируют на большие, но маловероятные значения случайной величины.

E = 0 (1 10 5) + 100 10 5 = 10 3;	E 2 = 02 (1 10 5) + 1002 10 5 = 10 1;
E 4 = 04 (1 10 5) + 1004 10 5 = 1000;	E 6 = 06 (1 10 5) + 1006 10 5 = 10000000:

Пример 32. Дисперсия D = E ( E )2 есть «среднее значение квадрата отклонения случайной величины от своего среднего». Посмотрим, за что эта величина отвечает.

Пусть случайная величина принимает значения 1 с вероятностью 1=2, а слу- чайная величина — значения 10 с вероятностью 1=2. Тогда E = E = 0, поэтому D = E 2 = 1, D = E 2 = 100. Говорят, что дисперсия характеризует степень разброса значений случайной величины вокруг ее математического ожидания.

Если говорить о распределении случайной величины, как о распределении единичной массы по невесомому стержню, то дисперсия есть в точности момент инерции этого стержня, закрепленного в центре тяжести.

57

p

Определение 42. Если дисперсия величины конечна, то число = D называют

среднеквадратическим отклонением случайной величины .

Чтобы прояснить связь моментов разных порядков, докажем несколько неравенств.

Теорема 26 (Неравенство Йенсена).

Пусть функция g : R ! R выпукла (âíèç :-)) ). Тогда для любой случайной величины с конечным первым моментом

E g( ) > g(E ):

Нам понадобится следующее свойство выпуклых функций (то есть таких, что для любых a < b при всяком 2 [0; 1] верно g(a) + (1 )g(b) > g( a + (1 )b)):

Лемма 8. Пусть функция g : R ! R выпукла. Тогда для всякого y найдется число c(y) такое, что при всех x

g(x) > g(y) + c(y)(x y):

Доказательство (предложено Дебеловым Алексеем, гр.871).

Положим c(y) = inf

x>y

g(x) g(y)

> 1

. Тогда g(x)

g(y)

>

c(y)(x

y) ïðè x > y.

x

y

Докажем, что это неравенство верно и при x < y, и заодно покажем, что c(y) конечно.

Пусть x1 < y.

Тогда y принадлежит отрезку [x1; x2]

для любого x2

> y, òî åñòü

существует 2 [0; 1] такое, что

y x1

y =

x

+ (1

)

x ;

èëè

x

2

=

:

(14)

1

2

1

Но в силу выпуклости функции g

g(y)

6

g(x

) + (1

)

g(x

);

èëè

g(x )

>

g(y) g(x1)

:

(15)

1

2

2

1

g(x2) g(y)

Вспомним, что c(y)

=

infx2

>y

и подставим вместо g(x2) è x2

выражения,

x2 y

стоящие в правой части формул (15) и (14), соответственно:

g(x2) g(y)

g(y) g(x1)

g(y)

g(y) g(x1)

c(y) = inf

>

1

=

:

x2>y

x2 y

y x1

y

y x1

1

Последнее выражение заведомо конечно, то есть c(y) > 1. Более того, мы получили, что требуемое неравенство выполнено и для x < y:

c(y)

>

g(y) g(x1)

для любых x

< y;

òî åñòü g(x

)

>

g(y) + c(y)(x

1

y):

y x1

1

1

Доказательство теоремы 26.

Возьмем в условиях леммы y = E , x = . Тогда g( ) >

g(E ) + c(E )( E ). Вычислим математическое ожидание обеих частей неравенства. Так как E ( E ) = 0, и неравенство между математическими ожиданиями сохраняется по следствию 12, òî E g( ) > g(E ).

Следующее свойство показывает, что из существования моментов больших порядков следует существование моментов меньших порядков.

58

Следствие 13. Åñëè E j jt < 1, то для любого 0 < s < t

(E j js)t 6 (E j jt)s

Доказательство. Поскольку 0 < s < t, то g(x) = jxjt=s — выпуклая функция. По неравенству Йенсена для = j js,

g(E ) = (E )t=s = (E j js)t=s 6 E g( ) = E j jt=s = E j js t=s = E j jt:

Возведя обе части неравенства в степень s, получим требуемое неравенство.

В частности, конечность второго момента (или дисперсии) влечет существование математического ожидания.

q

Следствие 14. Åñëè E j jk < 1 при некотором k > 1, òî E j j 6 k E j jk.

11.4Свойства дисперсии

Все свойства дисперсии следуют из соответствующих свойств математического ожидания.

D1. D = E 2 (E )2.

	Действительно,
	D = E ( E )2 = E 2 2 E + (E )2 = E 2 2E E + (E )2 = E 2 (E )2:
D2.	D (c) = c2D .	Доказать!
D3.	D > 0;
	D = 0 если и только если = const п.н.
	Доказательство.	Дисперсия есть	всего-навсего математическое ожидание п.н.
неотрицательной с.в.: D = E ( E )2, и неотрицательность дисперсии следует из свой-
ñòâà E5.
По тому же свойству, D = 0 если и только если ( E )2 = 0 ï.í., òî åñòü = ï.í.
D4.	Дисперсия не меняется от сдвига с.в. на постоянную: D ( + c) = D . Доказать!
D5.	Если и независимы, то D ( + ) = D + D .

Действительно,

D ( + ) = E ( + )2 (E ( + ))2 = E 2 + E 2 + 2E ( ) (E )2 (E )2 2E E = D + D ;

так как математическое ожидание произведения независимых с.в. равно произведению их математических ожиданий.

Замечание 20. См. замечание 19.

D6. Минимум среднеквадратического отклонения случайной величины от точек ве-

щественной прямой есть среднеквадратическое отклонение от своего математи-

ческого ожидания: D = E ( E )2 = min E ( a)2.

a

Наименьший момент инерции стержня с распределенной на нем единичной массой получится, если точка вращения — центр тяжести стержня, а не любая другая точка.

59