МЕТОДЫ

НЕПАРАМЕТРИЧЕСКОЙ ОБРАБОТКИ ИНФОРМАЦИИ

Оценивание функционалов

Необходимо по выборке x1,…,xn случайной величины X найти оценку

функционала

Φ=∫∞ ϕ(x, f (x), ) f (x)dx

−∞

Рассмотрим некоторые примеры функционалов:

m xf (x)dx M{X} – математическое ожидание.

2	(x m)2	f (x)dx M{(X m)2}	– дисперсия.

H (X ) (log f (x)) f (x)dx – приведенная энтропия.

Оценивание функционалов

Схема построения оценки Фn следующая. Вначале строится оценка для плотности вероятности fn(x), а затем она подставляется в функционал.

Основным свойством оценки Фn(x1,…,xn) является ее состоятельность. Оценка Фn функционала Ф называется состоятельной, если:

n	lim P{| n | } 0
p
	n

Требование состоятельности определяет практическую пригодность оценок, ибо в противоположном случае (при несостоятельности оценок) увеличение объема исходной выборки не будет приближать оценку к "истинной" величине. По этой причине свойство состоятельности должно проверяться в первую очередь.

Оценка Фn параметра Ф называется несмещенной, если:

M{ n}

Она является асимптотически несмещенной, если:

M{ n}

n

Простейшие оценки функции и плотности распределения вероятности

По упорядоченной независимой выборке x1,…,xn случайной величины X построим оценку Fn(x) для функции распределения:

F(x) P{X x}

Fn (x)	m число исходов, благоприятствующих событию {X x}	1	n
	n общее число опытов		1(x xi )
		n i 1

1, z 0,

где 1(z) – единичная функция: 1(z)

0, z 0.

Fn (x)					1
1				1
			1		n
				n
			n
			1
		1	1 n
	1		n
0		n			x
	n		x2 x3 x4
	x1			xn 2 xn 1 xn

Простейшие оценки функции и плотности распределения вероятности

Так как плотность распределения f(x) связана с функцией распределения F(x) через линейный оператор дифференцирования :

f (x) dF(x) dx

Можно получить оценку для плотности распределения :

	dF (x)	1	n	d	1	n
fn (x)	n				1(x xi )	(x xi )
	dx	n i 1 dx			n i 1

Здесь δ(x-xi) – дельта-функция Дирака. Она имеет "игольчатый" ("гребенчатый") вид: уходит до ∞ в точке xi , а при остальных значениях аргумента x равна нулю и обладает свойствами:

xi

1) (x

xi

xi

2) (x) (x

xi

xi )dx 1 - площадь под дельта функцией единичная.

селектирующее свойство дельта-функции позволяетx )dx (x ) легко выполнять интегрирование. Интеграл i i оказывается равным подынтегральному выражению,

стоящему перед дельта-функцией, в особой точке.

Простейшие оценки функции и плотности распределения вероятности

Первое свойство показывает, что, несмотря на экзотическое поведение дельта- функции, площадь под ней единичная.

Второе селектирующее свойство дельта-функции позволяет легко выполнять интегрирование. Интеграл оказывается равным подынтегральному выражению, стоящему перед дельта-функцией, в особой точке.

fn (x)

										x
x1		x2 x3 x4
						xn 2 xn 1 xn

Оценка плотности распределения является несмещенной, но несостоятельной. В явном виде её использовать нельзя. Ею удобно пользоваться при вычислении оценок моментов (математического ожидания, дисперсии и др.) для случайной величины или для аналитической функции случайной величины. Получаемые оценки являются состоятельными и часто несмещенными.

Простейшие оценки функции и плотности распределения вероятности

Многомерный случай:

		, , x p )		1	n		p
Fn (x) Fn (x1							1(x j x ji )
				n i 1 j 1
	, , xp )		1		n		p
fn (x) fn (x1						(x j x ji )
			n i 1			j 1

Кратные измерения. При кратных измерениях значение x1 повторяется k1 раз, x2 – k2 раз,…, xm – km раз, при этом k1+…+km = n.

m	ki		1(x	xi )	Fn (x)				km 1	km
Fn (x)					1
i 1 n									km 2 n	n
									n
m	k	i (x		xi )				k3
fn (x)						k	k2
i 1	n							n
						1	n
					0	n				x
								x2 x3
						x1			xm 2 xm 1 xm

Полиграммы

Повысим степень гладкости оценки fn(x) по сравнению с простейшей оценкой

функции плотности. Для этого надо повысить соответственно степень гладкости для оценки функции распределения Fn(x). Если Fn(x) будет состоять из отрезков прямых,

то fn(x) будет состоять из прямоугольников. Такая кусочно-постоянная оценка называется полиграммой первого порядка.

	Fn(x)				fn (x)
	1
		1			1	1
						n 1
		n 1			n 1
		x x x				x x x
x	x x			x	x x
1	2 3	n 1	n	1	2 3	n 1	n

Она строится на выборочных интервалах, ограниченных выборочными значениями упорядоченной выборки x1,…,xn. Площадь каждого прямоугольника равна 1/(n-1)

f

( x)=

1

n−1

1

I

x−x

i

I0

1,

z [0; 1),

(z)

0,

z [0; 1).

n

n−1

i∑=1 xi+1−xi

0(xi+1−xi )

Полиграммы

Для улучшения сглаживающих свойств оценки плотности построены полиграммы более высоких порядков:

a

fn(x)

1

1

n 1

1

n 1 1

1

1

n 1

n 1

n 1

n 1

x1

x6

x7

x2 x3

x4

x5

б

fn(x)

2

2

n 1

2

n 1

n 1

x1

x

7

x2 x3

x4 x5

x6

в

fn(x)

3

3

n 1

n 1

x1

x

7

x2

x3

x4 x5

x6

x

x

x

Метод "К ближайших соседей"

Считаем, что для одномерной случайной величины X имеется n независимых наблюдений x1,…,xn. Зафиксируем некоторое целое положительное число kn: 1 ≤ kn ≤

n. Для каждой выбранной точки x существует интервал длительностью 2p(kn,n,x) который охватывает kn ближайших к x точек выборки. Одна точка попадает на границу интервала, а kn-1 точка – внутрь интервала. Оценкой плотности распределения вероятности fn(x) служит частота (kn-1)/n попадания в интервал 2p, приведенная к единичной величине интервала:

	fn (x)	kn 1
		n2 (kn ,n, x)
	Многомерный случай:
	fn (x)	kn 1
		nV (kn ,n, x)

	(4,n, x)	(4,n, x)
xi 2	xi 1 xi	x xi 1	xi 2	xi 3
	(5,n, x)	(5,n, x)
xi 2	xi 1 xi	x xi 1	xi 2	xi 3

x2 V (8,n, x)

R8

x1