- •Модуль 1
- •Преобразуем выражение
- •1. Выбор коэффициента размытости из условия минимума оценки квадратического критерия.
- •2. Выбор коэффициента размытости из условия максимума функции правдоподобия
- •3. Выбор коэффициентов размытости с помощью метода ближайших соседей
- •4. Выбор коэффициента размытости из условия максимума функции правдоподобия для псевдодискретной случайной величины
Модуль 1
№1 Плотность распределения вероятностей непрерывной случайной величины
Непрерывную случайную величину можно характеризовать не только с помощью функции распределения, но и с помощью плотности распределения вероятностей, которую также называется дифференциальной функцией распределения.
Плотностью распределения вероятностей непрерывной случайной величины называют первую производную функции распределения .
Для описания дискретной случайной величины плотность распределения неприемлема. Смысл плотности распределения состоит в том, что она показывает как часто появляется случайная величина в некоторой окрестности точки при повторении опытов. После введения функций распределения и плотности распределения можно дать следующее определение непрерывной случайной величины.
Основные свойства плотности распределения вероятностей непрерывной случайной величины:
-
Плотность распределения вероятностей неотрицательная функция
.
-
Плотность распределения вероятностей определена на интервале , и .
-
Площадь под плотностью распределения вероятностей на интервале равна единице, т.е.
.
Рис. 1.4. Графическая интерпретация взаимосвязи плотности распределения вероятностей и функции распределения.
Плотность вероятности и функция распределения связаны линейными операторами дифференцирования и интегрирования (рис. 1.4):
, .
Если функция распределения абсолютно непрерывна и дифференцируема при всех значениях аргумента, то её первая производная является плотностью распределения вероятностей .
№2
№3 Гистограммный метод оценивания плотности вероятности
Гистограммный метод один из самых первых и распространённых методов оценки плотности вероятности. Он наиболее удобен в одномерном случае, когда x скаляр.
Пусть дана выборка статистически независимых наблюдений случайной величины , распределённой с неизвестным законом .
Необходимо построить оценку плотности вероятности .
Методика определения оценки плотности вероятности предполагает выполнение следующих действий:
1. Разобьём область определения на равных непересекающихся интервалов длинной таким образом, чтобы в каждый интервал попало минимум 2-3 наблюдения (рис. 2.1).
Рис. 2.1. Графическая интерпретация построения оценки плотности вероятности
2. Подсчитать количество наблюдений попавших в каждый -й интервал. Пусть количество наблюдений из исходной выборки в каждом -м интервале.
3. Найти оценки вероятностей попадания наблюдений в каждый -й интервал по формуле
.
4. Предложим, что в каждом интервале закон распределения - равномерный. На плоскости с координатными осями в каждом -м интервале строится прямоугольник площадью и высотой (рис. 2.2)
,
являющейся оценкой плотности вероятности.
Рис. 2.2. Гистограммная оценка плотности вероятности
В итоге полученную кусочно-постоянную оценку, состоящую из примыкающих друг к другу прямоугольников, называют гистограммой.
№4
№5
№6
Оптимизация непараметрической оценки плотности вероятности типа Розенблатта-Парзена
Выбор коэффициентов размытости из условия минимума статистического критерия составляет одну из основных проблем непараметрических методов оценивания плотности вероятности. Рассмотрим асимптотическое выражение среднеквадратического критерия близости между оценкой и искомой
.
Нетрудно заметить, что его значение в основном зависит от коэффициента размытости и вида ядерной функции. Поэтому задача оптимизации сводится к определению наилучшего значения коэффициента размытости и оптимального вида ядерной функции.
№7
Гистограммный метод оценивания плотности вероятности
Гистограммный метод один из самых первых и распространённых методов оценки плотности вероятности. Он наиболее удобен в одномерном случае, когда x скаляр.
Пусть дана выборка статистически независимых наблюдений случайной величины , распределённой с неизвестным законом .
Необходимо построить оценку плотности вероятности .
Методика определения оценки плотности вероятности предполагает выполнение следующих действий:
1. Разобьём область определения на равных непересекающихся интервалов длинной таким образом, чтобы в каждый интервал попало минимум 2-3 наблюдения (рис. 2.1).
Рис. 2.1. Графическая интерпретация построения оценки плотности вероятности
2. Подсчитать количество наблюдений попавших в каждый -й интервал. Пусть количество наблюдений из исходной выборки в каждом -м интервале.
3. Найти оценки вероятностей попадания наблюдений в каждый -й интервал по формуле
.
4. Предложим, что в каждом интервале закон распределения - равномерный. На плоскости с координатными осями в каждом -м интервале строится прямоугольник площадью и высотой (рис. 2.2)
,
являющейся оценкой плотности вероятности.
Рис. 2.2. Гистограммная оценка плотности вероятности
В итоге полученную кусочно-постоянную оценку, состоящую из примыкающих друг к другу прямоугольников, называют гистограммой.
№8,10,11,14Исходя из свойств плотности вероятности, площадь под ядерной функцией должна быть равна единицы. Поэтому будем использовать ядерные функции, для которых справедливо соотношение Если - многомерная случайная величина, то непараметрическая оценка плотности вероятности имеет вид. Для трёхмерной случайной величины непараметрическая оценка плотности вероятности принимает вид:
. При синтезе многомерной оценки предполагается, что многомерное ядро представимо в виде произведения . Проверим, обладает ли многомерная оценка (2.3) свойством плотности
.
Основные виды ядерных функций приведены на рис. 2.4-2.6.
Ступенчатая ядерная функция |
|
Ядерная функция Епанечникова |
|
Треугольная ядерная функция |
Ядерная функция – это весовая функция, характеризующая вес по отношению к (аналог меры близости между и ). Коэффициент размытости ядерной функции характеризует её область определения (расплывчатость ядра). При увеличении количества наблюдений значения , т.е. .
Ядерная функция, чтобы сохранить площадь равную 1, должна стремится к дельта-функции
.
№13Оптимальная ядерная функция представляется в видегде неопределённые множители находятся из ограничений исходной задачи. Подставим в первое ограничение, получим, . Из симметричности ядерной функции следует, . Далее, с учётом ограничения, . В результате получим уравнения для нахождения параметров . Решая систему уравненийполучим оптимальную ядерную функцию. На этой основе составляем оптимальную (в смысле минимума среднеквадратического критерия) ядерную функцию Епанечникова (2.10)
№15 Асимптотические свойства непараметрической оценки плотности вероятности типа Розенблатта-Парзена
Асимптотические свойства показывают поведение рассматриваемой оценки при бесконечном объёме экспериментальных данных (т.е. при ).
Целью исследования асимптотических свойств является проверка сходимости непараметрической оценки с увеличением объёма экспериментальных данных к искомой плотности вероятности
.
Асимптотической сходимостью могут обладать не все оценки плотности вероятности (например, параметрические оценки в общем случае не обладают свойством сходимости).
Теорема 2.1. Пусть: 1) ограничена и непрерывна со всеми своими производными до второго порядка включительно; 2) ядерные функции являются положительными, нормированными и симметричными, а также ; 3) последовательность при , а . Тогда непараметрическая оценка плотности вероятности типа Розенблатта-Парзена обладает свойствами асимптотической несмещённости и состоятельности.
Доказательство.
-
Асимптотическая несмещённость , при которой
.
В соответствии со свойством математического ожидания
.
Подставим вместо оценку типа Розенблатта-Парзена
.
Представим математическое ожидание в интегральной форме
.
Так как наблюдения одной и той же случайной величины, то .
Поэтому
.
Значения не зависят от индекса суммы, что позволяет вынести их за знак суммы. В результате получим
.
Проведём замену переменных в последнем выражении
.
Изменим пределы интегрирования
.
В итоге получим
.
Разложим в ряд Тейлора в точке . После очевидных преобразований имеем
.
Здесь , - первая и вторая производная .
Рассмотрим отдельные части последнего выражения:
, так как ;
, так как . Последнее следует из свойства симметричности ядерной функции. Например, для ядерной функции типа ступеньки имеем .
Примем , тогда
.
Отсюда, при следует свойство асимптотической несмещённости , т.е.
.
-
Сходимость в среднеквадратическом
.