Теорема Чебышева

(Первое неравенство Чебышева) Если , то ,

Доказательство. Замечая, что , и пользуясь основными свойствами математического ожидания получим

(Второе неравенство Чебышева)

Доказательство. Очевидно, что .

Применим первое неравенство Чебышева:

Вопрос 29.1. Центральная предельная теорема для независимых одинаково распределенных случайных величин

Теорема. Пусть ₁, ₂, … —  независимые и одинаково распределенные случайные величины с конечной и ненулевой

дисперсией: 0<D₁<. Обозначим через S_n сумму первых n случайных величин: S_n=₁+…+_n.

Тогда последовательность с. в. слабо сходится к стандартному нормальному распределению.

Доказательство. Пусть ₁, ₂, …  —  последовательность независимых и одинаково распределенных случайных величин с конечной и ненулевой дисперсией. Обозначим через a математическое ожидание E₁ и через ² —  дисперсию D₁. Требуется доказать, что

Введем стандартизованные случайные величины  —  независимые с.в. с нулевыми математическими ожиданиями и единичными дисперсиями. Пусть Z_n есть их сумма . Требуется доказать, что

Характеристическая функция величины  равна

(26)

Характеристическую функцию с.в. ₁ можно разложить в ряд Тейлора, в коэффициентах которого использовать известные моменты E₁=0, E₁²=D₁=1. Получим

Подставим это разложение, взятое в точке , в равенство (26) и устремим к бесконечности. Еще раз воспользуемся замечательным пределом.

В пределе получили характеристическую функцию стандартного нормального закона. По теореме о непрерывном соответствии можно сделать вывод о слабой сходимости распределений стандартизованных сумм к стандартному нормальному распределению, что и утверждается в ЦПТ.

МАТЕМАТИЧЕСКАЯ СТАТИСТИКА

Вопрос 36.1. Основные понятия математической статистики: случайная выборка из распределения, выборочное пространство, вариационный ряд, эмпирическая функция распределения, выборочное среднее, выборочные дисперсии, выборочные моменты.

Опр. Отправной точкой любого статистического анализа являются данные, полученные экспериментатором в результате опыта. Допустим, что опыт состоял из n повторных измерений некоторой неизвестной величины и в результате получены значения …. . Эти значения естественно считать реализацией набора из n независимых одинаково распределенных случайных величин с неизвестной функцией распределения F=F(t).. Вектор данных x=( …. ) называется независимой выборкой объема n из неизвестного распределения F.

Опр. Пространство элементарных событий наз. выборочным пространством или пространством исходов.

Опр. Если элементы выборки …. упорядочить по возрастанию на каждом элементарном исходе, то получится новый набор случайных вуличин, называемый вариационным рядом.

Опр. Эмпирической функцией распределения называется функция :R[0,1], вычисляемая по выборке x=( …. ) следующим образом: = то есть, есть отношение числа элементов выборки, не превосходящих t, к объему выборки.

Опр. Величины, вычисляемые по выборке, = и = называются выборочным средним и выборочной дисперсией.

Опр. Величина = наз k-ым выборочным моментом.

Вопрос 43.1. Точечные оценки неизвестных значений параметров распределений: несмещенные оценки, состоятельные оценки. Примеры.

Опр. Предположим, что x=( …. ) - независимая выборка из неизвестного распределения , зависящего от неизвестного параметра . Часто возникает необходимость приблизить значение некоторой функции ()=( ... ) от параметра . В математической статистике такая задача называется задачей оценивания. Само искомое приближение называют оценкой. По существу, оценка (x) функции ()есть некоторое выражение, зависящее от выборки: ( …. ).

Опр. Оценка ( …. ) называется несмещенной для функции от неизвестного параметра (), если E ( …. )=().

Пример. Неизвестная величина a измеряется некоторым несовершенным прибором, прибавляющим к a случайную ошибку, распределенную по нормальному закону с нулевым средним. Если измерения проводятся n раз, то в итоге мы имеем независимую выборку x=( …. ) из распределения, принадлежащему семейству {N(a, ),=(a, )}, = (0,+). То есть, в такой постановке неизвестный параметр  двумерен. Получаем, что ( …. )=( , ) является несмещенной оценкой двумерного параметра =(a, ).

Опр. Следующее свойство оценок имеет асимптотический характер и связано с увеличением объема выборки. Для простоты рассмотрим скалярную функцию () . Предположим, что n. Рассмотрим последовательность оценок ( …. ), соответствующих увеличивающимся в объеме выборкам.

Последовательность оценок { = ( …. )} называется состоятельной, если для любого >0 P{= ( …. )-()>}0 (n).

Пример. Из закона больших чисел Чебышева для независимых одинаково распределенных случайных величин вытекает, что выборочное среднее = является состоятельной оценкой математического ожидания.

Вопрос 50.1. Задача проверки статистических гипотез. Основная и альтернативная, простая и сложная гипотезы. Статистические критерии. Ошибки 1-ого и 2-ого родов при проверки гипотез. Функция мощности критерия. Наиболее мощный и равномерно наиболее мощный критерии. Лемма Неймана-Пирсона

Опр. Статистической гипотезой называется любое предположение относительно функции распределения наблюдаемых случайных величин.

Опр. Если для исследуемого процесса сформулирована статистическая гипотеза Н, то задача состоит в том чтобы сформулировать правило, которое бы позволило по результатам наблюдений принять или отклонить эту гипотезу.

Утверждение. Н₀ : , называется нулевой гипотезой, а утверждение Н_1: - альтернативной гипотезой или (коротко) альтернативой. Гипотеза Н_i называется простой если соответствующая состоит из одной точки параметрического пространства ; В противном случае H_i называется сложной гипотезой; i=0,1.

Правило по которому принимается или отвергается нулевая гипотеза Н₀ называется критерием. Иногда добавляется – критерий согласия (с нулевой гипотезой), особенно, когда альтернатива Н_1­ определена не совсем четко, и под Н₁ подразумевается «все остальное». В случае полного равноправия гипотез говорят о критерии различения гипотез. Критерий определяется заданием особого подмножества S выборочного пространства , которое называется критической областью: если выборочные данные x⁽ⁿ⁾ попадает в эту область, то нулевая гипотеза Н₀ отклоняется и принимается альтернативное решение – справедливо Н₁. Область А= S^e=Xⁿ/S называется областью принятия нулевой гипотезы. Нам будет удобно проводить спецификацию критической области в виде ее индикаторной функции которая называется критической функцией или, поскольку она определяет статистическое правило проверки гипотезы, просто критерием. Итак, функция есть бинарная случайная величина, принимающая значение 1, если произошло событие и значение 0, если произошло противоположное событие . Понятно, что математическое ожидание означает вероятность отклонения гипотезы Н₀.

В рассматриваемой статистической проблеме величина риска, связанная с отклонением верной гипотезой, обычно соотносится с функцией потерь типа 1-0: Потери считаются равными 1, если принята гипотеза H_i, а в действительности i=0,1; Если же принято H_i и i=0,1, то потери полагаются равными 0. Легко видеть, что величина риска при любом значении параметра может быть определена с помощью функции , которая называется функцией мощности критерия . Эта функция указывает, как часто мы отклоняем нулевую гипотезу, когда истинное значение параметра, и хорошим следует считать тот критерий у которого функция принимает близкие к 0 значения в области и близкие к 1 в области . В связи с этим вводятся две компоненты функции риска: при и при . Функция называется вероятностью ошибки первого рода – она указывает относительную частоту отклонения гипотезы Н₀, когда она в действительности верна ( ). Функция называется вероятностью ошибки второго рода – она указывает относительную частоту принятия гипотезы Н₀, когда она ложна (верна альтернативная гипотеза Н₁: ). Заметим, что функция мощности в области трактуется как вероятность отклонения гипотезы Н₀, когда в действительности выбор идет из распределения с альтернативным значением и поэтому часть при называется мощностью критерия

Опр. Вероятность ошибки первого рода называется уровнем значимости данного критерия.

Опр. Критерий обладающий наименьшей вероятностью ошибки второго рода, при заданном уровне ошибки первого рода, называется наиболее мощным критерием.

Опр. Равномерно наиболее мощным критерием называется такой критерий уровня , который равномерно по всем максимизирует мощность или, что тоже, равномерно по всем минимизирует вероятность ошибки второго рода .