Случайные величины и статистики

Небольшое отличие в терминологии математической статистики и теории вероятностей заключается в том, что в математической статистике часто термином случайная величина, случайный вектор называют семейство случайных величин или векторов, т.е., например, измеримое отображение

может зависеть от того, какая вероятностная мера из семейства задана на пространстве . Если семейство параметрическое, то часто указывают зависимость случайной величины или вектора от

Для обозначения случайной величины, вектора или отображения в некоторой другое измеримое пространство не зависящей (зависящего) от семейства в математической статистике используют термин статистика, т.е. используют следующее определение.

Определение.

Статистикой называется измеримое отображение измеримого пространства статистической модели в некоторое другое измеримое пространство одинаковое для всех из семейства .

Пример

В предыдущем примере является статистикой, а величина

не является статистикой.

Иначе говоря, статистику можно вычислить, зная только статистические данные. Таким образом, статистика представляет собой функцию от статистических данных или, что то же самое, некоторый метод обработки этих данных.

Пример. Если статистические данные представляют собой вектор с действительными компонентами, то функция равная среднему арифметическому этих компонент является статистикой и задает метод обработки данных, который можно назвать «вычисление среднего».

Достаточные статистики

Если статистическая модель для статистических данных построена или выбрана, то возникает возможность выявления статистик, которые содержат в себе такую же информацию о неизвестной мере , как и исходные статистические данные. Выявление этих т.н. достаточных статистик часто позволяет упростить анализ статистической модели, преобразовать исходные данные и сократить объем информации, необходимой для анализа.

Определение

Статистика называется достаточной статистикой для семейства , если для любого условная вероятность

одинакова для всех из семейства .

Тривиальным примером достаточной статистики являются исходные статистические данные . Нетривиальные примеры позволяет получить следующая теорема.

Критерий факторизации.

Теорема.

Для того чтобы статистика являлась достаточной статистикой для семейства , необходимо и достаточно, чтобы существовали измеримые по первой координате, неотрицательные функции и такие, что почти наверное

,

где функция зависит, а функция не зависит от .

Выборка и эмпирическая мера

Содержательные выводы о семействе по статистическим данным можно сделать, только если данные содержат в себе достаточно информации о . Идея последовательного накопления данных о приводит к понятию выборки.

Пусть - измеримое пространство, - некоторое семейство вероятностных мер на .

Рассмотрим - кратное произведение измеримых пространств и семейство

вероятностных мер на нем. При фиксированном , с точки зрения теории вероятностей, данная вероятностная модель описывает последовательность независимых одинаковых опытов, каждый из которых представляет собой независимое повторение исходного опыта . С точки зрения математической статистики данная модель описывает ситуацию, когда априорно известно, что исходные данные

представляют собой независимые наблюдения одного и того же случайного объекта с неизвестным распределением . Такие исходные данные называются выборкой (иногда, для определенности, добавляют «из генеральной совокупности с распределением »). Заметим, что в случае получаем исходную статистическую модель. Значение называют размером или объемом выборки. Будем в дальнейшем обозначать пространство выборок _.

Если семейство параметрическое, то будем в дальнейшем обозначать - плотность распределения одного наблюдения, - меру в исходном пространстве относительно которой считается плотность.

Если данные представляют собой выборку, то нетрудно построить разумную оценку неизвестной вероятности .

Определение.

Эмпирической мерой называется случайная величина

Эмпирическая мера обладает следующими свойствами

1. Для любого фиксированного набора данных она является вероятностной мерой по . Действительно, эта мера есть среднее арифметическое вырожденных в точках вероятностных мер.

2. Среднее значение данной меры для любого , вычисленное в предположении, что неизвестная мера равна , равно Это следует из соотношения

3. для любой меры . Это свойство является следствием закона больших чисел в форме Хинчина.

Со статистической точки зрения свойство 2) означает, что эмпирическая мера оценивает неизвестную меру в среднем точно, а свойство 3) – что точность оценки с увеличением размера выборки возрастает.

Свойство 2) называют несмещенностью, а 3) – состоятельностью оценки

«Идея подстановки».

Если - некоторая характеристика распределения данных, например, математическое ожидание некоторой функции от данных, то кажется разумным выбрать в качестве оценки для величину (подставить в ). Эта идея реализована в дальнейшем в методе подстановки.