Тема19. Элементы теории оценок и проверки гипотез

1. Оценки параметров распределения

- Понятие оценки параметров

Пусть рассматривается случайная величина с некоторым законом распределения. По виду статистического распределения (таблицы распределения) можно строить гипотезы об истинном характере распределения величины. Например, построив гистограмму, естественно предположить, что распределение величиныподчиняется определённому (нормальному или равномерному и т.д.) закону.

На практике, в целом, редко встречается такое положение, когда изучаемый закон распределения неизвестен полностью. Чаще всего дело обстоит следующим образом, что вид закона распределения заранее (из каких-либо теоретических соображений) известен. Требуется найти лишь некоторые параметры, от которых закон зависит. Например, если распределение происходит по закону Пуассона

,

то следует определить параметр , а если по нормальному закону, то нужно определить параметрыи. Впрочем, в некоторых задачах и сам вид закона распределения несущественен, а требуется только его числовые характеристики. Во всех подобных случаях можно обойтись сравнительно небольшим числом - порядка одного или нескольких десятков наблюдений.

Предположим, что изучается случайная величина с некоторым законом распределения, зависящим от одного или нескольких параметров.

Напомним, что случайные величины, полученные в результатеопытов (наблюдений), при этом:результат первого наблюдения, результат второго наблюдения и т.д., при этом каждая с.в. имеет такое же распределение как:

конкретная выборка это значения (реализация) независимых случайных величин

.

Статистической оценкой(далее просто оценкой - оценкой) параметратеоретического распределения называющего приближённое значение, зависящее от данных (свойства) выборки.

Для того чтобы статистические оценки давали «хоро­шие» приближения оцениваемых параметров, они должны удовлетворять определенным требованиям.

- Требования, предъявляемые к оценкам параметров.

Предположим, что закон распределения с.в.содержит некоторый параметр. Численное значение этого параметра не указано (хотя оно должно быть определённым числом). В связи с этим возникает задача: исходя из набора значений величины, полученного в результатенезависимых опытов, оценить значение параметра.

Любая оценка для - обозначим её буквой- является значением некоторой функции результатов наблюдений над случайной величиной, т.е.

(1) .

Тем самым будет случайной величиной (принимающей свои значения в результатеопытов над). Её закон распределения будет зависеть от закона распределения с.в., которому подчинена каждая из величин, а следовательно величин и от проводимого количества опытов.

Естественно, к оценке величины предъявить ряд требований, которым она должна удовлетворять, чтобы быть «близкой» к истинному значению параметра, быть в каком-то смысле «доброкачественной, надёжной» оценкой. Попробуем сформулировать некоторые из этих требования:

1. Желательно, чтобы, при использовании величиной вместо, не происходили систематические ошибки ни в одну сторону (ни в сторону занижения, ни в сторону завышения), т.е. чтобы было

(16)

Оценка, удовлетворяющая условию (16) называется «несмещённой». Требование наличие несмещённой оценки особенно важно при «малом» числе испытаний (опытов).

Другими словами несмещённой называют статистическую оценку , математическое ожидание которой равно оцениваемому параметру при любом объёме выборки.

В случаях, когда , то оценканазывается «асимптотически несмещённой».

Смещённой называют оценку, математическое ожидание которой не равно оцениваемому параметру.

2. Желательно, чтобы с увеличением числа опытов , значения случайной величиныконцентрировались около величинывсе более тесно, т.е. чтобы выполнялось предел

(17)

когда .

Другими словами, оценкапараметра, называют «состоятельной», если она сходится по вероятности к оцениваемому параметру :

т.е. для любого выполняется предельное равенство:

(18)

Равенство (18) означает, что с увеличением объёма выборки мы всё ближе приближаемся к истинному значению параметра ; т.е. практически верно приближённое равенство.

Теорема 19.1. Если оценка параметраявляется несмещённой и выполняется равенство, то являетсясостоятельной оценкой, т.е. справедливо равенство

Доказательство. На основании неравенство Чебышева для с.в.для любогоимеем

Поскольку, по условию (17) тоНо вероятность любого события не превосходит единицы и, следовательно, выполняется предельное равенство (18), т.е. состоятельность оценкик параметру доказана.

Замечание. Свойство состоятельности обязательно для любого правила оценки (несостоятельные оценки не используются).

Однако было бы ошибочным считать, что несмещенная оценка всегда дает хорошее приближение оцениваемого параметра. Действительно, возможные значения могут быть сильно рассеяны вокруг своего среднего значения, т. е. дисперсияможет быть значительной. В этом случае, найденная по данным одной выборки оценка, на­пример , может оказаться весьма удаленной от сред­него значения, а значит, и от самого оцениваемого параметра; принявв качестве приближенного значения, мы допустили бы большую ошибку. Если же потребо­вать, чтобы дисперсиябыла малой, то возможность до­пустить большую ошибку будет исключена. По этой при­чине к статистической оценке предъявляется требование «эффективности».

Несмещённая оценка параметраназываетсяэффективной, если она среди всех возможных несмещённых оценок параметра, имеет наименьшую дисперсию, т.е. оценкаэффективна, если ее дисперсияминимальна.

Эффективную оценку в ряде случаев можно вычислять, на основании формулы (неравенство) Рао – Крамера:

где информация Фишера, определяемая формулами:

в дискретном случае, где , а в непрерывном случае

где плотность распределения непрерывной случайной величины

Эффективность оценки определяется равенством (формулой):

,

где эффективная оценка, а. Чем ближек единице, тем эффективнее оценка. Еслиприто оценка называетсяасимптотически эффективной.

Следует отметить, что на практике не всегда удаётся удовлетворить всем перечисленным выше требованиям (несмещённость, состоятельность, эффективность), и поэтому приходится ограничиться (довольствоваться) оценками, не обладающими сразу всеми тремя свойствами. Тем не менее, выполнение всех трёх свойств, как правило, обеспечивает однозначность оценки.

- Точечные оценки математического ожидания и дисперсии, оценки параметров

нормального распределения

Предположим, что заранее известен вид теоретического распределения интересующего нас признака , но параметры этого распределения не известны и должны быть найдены по данным выборки. Например, если известно, что интересующая нас величина распределена по нормальному закону, то нужно определить математическое ожидание и среднеквадратическое отклонение (или дисперсии). Другими словами неизвестными параметрами являются: м.о.и дисперсияТребуется их найти. Поскольку в качестве оценки обычно ищут количество точек характеризующих искомое число (точку на координатной оси), то такие оценки называютточечными.

Статистика (число), используемая в качестве приближённого значения неизвестного параметра генеральной совокупности, называется её точечной оценкой. Другими словами, точечная оценка характеристики генеральной совокупности – это число, определяемое по выборке, т.е. точечная оценка, определяетсяодним числом (например, в качестве точечной оценки неизвестной вероятностив случае биномиального распределения берутотносительную частоту).

Пусть выборка, полученная в результате проведениянезависимых наблюдений за с.в..

Чтобы подчеркнуть то, что величины носят случайный характер перепишем их в виде последовательности случайных величин, т.е. подбудем подразумевать значение с.в.вм опыте. Случайные величиныможно рассматривать какнезависимых «экземпляров» величины. Поэтому имеем:и

=Имеет место утверждение

Теорема 19.2. Пусть выборка из генеральной совокупности и. Тогда выборочное среднее

есть несмещённая и состоятельная оценка математического ожидания .

Доказательство.Найдём математическое ожидание величины. На основании свойства м.о. имеем:

Отсюда по определению (16) получаем, что есть несмещённая оценка

Далее, согласно теореме Чебышева для любого имеет место равенство

(19)

Согласно условиям теоремы, равенство (19) можно переписать в следующем виде:

(20)

или, именно выполняется равенство (18) Тем самым, согласно определению получаем, чтоесть состоятельная оценка

В статистике оценку математического ожидания принято обозначать: или.

На практике во всех случаях в качестве оценки математического ожидания используется среднее арифметическое, если она неизвестно.

Теперь покажем, что при нормальном распределении именно оценка будет эффективной.

Теорема 19.3. Пусть с.в. выборка из генеральной совокупности и, её выборочная дисперсия. Тогда справедливо равенство

(21) .

Доказательство. Покажем, что имеет место равенство (по поводу обозначений выборочных параметров см. равенства (7)-(11) в пункте 18.6.). На основании свойства м.о. и определения.

,

вычислим величину , имеем

(22)

=

Далее, используем известное равенство

(23) ,

где во втором слагаемом суммирование ведётся по , а количество слагаемых равняется числу. Согласно (22) и (23) после стандартных упрощений получим

.

.

Отсюда, согласно условиям теоремы получим

=.

Утверждение доказано. Из равенства (21) следует, что , т.е.выборочная дисперсия является смещённой оценкой дисперсии .Поэтому выборочную дисперсию,поправляют, путём умножения на число. Тогда получается формула

. см. 18.6, равенство (13). Имеет место следствие.

Следствие.В условиях теорем 19.2 и 19.3.справедливо равенство

Действительно,

(24)

Отсюда согласно определению получаем, что является несмещённой оценкой величины

Задание. Докажитесостоятельностьоценки.

Следует отметить, что при больших значениях разница междуиочень мала и они практически равны, поэтому выборочную оценкуприменяют при оценки дисперсии при малых (небольших) выборках, обычно при

Ниже сформулируем без доказательства два утверждения о состоятельности некоторых оценок.

Утверждения. 1. Относительная частотапоявления событиявнезависимых испытаниях являетсянесмещённой состоятельной и эффективной оценкой неизвестной вероятностислучайного события.

Это утверждение является непосредственным следствием ЗБЧ Бернулли.

2. Эмпирическая функция выборкиявляется несмещённой состоятельной оценкой функции распределенияслучайной величины.

Пример 9. Пусть проводится повторное независимое испытаниераз (например, подбрасывание монеты) по схеме Бернулли. Вероятность наступления событие(например, выпадения герба при каждом подбрасывание) равна. В ходе опыта было обнаружено, что событие(выпадение герба) наступилораз прииспытаниях. Показать несмещённость и состоятельность оценкивероятностинаступления событие(выпадение герба) в каждом опыте.

Решение. Число «успехов»имеет распределение Бернулли. Тогда для построения точечной оценки рассмотрим случайную величину

,

являющейся суммой индикаторов испытаний. Тогда математическое ожидание и дисперсия этого распределения (см. теорему Бернулли) имеют вид при этом. Следовательно,

,

т.е. есть несмещённая оценка. Далее проверим эту оценку на состоятельность:

На основании свойства м.о. и теоремы Чебышева, согласно которой среднее арифметическое системы случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий, т.е.

В следующем пункте рассмотрим наиболее распространённые методы получения точечных оценок параметров распределения.