4.3 Ошибки I и II рода, степени свободы критическое значение, доверительный интервал. Т-тест для коэффициентов регрессии

Можно задаться вопросом: почему исследователи обычно представляют свои результаты при уровнях значимости в 5 и 1%? Почему недостаточно ограничиться только одним уровнем? Причина заключается в том, что обычно делается попытка найти баланс между риском допущения ошибок I и II рода.

Ошибка 1 рода - ситуация, когда оценка параметра не попала в область принятия нулевой гипотезы, нулевая гипотеза была отвергнута, а она была истинной.

Ошибка II рода - ситуация, когда не отвергнута ложная гипотеза.

Ошибки 1 и II рода в повседневной жизни

Проблема, как избежать ошибок 1 и II рода, известна всем. Типичным примером этого является расследование уголовного преступления. Если за нулевую гипотезу принять вариант, что подсудимый невиновен, то ошибка 1 рода происходит, когда суд присяжных признает его виновным. Ошибка II рода имеет место в том случае, когда суд присяжных ошибочно оправдывает виновного подсудимого.

Вполне очевидно, что чем ниже критическая вероятность, тем меньше риск получения ошибок 1 рода. Если вы используете уровень значимости, равный 5%, то вы отвергнете истинную гипотезу в 5% случаев. Если уровень значимости составляет 1%, вы совершите ошибку I рода в 1% случаев. Таким образом, в этом отношении однопроцентный уровень значимости более надежен. Если вы отвергли гипотезу на данном уровне, вы почти наверняка были вправе сделать это. Именно по этой причине однопроцентный уровень значимости описывается как "более высокий" в сравнении с 5%-ным уровнем.

В то же время если нулевая гипотеза ложна, то чем выше уровень значимости, тем шире область принятия гипотезы, тем выше вероятность того, что вы не отвергнете ее, и тем выше риск допущения ошибки II рода. Таким образом, вы оказываетесь перед дилеммой. Если вы будете стаивать на очень высоком уровне значимости, то столкнетесь с относительно высоким риском допущения ошибки II рода, когда гипотеза окажется ложной. Если вы выбираете низкий уровень значимости, то оказываетесь перед относительно высоким риском допущения ошибки I рода, если гипотеза истинна.

Один из способов сопоставления ущерба от ошибок разного рода извести функцию цены ошибки. Цена ошибки - численное выражение ущерба от ошибки, величина "штрафа" за ошибку. Функция цены - функция, где аргументом является род ошибки, а значением функции цена ошибки.

Большинство людей выбирают достаточно простую форму обеспечения гарантий и осуществляют проверку на обоих уровнях значимости, представляя результаты каждой такой проверки. На самом деле часто нет необходимости непосредственно ссылаться на оба результата. Так как величина должна быть более "экстремальной" для гипотезы, отвергаемой при 1%-ном уровне значимости, но не при 5%-м, и если вы отклоняете ее при однопроцентном уровне, то из этого автоматически следует, что вы отклоните ее, а при уровне значимости в 5%, и нет необходимости упоминать об этом. Если же вы не отвергаете гипотезу при уровне значимости в 5%, то из этого автоматически следует, что вы не отвергнете ее и при однопроцентном уровне значимости, и вновь нет смысла об этом говорить. Только в одном случае вы должны представить оба результата: если гипотеза отвергается на 5%-ном, но не на 1%-ном уровне значимости.

До сих пор мы считали, что стандартное отклонение величины известно. Однако на практике это допущение нереально. Это можно показать на примере стандартной ошибки для величины , взятой из уравнения (3.31). Это приводит к двум изменениям процедуры проверки гипотез. Во-первых, величина определяется на основе использования стандартной ошибки вместо стандартного отклонения . Для испытания нулевой гипотезы с помощью теста Стьюдента надо составить t-статистику:

(4.8)

t -тест (тест Стьюдента) - проверка гипотезы о значении коэффициента с помощью распределения Стьюдента. Чаще всего проверяют значимость коэффициента - гипотезу .

Во-вторых, критические уровни t определяются величиной, имеющей так называемое t-распределение вместо нормального распределения. Мы не будем вдаваться в причины этого или даже описывать t-распределение математически. Достаточно будет сказать, что оно родственно нормальному распределению, а его точная форма зависит от числа степеней свободы в регрессии, и оно все лучше аппроксимируется нормальным распределением по мере увеличения числа степеней свободы.

Оценивание каждого параметра в уравнении регрессии поглощает одну степень свободы в выборке. (Число степеней свободы - натуральное число, характеристика таких законов распределения, как распределение Стьюдента, распределение Фишера и некоторых других.) Отсюда число степеней свободы для t-статистики равно числу наблюдений в выборке минус количество оцениваемых коэффициентов. Для парной регрессии, при которой оцениваются два параметра, число степеней свободы равно .

Критическое значение теста при р-процентном уровне значимости - граничное значение области принятия гипотезы, проверяемой тестом, ср-процентной вероятностью совершить ошибку I рода. При попадании оценки в критическое значение сохраняется неопределенность в отношении гипотезы.

Если в тесте Стьюдента значение t-статистики попало между критическими значениями распределения Стьюдента, соответствующими уровню значимости р%, то мы не отвергаем нулевую гипотезу. В противном случае нулевая гипотеза отвергается с вероятностью допущения ошибки I рода в р%.

Критическое значение , которое мы обозначим как , заменит число 1,96 в уравнении (3.39). Таким образом, условие того, что оценка регрессии не должна приводить к отказу от нулевой гипотезы , будет следующим:

. (4.9)

Рассмотрим примеры:

В разделе 2.3 функция расходов на питание оценивалась как зависимость от личного располагаемого дохода на основании совокупных ежегодных данных для США за 25-летний срок (1959-1983 гг.) и уравнение регрессии было представлено формулой (2.22)

Цифры, указанные в скобках, являются стандартными ошибками.

Предположим, что одна из задач оценивания регрессии состояла Подтверждении догадки о том, что уровень расходов на питание зависит от размера дохода. Соответственно, мы формулируем нулевую гипотезу о том, что величина равняется нулю, и затем пытаемся опровергнуть ее. Соответствующая t-статистика, вычисленная по формуле (4.8), есть оценка коэффициента, деленная на ее стандартную ошибку:

(4.10)

Так как в выборку включено 25 наблюдений и мы оценили два параметра, то число степеней свободы составляет 23. Критическое значение для при 5%-ном уровне значимости с 23 степенями свободы равняется 2,069. Причем t-статистика не лежит между значениями 2,069 —2,069. Следовательно, неравенство (4.9) не выполняется и мы отвергаем нулевую гипотезу, сделав вывод о том, что величина в действительности отличается от нуля и, следовательно, размер дохода влияет на уровень расходов на питание.

Если этот критерий описать словами, то верхний и нижний 2,5%-е "хвосты" t -распределения начинаются со стандартного отклонения 2,069 вверх и вниз от его математического ожидания, равного нулю. Коэффициент регрессии, который по оценкам находится в пределах 2,069 стандартного отклонения от гипотетического значения, не приводит к отказу от последнего. В рассматриваемом случае расхождение будет эквивалентно 31,0 стандартного отклонения, и мы приходим к выводу о том, что результат оценивания регрессии противоречит нулевой гипотезе.

Конечно, в том, что мы используем уровень значимости в 5% в качестве основы для проверки гипотезы, существует 5%-ный риск допущения ошибки I рода. В этом случае мы могли бы снизить риск до 1% за счет применения уровня значимости в 1%. Критическое значение для при однопроцентном уровне значимости с 23 степенями свободы составляет 2,807. Используя это число в соотношении (4.9), мы видим, что можно легко отказаться от нулевой гипотезы также и при этом уровне значимости.

Процедура установления взаимосвязи между зависимой и объясняющей переменными путем формулирования, а затем отклонения нулевой гипотезы о том, что , используется очень часто.

Соответственно, большая часть, если не все программы регрессии, автоматически выводят t-статистику для этого специального случая; иными словами, коэффициент делится на его стандартную ошибку. Данное отношение часто обозначается как "t-статистика".

Если, однако, нулевая гипотеза определяет некоторое ненулевое значение величины , то необходимо использовать более общее выражение, (3.43), а t-статистика вычисляется вручную. Например, вновь рассмотрим модель регрессии между общей инфляцией и инфляцией, вызванной ростом заработной платы (3.34), и предположим, что выбранное уравнение регрессии оказалось следующим (в скобках указаны стандартные ошибки):

. (4.11)

Если теперь исследовать гипотезу о том, что общая инфляция в долгосрочном периоде будет равна инфляции, вызванной ростом заработной платы, то нулевая гипотеза будет состоять в том, что коэффициент при равен 1,0. Соответствующая t-статистика примет вид

.

Если в выборке содержится, скажем, 20 наблюдений, то число степеней свободы составит 18, а критическое значение для t при 5%-ном уровне значимости будет 2,101. В этом случае t-статистика лежит между 2,101 и -2,101, поэтому мы не отвергаем нулевую гипотезу. Оценка, равная 0,82, лежит ниже нашего гипотетического значения 1,00, но не настолько ниже, чтобы исключить возможность правильности нулевой гипотезы.

До сих пор мы предполагали, что гипотеза предшествует эмпирическим исследованиям. Однако это необязательно. Очень часто гипотеза и эксперимент взаимодействуют, в этом отношении типичным примером является регрессия расходов на питание. Вначале мы оцениваем регрессию, потому что в соответствии с экономической теорией ожидаем, что размер дохода влияет на уровень расходов на питание. Результат оценивания регрессии подтвердил это интуитивное ожидание в том смысле, что мы отвергли нулевую гипотезу . Но после этого возникло ощущение некоторой пустоты, поскольку на основе I гипотезы нельзя выдвинуть предположения о том, что значение равняется некоторому конкретному числу. Теперь, однако, мы можем двинуться в противоположном направлении и задаться вопросом о том, какие гипотезы совместимы с результатом оценивания регрессии.

Вполне очевидно, что гипотеза о том, что =0,093, будет совместимой, так как гипотеза и результаты эксперимента совпадают. Кроме того, совместимыми будут и гипотезы о том, что =0,09229 и =0,09301, так как разница между гипотезой и результатом эксперимента будет небольшой. Вопрос в том, насколько сильно гипотетическое значение может отличаться от результата эксперимента, прежде чем они станут несовместимыми, и мы должны будем отклонить нулевую гипотезу.

Можно ответить на этот вопрос, используя предшествующие Суждения. Из уравнения (4.9) видно, что коэффициент регрессии и гипотетическое значение будут несовместимыми, если выполняются условия:

или . (4.12)

т.е. если

или . (4.14)

Отсюда следует, что гипотетическое значение является совместимым с результатом оценивания регрессии, если одновременно выполнены условия:

или (4.15)

т. е. если величина Р удовлетворяет двойному неравенству:

. (4.16)

Любое гипотетическое значение , которое удовлетворяет соотношению (4.16), будет автоматически совместимо с оценкой , иными словами, не будет опровергаться ею. Множество всех этих значений, определенных как интервал между нижней и верхней границами неравенства, известно как доверительный интервал для величины .

Отметим, что посредине доверительного интервала лежит сама величина . Границы интервала одинаково отстоят от . Отметим также, что, так как значение зависит от выбора уровня значимости, границы будут также зависеть от этого выбора. Если принимается 5%-ный уровень значимости, то соответствующим доверительным интервалом считается 95%-ный интервал. Если выбирается однопроцентный уровень, то получают доверительный интервал в 99% и т.д.

Таким образом, можно определить доверительный интервал как интервал с центром в полученной оценке параметра, который содержит истинное значение параметра с доверительной вероятностью.