книги / Эконометрика. Начальный курс

Ь являются несмещенными оценками истинных значений а, Ь. Из (2.4а), (2.46), (2.6) получаем:

Е_ ь

2. Вычислим дисперсии оценок а, 6.

111)сдставим 6 в виде (ср. (2.6))

Легко проверить, что ид удовлетворяют следующим условиям:

1)wt = О,

2) £ > * . = £ и * Х * = 1,

3)=1/Е 1?>

Упражнение. Используя (2.9), (2.12) и аналогичные вычисле­ ния, покажите, что

3. Покажем, что МНК-оценки являются «наилучшими» (в смысле наименьшей дисперсии) в классе всех линейных несме­ щенных оценок.

Пусть Ь — CtYt — любая другая несмещенная оценка. Пред­ ставим Q в виде Ct — wt + dt, тогда

Е(Ь —Ь) = 0 = E ( £ d tyt) = £ > ( а + bXt)

для всех а, Ь. Отсюда

£ < 4 = 0; £<4Х < = £< 4х< = 0,

V(S) = v ( £ c ,y < ) = <J 2£ < ? = «2 £ ( « * + <4)2

силу определения wt (2.9) и того, что ^ZdtXt = 0.)

Аналогичные вычисления показывают, что V(a) > V(a); мы оставим доказательство этого факта в качестве упражнения. Ни­ же (в главе 3) мы докажем теорему Гаусса-Маркова в общем слу­ чае.

Упражнение. Покажите, что V(a) ^ V(a).

Оценка дисперсии ошибок а2

Итак, теперь у нас есть «наилучшие» (в смысле теоремы ГауссаМаркова) оценки коэффициентов регрессии а, Ь. Однако в регрес­ сионном уравнении есть еще один параметр — дисперсия оши­ бок а 1.

Обозначим через Yt = а + bXt прогноз {fitted value) значения Yt в точке XtОстатки регрессии е* определяются из уравнения

Yt = Yt + et = в + bXt + et. He следует путать остатки регрессии с ошибками регрессии в уравнении модели Yt = а+Ь.Х*+е*. Остатки et, так же как и ошибки е(> являются случайными величинами, однако разница состоит в том, что остатки, в отличие от ошибок, наблюдаемы.

Кажется вполне естественной гипотеза, что оценка о2 связана с суммой квадратов остатков регрессии et = Yt —a — bXt. В самом деле,

является несмещенной оценкой дисперсии ошибок а2.

Формулы (2.11), (2.13) дают дисперсии оценок а, Ь коэффи­ циентов регрессии в том случае, если а2 известно. На практике, как правило, дисперсия ошибок а2 неизвестна и оценивается по наблюдениям одновременно с коэффициентами регрессии а, 6. В этом случае вместо дисперсий оценок а, Ь мы можем получить лишь оценки дисперсий а, Ь, заменив а2 на s2 из (2.15) в (2.11),

Стандартные отклонения оценок коэффициентов регрессии,

которые приводятся в результатах регрессии в статистических па- /Г"ГГ

кетах, вычисляются на основе этих формул (s^ = у V(b)).

Замечание. Предположим, что мы изучаем зависимость У от X и число наблюдений п задано, но мы можем выбирать набор (Х\,Х2 , ... , Х п). Как выбрать Xt так, чтобы точность оценки уг­ лового коэффициента Ь была наибольшей? Дисперсия оценки Ь задается формулой (2.16), откуда видно, что чем больше 53ж?» тем меньше дисперсия V(6). Поэтому желательно выбирать Xt таким образом, чтобы их разброс вокруг среднего значения был большим.

Замечание. Из формулы (2.14) для ковариации оценок свобод­ ного члена а и углового коэффициента Ьследует, что Cov(a, Ь) < О, если X > 0. Это соответствует геометрической интуиции (рис. 2.4). В самом деле, график уравнения регрессии У = а + ЬХ в силу (2.5) проходит через точку с координатами (X, У), поэтому

пости на поведение Xt при росте п оценки а, Ь имеют асимптоти­ чески нормальное распределение, т.е. (2.17) выполняется асимп­ тотически при п —»оо.

Р асп р ед ел ен и е о ц ен ки ди сп ерси и ош и б ок s~

Покажем, что в случае нормальной линейной регрессионной мо­ дели, т. е. когда е — многомерная нормально распределенная слу­ чайная величина, выполняется

(n - 2)s2

~ Х2(п “ 2).

Используя представление Ь в виде (2.9), получаем

Подставив (2.18) в уравнение регрессии Y — а + ЬХ, получим следующую формулу для остатков регрессии:

el = Yt - Y t = Yt - a - b X t = a + b X t + £ t - [ У - Ь Х ) - bXL

Далее воспользуемся свойством N8 (приложение МС, п.4). Проверим, что матрица А = I —£ « ' —x tw ' из (2.20) является идемпотентной: А ' — А , так как (г*')' = г"г' — гг', и

так как г'г = п, г'х* = ги'г = 0 (см. (2.10)).

По условиям классической нормальной регрессионной модели

Независимость s2 и МНК-оценок а, 6

Так как оценка дисперсии ошибок а2 является функцией от остат­ ков регрессии е(, то для того чтобы доказать независимость а2 и (а,о), достаточно доказать независимость е* и (а,6). Оценки а, 6 гак же, как и остатки регрессии et, являются линейными функ­ циями ошибок et (см. (2.4а), (2.46), (2.20)) и поэтому имеют сов­ местное нормальное распределение. Известно (приложение МС, п. 4, N4), что два случайных вектора, имеющие совместное нор­ мальное распределение, независимы тогда и только тогда, когда они пекоррели|юваны. Таким образом, чтобы доказать независи­ мость а2 и (в, 6), нам достаточно доказать некоррелированность et и (а,Ь).

Обозначим £ = 531vt£u тогда из (2.19) et = ег —I - х(£, а из (2.18) следует, что 6 = 6 + £.

Cov(et,6) = Cov(et - е - Ь + £) = E(et£ - ?£ - xt£2)

= a 2(y;t - i ^ u » e -

Таким образом, е( и 6 независимы при всех t, что и требовалось показать.

Упражнение. Используя аналогичные выкладки, показать неза­ висимость et и а.

Проверка гипотезы 6 = 6о

т. e. по определению статистики Стыодента (приложение МС, п. 3)

s b

Упражнение. Используя аналогичные выкладки, покажите, что

t = ~ t(n - 2). (2.24)

Итак, мы показали, что в случае нормально распределенных ошибок величина (2.23) распределена по закону Стыодента. За­ метим, что при определенных условиях регулярности на соот­ ношения (2.23) и (2.24) справедливы асимптотически и без пред­ положения о нормальности ошибок регрессии.

Статистику (2.23) можно использовать для проверки гипотезы

Зададимся, например, 2.5%-ной точкой t-распределения с (п —2) степенями свободы to.025 (ПРИ 40 степенях свободы to.o25 = 2.021), т. е.

Р{—1().025 < t < to.025} = 0.95.

Мы отвергаем гипотезу Но (и принимаем Ht) на 5%-ном уровне значимости, если |t| > to025 («редкое» событие с точки зрения гипотезы Но), в противном случае мы не можем отвергнуть Но (и принимаем Но)

При тестировании нулевой гипотезы Но: b = 6о против дву­ сторонней альтернативной гипотезы Нг: b ф Ьо на доверительном уровне а нулевая гипотеза отвергается при |t| > ta/2(n —2). Со­ ответственно, при тестировании гипотезы Но против односторон­ ней альтернативы Hj: b > &о, нулевая гипотеза отвергается при t > ta(n — 2). (Здесь ta(n) означает 100а%-ную точку распределе­ ния Стыодеита с п степенями свободы.)

Разрешив неравенство в Р{|(6 —b)/s^| < to.025} = 0-95 относи­ тельно Ь, получим

Р{6 —too25Sj; <Ь < Ь + to.o25S$} = 0.95,

у**.

т. е. [6 - to.025Sj, b + to.025^ц] — 95%-иый доверительный интер­ вал для 5. Доверительный интервал накрывает истинное значе­ ние параметра 6 с заданной вероятностью (в данном случае 95%). Соответственно, двусторонний 100(1 - а)%-ный доверительный интервал для параметра Ъимеет следующий вид:

ми компьютерными пакетами в результатах регрессии. Значение |t| > to.025 (to 025 ~ 2 для больших п) позволяет сделать вывод об отличии от нуля (на соответствующем уровне значимости) коэф­ фициента регрессии и, следовательно, о наличии влияния (связи) X на Y. Малые значения t-статистики соответствуют отсутствию достоверной статистической связи объясняющей переменной X и зависимой переменной Y.

Компьютерные пакеты приводят также двусторонние Р-значе- ния t-статистики, т.е. вероятность того, что случайная величина,