книги / Эконометрика. Начальный курс

(здесь мы использовали симметричность матрицы Х ' Х и свой­ ство матрицы ковариаций (МС.9)).

3. Используя полученное выше равенство С Х = 0, получаем

Ь - Р = (А + С ) у - р = (А + С ) Х 0 + {А + С ) е - 0

= А Х р - 0 + C X 0 + (А + С)е = (А + С)е,

т. к. С Х = 0 и А Х = I. Вычислим теперь матрицу ковариаций вектора 6 :

V(6 ) = Е ((6 - 0)(Ь - 0У) = Е(( А + С )ее’(А + С)')

= {А + С)а2Ц А + С)' = а2{А А ' + С А! + А С ' + С С )

=<т2( ( Х ' Х ) - 1Х ’Х ( Х ' Х ) - 1 + С Х (Х 'Х )" 1

+( Х 'Х ^ Х 'С ' + С С ) = ^ ( Х 'Х )" 1 + а2С С .

Отсюда следует утверждение теоремы. В самом деле, г-й диа­ гональный элемент матрицы V(b) равен дисперсии г-й компо­ ненты вектора коэффициентов V(6j). Поэтому (приложение ЛА, п. 15) из (3.9) следует соответствующее неравенство для диспер­ сий оценок коэффициентов регрессии

V(6i) ^ V(3OLS,»)I

что и требовалось доказать.

3.3.Статистические свойства МНК-оценок

Оценка дисперсии ошибок а2. Распределение s2

Введем некоторые полезные в дальнейшем обозначения. Вектор прогнозных значений

у = Х Ъ = Х { Х ' Х ) - ' Х ' у = N y , N = X (X /X )” 1X /. (3.10) Вектор остатков регрессии

е = у - у = у - Х З = у - Х ( Х ' Х ) - 1Х 'у

=(J - Х (Х 'Х )- 1Х ')у

=( J - N ) y = M y , М = I - N = I - Х ( Х ' Х ) - 1Х' . (3.11)

Непосредственно из определения нетрудно проверить, что мат­ рицы М , N идемпотентны, т. е. симметричны и являются про­ екторами:

В соответствии с геометрической интерпретацией регрессии из (3.10), (3.11) вытекает, что матрица N является матрицей опера­ тора ортогонального проектирования на подпространство тг, по­ рожденное векторами х», а М — матрицей оператора ортогональ­ ного проектирования на л-1 — ортогональное дополнение к под­ пространству я в Д". Поэтому

Вычислим математическое ожидание и матрицу ковариаций вектора остатков е:

Сумма квадратов остатков £ е2 = е'е является естественным кандидатом на оценку дисперсии ошибок <т2 (конечно, с некото­ рым поправочным коэффициентом, зависящим от числа степеней свободы):

Е(е'е) = tr(V(e)) = а2tr(JVf) = <т2 tr(J„ —N ) = (п - к)<т2. (3.17)

При выводе (3.17) мы использовали (3.15), (3.16), свойства сле­ да матрицы (приложение ЛА, п.9), а также соотношение

tr(JV) = tr( X (X 'X ) _1X ')

При выводе последнего равенства используется свойство следа матрицы: tr( А В ) = tr(BA) (приложение ЛА, п.9).

Из (3.17) следует, что

является несмещенной оценкой дисперсии ошибок а2 т. е. Es2 = а2. Так как из (3.14) следует, что

и rank(M ) = ra n k (I-N ) = tr( I —N ) = n —k (ранг идемпотентной матрицы равен ее следу (приложение ЛА, п. 16)), то по лемме (приложение МС, п. 4, N8) распределение

Независимость оценок /3 и s2

В предположении нормальной линейной множественной регресси­ онной модели удается доказать независимость оценок /3 и s2.

В самом деле, из (3.4) получаем

3oLS * { X ' X r ' X ' i X f i + e ) = f l + i X ' X y ' X ' e = 0 + А *. (3.22)

т. к. в силу (3.5) е 'Х = О и ё = е'*/п = 0. Поэтому верно равенство

лежит линейной оболочке векторов Х |,... ,х*. В этом случае R 2 принимает значения из интервала [0 , 1].

Коэффициент R2 показывает качество подгонки регрессион­ ной модели к наблюденным значениям yt.

Если R 2 = 0, то регрессия у на x j , ... , х* не улучшает каче­ ство предсказания yt по сравнению с тривиальным предсказанием

Ш = У-

Другой крайний случай R2 = 1 означает точную подгонку: все в{ = 0 , т. е. все точки наблюдений удовлетворяют уравнению регрессии.

В какой степени допустимо использовать критерий R2 для вы­ бора между несколькими регрессионными уравнениями? Следу­ ющие два замечания побуждают не полагаться только на значе­ ние R2.

1. R2, вообще говоря, возрастает при добавлении еще одного регрессора.

2.R2 изменяется даже при простейшем преобразовании зави­ симой переменной (см. пример в конце раздела, стр. 76), по­ этому сравнивать по значению R2 можно только регрессии с одинаковыми зависимыми переменными.

76 Гл. 3. Модель множественной регрессии

Бели взять число регрессоров равным числу наблюдений, все­ гда можно добиться того, что R2 = 1, но это вовсе не будет озна­ чать наличие содержательной (имеющей экономический смысл) зависимости у от регрессоров.

Попыткой устранить эффект, связанный с ростом R2 при воз­ растании числа регрессоров, является коррекция R2 на число ре­ грессоров. Скорректированным (adjusted) R2 называется

Заметим, что нет никакого существенного оправдания именно такого способа коррекции.

Свойства скорректированного R2:

3.ДЦаj < 1, но может принимать значения < 0.

Вопределенной степени использование скорректированного

коэффициента детерминации более корректно для сравнения регрессий при изменении количества регрессоров.

Например, рассмотрим две модели:

1.у = Х/З + е.

2.z — у — Х\ = Х 'у + е.

Строятся МНК-оценки параметров /3 и 7 обеих моделей. Для первой модели коэффициент детерминации R2 равен

Подсчитаем коэффициент детерминации R2 для второй моде­ ли. Обозначим <5 = (1,0,... ,0)' — вектор-столбец; тогда Х 5 —* 1. Матрица М одна и та же для обеих моделей, так как в них один

итот же набор регрессоров. Остатки во второй модели равны

е= M z = М ( у - XS) = М у - М Х б = М у = е

(мы использовали (3.14)). Таким образом, остатки в обеих моде­ лях совпадают.

(3.29) и (3.30) отличаются только знаменателями у',у„ и z'„z*.

что коэффициенты детерминации, вообще говоря, не совпадают. Оценки коэффициентов двух регрессий связаны естественным со­ отношением:

7 = (Х ' Х ) - хХ ' г = { Х ' Х ) - 1Х '{ у - Х 6 ) = 0 - 6 ,

т.е. фактически обоим уравнениям соответствует одна и та же геометрическая картинка и экономически содержательная ситуа­ ция. Однако коэффициенты R2 не совпадают только потому, что зависимость сформулирована в разных координатах.

Что «лучше*: у или у?

В качестве значений зависимой переменной в момент t мы можем использовать yt или, например, прогноз yt- Матрица ковариаций вектора у по условию модели равна V(y) = а21п. Матрица кова­ риаций вектора прогноза равна

V(y) = V(Ne) = <T2N N ' = a2N .

Таким образом,

V(y) - V(y) = a2{I - N ) = a2M .

Матрица M идемпотентная, поэтому, имея собственные значе­ ния только 0 или 1 (приложение Л А, п. 16), неотрицательно опре­ делена, т. е.

Таким образом, как это ни парадоксально, в качестве значения зависимой переменной зачастую лучше брать предсказанное по модели значение, а не фактически наблюденное. При этом, есте­ ственно, предполагается, что наблюдаемые значения yt действи­ тельно удовлетворяют соотношению у = Х 0 + е , т.е. порождаются рассматриваемой моделью.

3.5. Проверка гипотез. Доверительные интервалы и доверительные области

Проверка гипот езы Но: Д = До. Итак, мы доказали следую­ щие статистические результаты.

1. Вектор оценок /3QLS имеет нормальное распределение со

2. Случайная величина (n —k)—x распределена по закону хи-

G *

квадрат с п - к степенями свободы х 2(п ~ к) (см. (3.21)).

3. Оценки 0 o is и s2 независимы (см. п. 3.3).

Отсюда получаем (см. приложение МС, п. 3):

где Р —п х п матрица, Рц ~ 1/n . Р есть матрица ортогонального проектирования па вектор г = (1,... , 1)' (константа). Поскольку по нашему предположению вектор г принадлежит подпростран­ ству 7Г, то P N = Р . Последовательное ортогональное проекти­ рование вектора у на п и затем на вектор г совпадает с ортого­ нальным проектированием вектора у на вектор * (теорема о трех перпендикулярах).

Замечание, р-гсюда следует, что уг = Р у = P N y = Р у = уг

И у . = у — уг = у — уг = (N —Р )у = (N - Р ) ( Х 0 + е) = Х ./З + (N - Р)е.

Здесь согласно (3.14) N X = X , поэтому (N — Р ) Х = X — Р Х = X ,, где X* есть п х к матрица с нулевым первым столб­ цом. Поэтому при гипотезе Н« имеем Х ,/3 = О и у , = ( N —Р)е. Матрица N — Р является идемпотентной: она, очевидно, симмет­ ричная и (N - Р )2 = N 2- P N - N P + P 2 = N - P - N ' P ' + P =

N —(PN)' = N — P. Ранг идемпотентной матрицы равен ее следу (приложение ЛА, п. 16), поэтому гапк(ЛГ —Р ) = tr(N — Р) = к —1 (см. (3.18)). Таким образом, из леммы (приложение МС, п.4, N8)

• ■• = Зк = 0. А именно, гипотеза Но отвергается, например, на 5%- иом уровне значимости, если Р > Рс. где Рс = Fo.os(k —1,п —к) — 5%-ная точка распределения Фишера F(fc —1,л —к).

Линейное ограничение общего вида Но: Н 0 = г. Пусть

Н — q х к матрица, 0 — к х 1 вектор коэффициентов, г — g х 1 вектор.

Естественно считать, что число ограничений не превосходит числа параметров и ограничения линейно независимы, т. е. q ^ к и матрица Н имеет максимальный ранг: rank(H) = q.