книги / Эконометрика. Начальный курс
.pdf5.3. Доступный обобщенный метод наименьших квадратов |
161 |
где р — неизвестный параметр, который следует оценить. (Конеч но, на практике мы обычно не знаем структуры ft, но отказ от этого предположения выходит за рамки данной книги.)
Итак, предположим, что ft зависит от конечного числа па раметров 0 \, .. . , 0т. Обозначим через в вектор параметров в = (01,..., вту и будем считать, что Р и (а2, в) функционально неза висимы. Этим мы исключаем случаи, когда параметры ковариа ционной матрицы являются функциями от р.
Пусть в — состоятельная оценка параметра в. Обозначим ft = ft(0). Тогда оценкой доступного обобщенного метода наи меньших квадратов (Feasible Generalised Least Squares, FGLS) на
зывается величина |
|
p = (ЛГ/П~1ЛГГ1ЛГ#П -1у. |
(5.16) |
Если в — состоятельная оценка параметра в, то можно было
бы предположить, что Р тоже является состоятельной оценкой для р. Однако в общем случае это неверно.
Тем не менее можно показать, что если выполнены условия
h m |
Х 'О Г 'Х |
Л |
/ е _ ч |
------------п |
= Q |
(5.17) |
|
|
|
|
(Q — конечная, невырожденная матрица) и
p lim |
---------- = 0, |
(5.18) |
|
п |
|
то оценка доступного обобщенного метода наименьших квадратов
а
Р состоятельна.
Оценка максимального правдоподобия2. Напомним, что функ ция правдоподобия для системы (5.10) при условии (5.11) есть (см. главу 10)
L = (27r)-ft/2(<T2) - n/2|f t|- 1/2e x p ^ - (У ~ |
~ |
2Подробно применение оценок максимального правдоподобия в регрессии рассматривается в главе 10.
162 |
Гл. 5. Некоторые обобщения множественной регрессии |
а ее логарифм равен |
|
In L = - 2 |
ln(2*)-2 ln(a2) + i In \ [ г ' \ ~ { у - Х Р ) Ч г \ у - Х 0 ) . |
Приравнивая к нулю производные In L по /3 и по а2, получаем
0 = (Х'П~1Х У 1Х ,П 1у,
а2 = iп( y - Х р ) 'П ~ \ у ~ ХР)>
дифференцирование по dj (j = 1 ,... ,m) дает
e'Cje = 11Г(С;Й), e'fl *e ть
где
е = у - ХР, Cj |
d n - 1^ ) |
= |
|
|
дву ' |
(5.19)
(5-20)
(5.21)
Решением системы уравнений (5.19)—(5.21) являются оценки максимального правдоподобия /3, в , а2. В этой системе только решение уравнений (5.21) может представлять трудность. В неко торых случаях (5.21) удается решить явно, но в большинстве слу чаев необходимо применять численные итерационные процедуры.
Интересно заметить, что из (5.21) и симметричности распре деления е следует, что (f3 — (3) и —ф —/3) имеют одинаковую плотность. Отсюда вытекает, что (3 симметрично распределено вокруг (3 и, следовательно, является несмещенной оценкой, если существует ее математическое ожидание.
Есть несколько способов работы с системой (5.19)-(5.21). Мож но искать точное решение — оценку максимального правдоподо бия, можно также использовать следующую весьма популярную двухшаговую процедуру.
1)Вычисляем оценку метода наименьших квадратов (Зщ =
{ Х 'Х )~ 1Х 'у .
Вычисляем остатки метода наименьших квадратов ец).
Упражнения |
163 |
Решаем систему (5.21) при заданных остатках. Получаем т х 1 вектор в ^ у
Вычисляем fl(x) = fl(0(j))-
2 ) 3 (2 )=
При некоторых слабых предположениях (таких, например, как состоятельность 0(Х)) 3 (2) будет асимптотически эквивалентна оценке максимального правдоподобия. А как известно, в широком числе случаев оценка максимального правдоподобия асимптоти чески эффективна.
Большинство двухшаговых процедур (например, процедура Кохрейна-Оркатта) могут быть интерпретированы как итератив ные процедуры в рамках метода максимального правдоподобия и, таким образом, при слабых предположениях, асимптотически эквивалентны оценке максимального правдоподобия.
Упражнения
5.1.Проверьте несмещенность оценки (5.4).
5.2.Проверьте равенство (5.8).
5.3.Докажите, что Cov (3OLS>3 CLS) = V (3GLS)-
5.4.Согласно результатам п.3.2 для классической регрессионной мо дели Cov(J/t, et) = 0, t = 1,...,п, где у = (рх,...,у „)' = X 0OLS -
прогнозное значение у, е = (ех, . ..,е„)' = у —у —вектор остатков. Со храняется ли это свойство для обобщенной регрессионной модели (5.3),
т.е. верно ли, что Cov (у, е) = 0, где у = X 3OLS и е = у - у?
5.5.Докажите, что если в (5.3) вектор ошибок е имеет многомерное нормальное распределение, то 3 C L S = Змь-
5.6.Рассмотрим уравнение регрессии:
Уt= 0 + Et, *=1,...,п.
Пусть ошибки регрессии удовлетворяют следующим условиям:
E(et) = 0; Cov(et,е.) = 0, t / s; V(et) = a2xt, xt > 0.
164 Гл. 5. Некоторые обобщения множественной регрессии
а) Найдите оценку метода наименьших квадратов /3 и ее дисперсию.
б) Предложите несмещенную оценку, обладающую меньшей диспер сией, чем оценка метода наименьших квадратов. Получите дис персию этой оценки и сравните ее с дисперсией оценки метода наименьших квадратов. Интерпретируйте результат.
5.7. Рассмотрим следующую регрессионную модель, в которой 2п на блюдений разбиты на две равные группы по п наблюдений в каждой:
у = Х/3 + е, Е(е) = 0; Cov(e,,e.) = 0, t ф s;
V(et) = а\, t = 1,... ,n; V(£t) = of, t - n + 1,... ,2n. Введем естественное разбиение матриц на блоки:
V =
(Здесь y]t у2, «1, «г —п х 1 векторы, X j, Х2 —n х fc матрицы.)
а) Пусть 3i, /32 и /3 —оценки метода наименьших квадратов век тора коэффициентов /3 по первой группе наблюдений, по второй группе наблюдений и по всем 2п наблюдениям, соответственно.
Покажите, что /3 есть «взвешенное среднее» оценок |
и (32, в |
|
том смысле, что 3 = £ i3 i + |
где L\ и L\ — к х А: матрицы |
|
такие, что L\ + L2 * |
|
|
б) Выведите следующие формулы для оценки обобщенного метода
наименьших квадратов: |
|
|
|
Х'2Х 2у |
х /Х 'гу, |
+ |
Х & л |
^ ) |
W? |
0*2 ) ' |
|
х ^ л -1 |
|
|
|
~ о Г ) |
• |
|
|
в) Покажите, что PGLS также является «взвешенным средним» оце нок и /32, в том смысле, что существуют к х к матрицы Ai и Л2 такие, что PGLS — А|/3| + А2/32 и Ai + Л2 = Ik-
5.8. Рассмотрим модель из упражнения 5.7. Опишите процедуру до ступного обобщенного метода наименьших квадратов в применении к этой модели.
Упражнения |
165 |
5.9. В этом упражнении мы покажем, что если П = (1(0) и в — состо ятельная оценка 0, то, вообще говоря, оценка доступного обобщенного метода наименьших квадратов не будет иметь то же асимптотическое распределение, что и оценка обобщенного метода наименьших квадрат тов.
Пусть
1' |
|
1 |
0 ... |
0 ' |
1 |
, гг-40) = |
о |
|
о |
X = |
... |
|
о |
|
1 |
|
... 0 |
||
|
0 |
0"-1 |
а) Покажите, что plim(0) = 0. б) При 0 = 1 покажите, что
~1
и0 = 0+ - .
п
-х'П !х = 1
п
и
хЧУ^е ~TV(0,<72).
у/ п
в) Пусть /0(0) = (х,П-1(0)х)-1х'(1 1(0)у. Покажите, что при 0 = 1
^ ф ( 0 ) - /3) ~ N(0,o2).
г) С другой стороны, покажите, что при 0 = 1
х'(1_1(0)х
------- —----->е —1
п
д) Следовательно, при 0 = 1
(напомним, что символом обозначается сходимость по распре делению (см. приложение МС, п. 5)).
166 |
Гл. 5. Некоторые обобщения множественной регрессии |
е) |
Выведите отсюда, что когда значение в равно 1, асимптотическое |
|
распределение (3(0) (оценки доступного обобщенного метода наи |
|
меньших квадратов) не совпадает с асимптотическим распреде |
|
лением /3(0) (оценки обобщенного метода наименьших квадратов) |
|
вопреки тому, что 0 является состоятельной оценкой 0. |
5.10. Дана обобщенная линейная регрессионная модель у = Х(3 + е, Ее —0, V(e) = ft. Пусть 0 — Оценка вектора 0 с помощью обычного метода наименьших квадратов, и пусть у = Х 0 .
а) Вычислите V(y).
б) Вычислите V(e) = V(y —у).
в) Покажите, что в общем случае е й у коррелированы.
5.11. Как известно (см. задачу 3.26), для классической линейной модели у = Х 0 + е, Ее = 0, V(e) = о21 выполнено неравенство V(/3R) < V(0), где 0 —МНК-оценка вектора 0,&0R —оценка, получаемая регрессией
уна X при линейном ограничении Н 0 = г. Сохраняется ли это нера венство (для тех же оценок), если модель обобщенная, т. е. у = Х 0+ е, Ее = 0, V(e) = ft?
5.12.Пусть 0 GUS = (X'£l~lX ) -1Х'ОГ1у —оценка, полученная с помо щью обобщенного метода наименьших квадратов в обобщенной модели
у= Х 0 +е, Ее = 0, V(e) = ft. Определим коэффициент детерминации
w е ~ у ' х 9 а '*-
Обладает ли этот коэффициент привычными свойствами коэффициента детерминации в классической линейной модели? В частности, верно ли, что RQIS лежит в интервале (0,1]?
5.13. Пусть в уравнении yt = x't0 + et, t = 1,... ,п, ошибки удовлетво ряют уравнению авторегрессии первого порядка et = pet-i + Ut, щ ~ iid(0,(rl). Пусть ft = V(e). Найти матрицу Р такую, что ft-1 = Р 'Р . Покажите, как выглядит преобразованноеуравнение Р у — P X 0 + Ре, которое используется для вычисления оценок обобщенного метода наи меньших квадратов.
Глава 6
Гетероскедастичность
и корреляция по времени
Эта глава посвящена изучению двух важных классов обобщенных регрессионных моделей. Первый составляют модели с гетероскедастичностью. Этот термин применяется в ситуации, когда матри ца ковариаций вектора ошибок является диагональной, но элемен ты главной диагонали, вообще говоря, различны. Иными словами, ошибки в разных наблюдениях некоррелированы, но их диспер сии — разные. Модели второго класса, как правило, используются при анализе данных, имеющих характер временных рядов. В этих случаях часто приходится принимать во внимание то обстоятель ство, что наблюдения в разные моменты времени статистически зависимы (типичный пример — ежедневный обменный курс дол лара по отношению к рублю). Следовательно, ошибки, относящи еся к разным наблюдениям (разным моментам времени), могут быть коррелированы, и ковариационная матрица вектора оши бок не является диагональной. Формально проблему оценивания неизвестных параметров решает обобщенный метод наименьших квадратов, рассмотренный в предыдущей главе. Однако, как там отмечалось, его применение требует знания матрицы ковариаций П вектора ошибок, что бывает крайне редко. Поэтому, помимо те-
168 |
Гл. 6. Гетероскедастичность и корреляция по времени |
еретических вопросов, в данной главе будут затронуты некоторые аспекты практического использования ОМНК.
6.1.Гетероскедастичность
В этом разделе мы рассмотрим частный случай обобщенной ре грессионной модели, а именно, модель с гетероскедастичностъю. Это означает, что ошибки некоррелированы, но имеют непостоян ные дисперсии. (Классическая модель с постоянными дисперсия ми ошибок называется гомоскедастпичной.) Как уже отмечалось, гетероскедастичность довольно часто возникает, если анализиру емые объекты, говоря нестрого, неоднородны. Например, если ис следуется зависимость прибыли предприятия от каких-либо фак торов, скажем, от размера основного фонда, то естественно ожи дать, что для больших предприятий колебание прибыли будет вы ше, чем для малых.
Метод взвешенных наименьших квадратов
Итак, пусть
у = Х р + е, |
(6.1) |
и предположим, что ковариационная матрица ft вектора ошибок
£диагональна, V(et) = <rf, t = 1 ,..., п. Иногда удобно использо вать представление of = o2W(, где числа u>t нормированы таким
образом, что = п. Тогда при = 1, t = 1 ,...,п , модель сводится к классической.
Обобщенный метод наименьших квадратов в данном случае выглядит очень просто — вспомогательная система (5.6) получа ется делением каждого уравнения в (6.1) на соответствующее о* (здесь нам удобнее выписать каждое уравнение):
где ut = etJau причем V(ut) = 1, Cov (щ,и3) = 0 при t ф s. При меняя к (6.2) стандартный метод наименьших квадратов, ОМНК-
6.1. Петероскедастичность
оценку получаем минимизацией по 6 = (6 ь ... ,6*)' суммы
лч-Ш * -£ Н )’
Нетрудно понять содержательный смысл этого преобразования. Используя обычный метод наименьших квадратов, мы минимизи руем сумму квадратов отклонений <р(Ь) = Y^t=i(Vt - ]CjLi bjXtj)2, в которую, говоря нестрого, разные слагаемые дают разный ста тистический вклад из-за различных дисперсий, что в конечном итоге и приводит к неэффективности МНК-оценки. «Взвешивая» каждое наблюдение с помощью коэффициента 1/<т(, мы устра няем такую неоднородность (заметим, что это означает, что мы придаем больший «вес» наблюдениям с меньшей дисперсией, т.е. более «точным»). Поэтому часто обобщенный метод наименьших квадратов для системы с гетероскедастичностыо называют мето дом взвешенных наименьших квадратов. Можно непосредственно проверить (упражнение 6.1), что применение метода взвешенных наименьших квадратов приводит к уменьшению дисперсий оце нок по сравнению с обычным методом наименьших квадратов.
Коррекция на гетероскедастичность
Если числа at неизвестны (что, как правило, и бывает на практи ке), необходимо использовать доступный обобщенный метод наи меньших квадратов, который требует оценивания дисперсий of. Так как число этих параметров равно п, то без дополнительных ограничений на структуру матрицы П пет надежды получить приемлемые оценки дисперсий. Ниже мы рассмотрим несколь ко классов моделей с гетероскедастичностыо, где такие ограни чения накладываются и благодаря этому удается построить удо влетворительные оценки матрицы fl, а следовательно, используя доступный обобщенный метод наименьших квадратов, и оценку
0FGLS-
1. Стандартное отклонение ошибки пропорционально независи мой переменной. В некоторых ситуациях априорно можно счи-
170 |
Гл. 6. Гетероскедастичность и корреляция по времени |
гать, что стандартное отклонение ошибки прямо пропорциональ но одной из независимых переменных, например, xjt: of = о2^ - Тогда, разделив t-e уравнение на xtk, t = 1 ,..., п, и вводя новые независимые переменные х^- = x tj / x tk и новую зависимую пере менную yl = yt/xtk, t = 1 ,...,та, j = 1 ,..., к, получим классиче скую регрессионную модель. МНК-оценки коэффициентов этой модели дают непосредственно оценки исходной модели. Следует только помнить, что если первый регрессор в X есть набор еди ниц, то оценки свободного члена и коэффициента при х^ = 1/х&
вновой модели являются оценками соответственно коэффициента при xtk и свободного члена в исходной модели.
Возникает естественный вопрос, при каких обстоятельствах можно пользоваться описанным выше методом. Ниже будут опи саны некоторые процедуры, позволяющие выявлять гетероскеда стичность того или иного рода (тесты на гетероскедастичность). Здесь мы ограничимся лишь практическими рекомендациями. Ес ли есть предположение о зависимости ошибок от одной из неза висимых переменных, то целесообразно расположить наблюдения
впорядке возрастания значений этой переменной, а затем про вести обычную регрессию и получить остатки. Если размах их колебаний тоже возрастает (это хорошо заметно при обычном ви зуальном исследовании), то это говорит в пользу исходного пред положения. Тогда надо сделать описанное выше преобразование, вновь провести регрессию и исследовать остатки. Если теперь их колебание имеег неупорядоченный характер, то это может слу жить показателем того, что коррекция на гетероскедастичность прошла успешно. Естественно, следует сравнивать и другие па раметры регрессии (значимость оценок, сумму квадратов откло нений и т. п.) и только тогда принимать окончательное решение, какая из моделей более приемлема.
Пример. Рынок квартир в Москве (см. Каргии, Онацкий, 1996). Продолжение 2 (см. начало — п. 3.5, продолжение 1 —п. 4.2).
Как мм увидим далее, при более тщательном изучении данных примера (см. продолжение 3, п. 6.1), гипотеза гомоскедастичности ошибок должна быть отвергнута. Это ставит под сомнение выводы о значимости регрессоров (и результаты тестирования гипотез на