книги / Эконометрика. Начальный курс

Обычный метод наименьших квадратов:

Упражнения

9.1. Рассмотрим следующую модель:

Ct = а + 0Yt + £ц,

1Yt —Ct + It + Gt,

„h = 7 + &Yt + £2t-

Эндогенные переменные — Ct,Y t, It, экзогенная переменная — Gt- Напишите эту модель в матричной форме и найдите ее приведенную форму. Сколько ограничений накладывается на шесть коэффициентов приведенной формы модели и каковы эти ограничения? Покажите, что при заданных значениях коэффициентов приведенной формы можно единственным образом получить значения коэффициентов а, 0, у и S, т.е. при заданной матрице П уравнение ВП + Г имеет единственное решение относительно В и Г.

9.2. Рассмотрим проблему идентифицируемости каждого из уравнений в следующей модели:

где Pt, Wt, Nt —индекс цен, зарплата, профсоюзный взнос соответствен­ но (эндогенные переменные), a Qt н St — производительность труда и количество забастовок (экзогенные переменные). Как выглядят поряд­ ковое и ранговое условия, если известно, что:

9.3. Опишите процедуру оценивания каждого из уравнений следующей системы:

9.4. Рассматривается следующая система уравнений:

Идентифицируемо ли каждое из уравнений системы? Что получит­ ся, если применить к первому уравнению двухшаговый метод наимень­ ших квадратов?

9.5. Задана система одновременных уравнений (уь 2/2, 2/3 — эндогенные переменные).

а) Для каждого из трех уравнений определите, выполняются ли по­ рядковые и ранговые условия идентифицируемости.

б) Повторите а) при дополнительном ограничении: 732 = 0.

в) Повторите а) при дополнительном ограничении: 732 = 1.

г) Повторите а) при дополнительном ограничении: 732 —7зз-

9.6. Рассматривается модель, состоящая из двух внешне не связанных уравнений (SUR):

ГУи = 0i + £ь

^y a t = 0iXt +£2 -

По 50 наблюдениям (по каждому уравнению) получены следующие

а) Напишите формулу для GLS-оценки параметров 0г, fo. б) Найдите OLS-оценку этих параметров.

в) Найдите SUR (FGLS)-oneHKy этих параметров и оцените матрицы ковариаций этих оценок.

10.1.Введение

Принцип максимального правдоподобия (maximum likelihood, ML)

уже использовался в нашей книге в главе 2 (п. 2.7) для случая парной регрессии и в главе 5 (п. 5.3) для случая множественной регрессии с нормальным распределением вектора ошибок. Крат­ кое описание метода также можно найти в приложении (см. МС, п. 7). В данной главе мы дадим более подробное описание метода максимального правдоподобия. Начнем с простого примера.

Предположим, у нас есть выборка из биномиального распре­ деления В(п,р), где п = 10, а вероятность р неизвестна. Выборка состоит из 7 единиц и 3 нулей, не обязательно в этом порядке. Вероятность 7 успехов в 10 испытаниях равна (см. МС, п. 3)

Для того чтобы найти значение р, максимизирующее (10.1), мы вычисляем производную логарифма (10.1)

и приравниваем ее нулю. Получаем р = 0.7, значение параметра р, при котором вероятность получения такой выборки максимальна.

Рассмотрим более общий случай. Пусть у нас есть п наблюде­ ний, (j/x,. . . , 2/„), где все у%равны 1 или 0. Вероятность получения в точности х успехов в п испытаниях равна

Это выражение рассматривается обычно как функция х при за­ данных значениях параметров п, р и называется распределением (distribution). В отличие от этого, в методе максимального правдо­ подобия мы рассматриваем (10.3) как функцию р (предполагаем сейчас, что п известно), при данном х (из наблюденной выборки), и называем (10.3) функцией правдоподобия (likelihood Junction).

Метод максимального правдоподобия является конструктив­ ным методом. В простых случаях, подобно приведенному выше,

удается получить явную формулу для оценки. В более сложных случаях получить явную формулу не удается, однако можно опре­ делить численное значение оценки, максимизирующее функцию правдоподобия. Но и в этой ситуации можно многое сказать о статистических свойствах оценки.

10.2.Математический аппарат

Рассмотрим последовательность случайных величин {уъуг, •••},

не обязательно независимых или одинаково распределенных. Пусть hn(-,Go) — совместная плотность распределения случай­ ных величин у = (y i,... ,у„). Предположим, что вид этой функ­ ции известен, за исключением вектора параметров во, который мы хотим оценить. Мы предполагаем, что во € 6 , где множество возможных значений параметра в принадлежит конечномерному евклидову пространству.

Для каждого (фиксированного) у вещественная функция

1п(в) = 1п(0,у) = Ьп(у,в), * € © , (10.4)

называется функцией правдоподобия (likelihood function), и ее ло­ гарифм In Ьп(в) называется логарифмической функцией правдо­ подобия (loglikelihood function).

Для фиксированного у любое значение 0п(у) € в , такое, что

называется оценкой максимального правдоподобия (maximum like­ lihood, ML, estimate) параметра во. В общем случае нет гарантии, что ML-оцеика параметра во существует для (почти) всех значе­ ний у, но если это верно, функция 0„ называется оценкой мак­ симального правдоподобия (ML estimator) неизвестного парамет­ ра в0.

Когда максимум в (10.5) достигается во внутренней точке про­ странства параметров в , a Ln(d) является дифференцируемой (по в) функцией, то вектор частных производных d ln L n(e)/de

в этой точке равен нулю. Тогда дп является решением векторного уравнения

д1пьп(в) _л дв

В случае, когда Ьп(д) дважды дифференцируема но 0, гессиан

(Hessian matrix) определяется как

и информационная матрица в точке до равна

Заметим, что информационная матрица вычислена в точке истин­ ного значения параметра до. Асимптотическая информационная матрица для параметра до определяется как

если предел существует. Бели матрица Р(до) положительно опре­ делена, то обратная к ней матрица Р ~ 1(до) является нижней гра­ ницей для асимптотической матрицы ковариаций любой состоя­ тельной оценки параметра до (асимптотическое неравенство РаоКрамера) (ср. МС, п. 7). При некоторых условиях регулярности матрица ковариаций оценки максимального правдоподобия асим­ птотически приближается к этой нижней границе. Вследствие этого Р ~ 1(до) называется асимптотической матрицей ковари­ аций оценки максимального правдоподобия д. Точный смысл по­ следнего утверждения состоит в том, что при некоторых условиях регулярности последовательность случайных векторов

сходится по распределению к нормально распределенному случай­ ному вектору с нулевым средним и матрицей ковариаций ^ ~ г(до).

248Гл. 10. Метод максимального правдоподобия в моделях регрессии

10.3.Оценка максимального правдоподобия параметров многомерного нормального распределения

Рассмотрим теперь выборку из многомерного нормального рас­ пределения с математическим ожиданием /х = (ц\ , ... ,Цт)' и мат­ рицей ковариаций а21т. У нас есть п наблюдений (случайных век­ торов) (у ,,... ,у п). Функция плотности для каждого наблюдения равна

Взяв сумму логарифмов этих выражений по всем п наблюдениям, получаем логарифмическую функцию правдоподобия:

Дифференцируя эту функцию по параметрам распределения ц и <т2, получаем следующие уравнения (необходимые условия экстре­ мума):

^X

Решал систему (10.12)—(10.13), получаем оценки максимального правдоподобия

10.4.Свойства оценок максимального правдоподобия

Оценки максимального правдоподобия привлекательны благода­ ря своим асимптотическим свойствам. При выполнении весьма общих предположений оценки максимального правдоподобия об­ ладают следующими четырьмя свойствами.

1. И нвариант ност ь. Пусть в — оценка максимального прав­ доподобия параметра в и д(в) — непрерывная функция. Тогда д(в) является оценкой максимального правдоподобия параметра

№ ■

Например, из того, что оценка а2 является оценкой макси­ мального правдоподобия параметра а2 (см. (10.13)), сразу выте­ кает, что 5 и 1/5 являются оценками максимального правдопо­ добия для о и 1/сг соответственно. Из свойства инвариантности вытекает, в частности, что оценки максимального правдоподобия, в общем случае не являются несмещенными (почему?). Из этого свойства следует также, что мы можем параметризовать функ­ цию правдоподобия любым способом, что часто существенно об­ легчает вычисление оценки.

Свойство инвариантности выполняется для конечных выбо­ рок, в то время как следующие три свойства оценок максималь­ ного правдоподобия являются асимптотическими.

2. Сост оят ельност ь. Выполнено равенство: plim в = 0, т. е. Р(|0 - в\ > е) —» 0 при п —>оо для всякого е > 0. Состоятель­ ность рассматривается обычно как самое важное свойство оценки. Все наиболее часто встречающиеся оценки состоятельны. Други­ ми словами, состоятельность — минимальное требование, предъ­ являемое к любой оценке.

Из того, что оценка в состоятельна, следует (см. МС, п. 5), что она сходится к истинному значению параметра по распределению:

в —* в. Это означает, что предельное распределение сосредоточе­ но в точке в, или, другими словами, предельное распределение (в - 0) сосредоточено в точке О. К сожалению, это не очень ин­ формативно. В этом случае для детального рассмотрения ситуа­

250 Гл 10. Метод максимального правдоподобия в моделях регрессии

ции используют подходящую нормировку оценки так, чтобы нор­ мированная оценка имела предельное невырожденное распреде­ ление. Рассмотрим частный случай. Пусть (j/i,. . . , уп) — выборка из нормального распределения N(p, а2). В этом случав у является состоятельной оценкой ц. При этом среднее у ~ N(p, о2In) и, сле­

довательно, у/п{у - р) r>j N(0,o2), поэтому \/п(у - ц) Л N(0,<r2).

В этом частном случае распределение нормированной оценки не зависит от п и равно предельному, а в общем случае мы имеем следующее свойство асимптотической нормальности.

3. А сим пт от ическая нормальност ь. Имеет место следу­ ющее асимптотическое поведение оценки максимального правдо­ подобия:

где F(B) обозначает асимптотическую информационную матри­ цу. Следует отметить, что F ~ l {B) является матрицей ковариаций асимптотического распределения у/п(В-В); оценка матрицы ковариаций собственно оценки В равна V(0) = ^ “ (0) = (1/п ) Т ~ [в).

4. А сим пт от ическая эффективность. Оценка макси­ мального правдоподобия асимптотически эффективна. Это озна­ чает, что если мы сравним оценку максимального правдоподобия в с любой другой оценкой в , также состоятельной и асимптоти­ чески нормальной, то V(0) < V(0), т.е. разность V(B) - V(B) является неотрицательно определенной матрицей. В частности, это означает, что дисперсия каждой из компонент вектора В не меньше дисперсии соответствующей компоненты вектора^#, т .е. оценка максимального правдоподобия В «лучше» оценки В.

10 .5 . О ц ен к а м ак си м ал ьн ого

п р ав д о п о доб и я в л и н ей н ой м о д ел и

Рассмотрим стандартную линейную модель (см. главу 3) с нор­ мально распределенными ошибками

у = Х/3 + «, и ~ Щ О, о21п), (10.16)