книги / Статистический анализ временных рядов

2.3. ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ НЕЗАВИСИМЫХ ПЕРЕМЕННЫХ 25

Вектор остатков у — Zb ортогонален каждому вектору этого р-мер-

= (ZiZ^-'Zly. (См. § 2.3.) Проекция на (p — г)-мерное подпро­ странство Z, ортогональное Z1( равна Z (b — P) — Zj (b*(l>—

— P*(I)) = (Z, — Z1An1A12) (b(2) — p(2>). Числитель ^-статистики (12) равен квадрату длины последнего вектора, а знаменатель пропор­ ционален квадрату длины вектора у — Zb.

2.3. ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ НЕЗАВИСИМЫХ ПЕРЕМЕННЫХ; ОРТОГОНАЛЬНЫЕ НЕЗАВИСИМЫЕ ПЕРЕМЕННЫЕ

В представлении функции регрессии независимые переменные могут быть отнесены к различным р-координатным системам. При этом некоторые координатные системы могут оказаться предпочти­ тельнее других.

Пусть i t = Gzt, t = 1, ..., Т, где G — произвольная невырож­ денная матрица, и пусть р = G'P*. Тогда %yt можно записать в виде

(1) p'z, = p*GG_lz; = p*'z;.

Компоненты векторов zj, t = 1, ..., Т, являются координатами век­ торов zt в новой координатной системе. Оценки для р* и а2 по на­ блюдениям г^, ..., ут, z1(..., zтвыражаются соотношениями

Функции, которые взяты в качестве оценок для функции регрессии, в обеих координатных системах принимают одинаковые значения b'zt = b*'zj.

Независимые переменные можно разбить на два множества,

zt = (г ^ г Г ), и особо интересоваться множеством z*2). Например, может представлять интерес проверка нулевой гипотезы р(2> —0.

чением рТ чисел гм. Отметим в заключение, что значение выраже­

ния Ы2)' (А22 — А21AJJ1 А12) Ь(2) можно получить из прямого решения

2.4. КОРРЕЛИРОВАННЫЕ ПЕРЕМЕННЫЕ

Если зависимые переменные коррелированы и ковариацион­ ная матрица известна с точностью до постоянного множителя (или точно), то развитую выше теорию можно соответствующим образом видоизменить. Предположим, что

записать эту модель в более компактной матричной форме. Пусть

где £ = а2¥ , а V — известная матрица. Пусть матрица D удовлет­ воряет соотношению

х8 (у — Zp) (у — ZP)' V _1Z (Z '^ -'Z )-1 =

=оЦ ГЧ Г1! ) - 1.

Каждый элемент вектора b является наилучшей несмещенной ли­ нейной оценкой соответствующей компоненты вектора р (теорема Гаусса— Маркова). При этом вектор b называется марковской

оценкой для р. Он минимизирует квадратичную форму (у — Zb)' х

XV- 1(у —Zb). Если У х , у т имеют совместное нормальное распре-

л

деление, то b и а2 = (Т — р) &IT являются оценками максимально­ го правдоподобия для параметров р и о2 и образуют для этих пара­ метров достаточное множество статистик.

Оценка наименьших квадратов

и имеет ковариационную матрицу

(14)8 (bL — Р) (Ь/. — Р)' - (Z'Z)-‘ Z'8 (у — ZP) (у— ZP)' Z (Z'Z)-1=

=a2 (Z'Z)-1 Z'TZ (Z'Z)-1.

Если только столбцы матрицы Z не связаны специальным образом с *F, то любая линейная комбинация компонент вектора Ь/., напри­ мер y'bL, будет иметь дисперсию, большую чем дисперсия соот­ ветствующей линейной комбинации у'Ь компонент вектора Ь. В этом случае разность выражений (14) и (11) будет положительно полуопределенной матрицей.

Теорема 2.4.1. Если Z = V*C, причем р столбцов матрицы V* являются линейно независимыми характеристическими вектора­ ми матрицы У, а С — невырожденная матрица, то оценка наи­ меньших квадратов (12) совпадает с марковской оценкой (9).

где А* — диагональная матрица, состоящая из (положительных) характеристических корней матрицы V, соответствующих столбцам матрицы V*. Тогда справедливо равенство

Правая часть (18) идентична правой части (17). в

В разд. 10.2.1 будет показано, что условие теоремы 2.4.1 явля­ ется не только достаточным, но и необходимым. Его можно сформу­ лировать и иначе: существует р линейно независимых линейных комбинаций столбцов матрицы Z, являющихся характеристически­ ми векторами матрицы 4*“. Смысл теоремы заключается в том, что при выполнении указанных условий оценки наименьших квадра­ тов (для случая, когда матрица V неизвестна) являются несмещен­ ными линейными оценками с наименьшей дисперсией. В разд. 10.2.1 будет рассмотрен случай, когда существует произвольное число линейно независимых комбинаций столбцов матрицы Z, яв­ ляющихся характеристическими векторами матрицы V. Оценки наименьших квадратов для коэффициентов этих линейных комбина­ ций совпадают с марковскими, если остальные независимые пере­ менные ортогональны данным. Утверждение о том, что при выполне­ нии условий теоремы 2.4.1 оценки наименьших квадратов являются и оценками максимального правдоподобия, было доказано для слу­ чая нормального распределения Т. Андерсоном (1948).

и'Ъно будет наилучшим образом прогнозировать значение ух в том смысле, что при этом минимизируется среднеквадратичная ошибка прогноза.

Предположим теперь, что имеются наблюдения ух........ ут, по которым мы хотим предсказать значение ух (т > Т), причем %ух =

р

— 2 PftZfri ~ P'zt, где р неизвестный, a z* известный векторы. Пред-

£=*1

ставляется разумным оценивать вектор р с помощью оценки наи­ меньших квадратов Ь и в качестве прогноза ух использовать b'zx. Займемся обоснованием такой процедуры. При этом будем рас­

сматривать только линейные прогнозы 2 dtyt. Коэффициенты d, мо-

гут зависеть от zu .... гти гх. Прежде всего потреГ ноз был несмещенным, т. е., чтобы