книги / Статистический анализ временных рядов
..pdf5.6. СТАТИСТИЧЕСКИЕ ВЫВОДЫ О МОДЕЛЯХ АВТОРЕГРЕССИИ 243
Больший интерес может представлять изучение мощности ука занного критерия для последовательности конкурирующих гипотез
рРт> такой, что |
|
(18) |
Н т|ЛГрРг = <р =5^=0 |
|
Т -+-со |
(при этом а2, р1( |
Рр_1 предполагаются фиксированными, а и,, |
например, нормально распределенными). Тогда PP/(sj/а"рр) имеет в пределе нормальное распределение с единичной дисперсией и сред
ним, равным ф/(а'|/г/рр). Для того чтобы сделать это утверждение (а вместе с ним и ряд последующих) строгим, надо было бы дока
зать, что Y T (В — Вг) имеет в пределе нормальное распределение
с матрицей средних Ф и ковариационной матрицей, |
соответствую |
||||||||
щей В, если |
lim Y T (В — Вг) = |
Ф |
для |
надлежащим |
образом |
||||
|
Т-►со |
|
л |
|
|
|
|
|
|
|
|
|
и |
Вг |
относятся к векторному |
||||
выбранной матрицы В. (Здесь В, В |
|||||||||
марковскому |
случаю.) |
|
|
|
|
|
|
|
|
Л емма 5.6,1. Если рр = |
0, то |
|
|
|
|
|
|
||
(19) |
|
|
о2Г = 1 . |
|
|
|
|
|
|
Д оказательство. |
Прежде |
всего мы имеем (см. упр, 8 гл, 2) |
|||||||
|
|
|
|
f11 |
• • |
• |
,—i |
|
|
(2 0 ) |
fpp |
(/pi ••• fP,P—i) |
/I,P—1 |
|
|
||||
|
|
|
|
|
|
||||
|
|
|
fp—1,1 ••• fP—i,p—1/ |
VP—I.P/ |
|||||
В стационарном случае величины |
|
|
|
|
|
|
|||
(21) |
f i / = & (y t- i — Ц м ) |
(yt- i — Ч |
-i) = |
|
|
||||
|
|
= % ( ys— |
& У, ) ( ys- |
i+ i — h s - |
i+d = |
о (i — /), |
|||
|
|
|
|
|
|
|
i, |
/ = 1 , |
. , , , p, |
при PP — 0 соответствуют вполне определенному разностному урав нению порядка р — 1, и они должны удовлетворять следующему
соотношению [см. |
(48) |
из § 5.2]: |
|
|
|
|
|||||
|
/ |
fu |
|
|
/i.p—i |
\ |
/ Рр—i\ |
/ |
f1р |
||
<22> |
1 |
; |
• • • |
, |
; |
) |
( |
; |
) — |
( |
, ! |
|
\ f p ~~и |
/ |
р- 1,р- |
1/ |
\ |
Pi |
/ |
\ I P- \ , PJ |
Соотношение (2 0 ) принимает при этом вид [см. (47) из § 5.2]
(23) |
1 =а (0) + о(р — l)PP_i + |
+ 0 ( 1 ) Р 1 = 0 2. |
|
fPP |
|
Это и доказывает лемму. а
В свою очередь доказанная лемма приводит к следующей теореме.
244 |
ЛИНЕЙНЫЕ МОДЕЛИ С КОНЕЧНЫМ ЧИСЛОМ ПАРАМЕТРОВ |
Гл. б. |
||
|
Т еорема 5.6.1. Если |
== 0, то в условиях теоремы 5.5.7 |
ста |
|
тистика Y Т$р имеет в пределе при Т |
оо нормальное распреде |
|||
ление с нулевым средним и единичной дисперсией. |
|
Рассмотрим теперь задачу проверки нулевой гипотезы о том, что порядок стохастического разностного уравнения равен т , про тив конкурирующей гипотезы, состоящей в том, что порядок этого
уравнения равен р (> т). Пусть матрица А* = (аЗу) разбита на блоки с выделением т и р — т строк и столбцов и пусть соответст-
вующим образом разбивается вектор Р, так что
(24)
Тогда статистика критерия отношения правдоподобия для про верки гипотезы о том, что pm+i = ... = Рр = 0 , будет монотонной функцией статистики
(25)
имеющей в случае истинности нулевой гипотезы предельное Х2-рас- пределение с р — m степенями свободы. Имеющаяся здесь аналогия с обычными регрессионными методами позволяет предположить, что мощность этого критерия зависит главным образом от некоторой функции параметров, измеряющей увеличение среднеквадратичной
ошибки прогнозирования |
из-за использования m составляющих |
||
вместо р. [См. § 2.5. Это было отмечено А. Уолкером |
(1952).] |
||
Другой подход к проверке гипотезы о том, |
что |
pm+i = ... = |
|
= Рр = 0 , был предложен |
Кенуем (1947) и |
развит затем Барт |
леттом и Дианандой (1950), а также другими авторами. Для просто ты изложения положим у = 0 и используем в связи с этим матрицу А вместо А*. Если {yt} является стационарным процессом авто регрессии произвольного порядка, например р, с коэффициентами Pl> ..., Pm> 0 .......0 ) то величины
т |
т |
|
+ Pi2 yt-iyt-i + |
••• + P«i2 yt-myt-i — |
|
м |
|
|
1 £ |
^ 1> *•?>/?» |
|
~ VT |
||
|
5.6. |
СТАТИСТИЧЕСКИЕ ВЫВОДЫ О МОДЕЛЯХ АВТОРЕГРЕССИИ |
245 |
имеют нулевые средние и матрица их ковариаций (порядка р) рав на о2F = о2 [a (i — /)]. Из теоремы 5.5.5 вытекает, что gb ..., gp имеют в пределе совместное нормальное распределение. Если yt нормально распределены, то предельное совместное распределение любого набора случайных величин gt совпадает с распределением аналогичного набора случайных величин ayt. При этом совместное распределение случайных величин
(27) |
т |
|
1 т |
Т |
|
|
h/ = 2 |
РkSl-k —-Tf=f2 |
Р*2 Ut-i+кЩ* |
|
|||
|
*=о |
|
V 1ft=o |
<=i |
|
|
|
| |
m |
T |
| |
m |
|
|
= W |
2 P*P<2 y t-1 + кУ М = |
2 P*Pf i u - k , |
|
||
|
V 1 k fl**0 |
M |
У 1 |
|
|
|
|
|
|
|
/ = |
m + 1, |
p, |
является в пределе нормальным. При любом Т оно имеет нулевое среднее. Ковариации его вычисляются с использованием соотно шения
(28) |
|
m |
m |
Р*ог и - |
k - |
о - |
|
%higi « 2 |
Рk 4 -k g i = о2 2 |
||||||
|
|
fe= 0 |
fe=0 |
|
|
|
|
|
|
|
|
|
|
|
! > i , |
|
|
|
|
|
|
|
l - i , |
полученного с помощью (47) и (48) § 5.2, и равны |
|
||||||
(29) |
|
|
m |
е г - * = |
( 0 |
/ ”> /' |
|
щ |
г |
= 2 рЛ |
: |
1 — 1 ■ |
|||
|
|
|
*'=0 |
|
\ и , |
||
Таким |
образом, |
при |
нулевой |
гипотезе |
совместное |
распределение |
случайных величин hm+i/o2, hm-\-2 /о2...... hpla2 имеет нулевое сред нее и единичную матрицу ковариаций. В пределе при Т -*■ оо это распределение является стандартным нормальным.
Исходя из указанных результатов, статистики hj можно было бы
использовать для |
проверки |
гипотезы pm+i = ... = Рр = 0 при |
|
известных значениях о2 и plt ..., |
Pm, поскольку статистика |
||
(30) |
4 - |
2 |
К! |
|
|
/=пг+ 1 |
имеет ^-распределение с р — m степенями свободы. Для большей эффективности этой процедуры А. Уолкер (1952) предложил добав лять еще одну статистику с тем, чтобы предельное распределение
критерия было ^-распределением с р |
степенями свободы. |
Для проверки гипотезы f5m+i = ... |
= 0 при неизвестных |
значениях остальных параметров было предложено использовать статистику (30) в несколько измененном виде с заменой неизвестных
246 |
ЛИНЕЙНЫЕ МОДЕЛИ С КОНЕЧНЫМ ЧИСЛОМ ПАРАМЕТРОВ |
Гл. 5. |
параметров в (30) их оценками. Положим
т. т
(31) |
h/ — 2 |
Pk8l~k — "Z7=~ 2 Р*Р*й/,/-й> / = m + |
1, . . . , p, |
||
|
|
s = o |
у T k,i= о |
|
|
где |
Л |
А |
Л |
Pm — оценки максимального |
правдоподобия, |
po = |
1> |
Pi>•••) |
указанные в § 5.4 (с заменой р на /л). Рассмотрим критерий 2J Лу/s4 /=m-f1
и убедимся в том, что при нулевой гипотезе он асимптоти-
Л
чески эквивалентен критерию (30). Действительно, поскольку pft
является состоятельной оценкой для Р* и plim ац!Т — о (г — /), Г-*о©
ТО |
m |
пг |
|
|
|
|
|
||
(32) |
plim 2 Р * Т " |
ai-i~k = 2 |
(/ — ^ — 0 = 0, |
/ > / , |
|
Т-усо k=о |
fe=0 |
|
|
|
m |
m |
|
|
(33) |
p lim ^ p l -Yai,f^ k = ' 2 l $p(j — k — C)=‘ 0, |
j > k . |
||
|
т’+°° 1=0 |
l=*0 |
|
|
Поэтому
(34)plim (hr ^ h i) =
T-+OQ
= plim)f T |
2 |
М / 4 - 4 i-k * |
т-*°° |
[>,г=-Э |
‘ |
|
m |
|
|
^ |
P A у ^Ui—b |
|
k,l=*о |
|
plim2 |
V |
T (P*— Pfe) Р/y-“i.Mk + |
|
k,l=*Q |
|
|
|
+ |
plim 2 Pfe У ^ (Pi —'Pi) У |
aui~b |
|
|
T |
oo fe,/= 0 |
|
0 , |
|
i = m + 1, |
, p. |
Поскольку к тому же s2 (построенная в предположении, что поря док стохастического разностного уравнения равен т) является состоятельной оценкой для а2 при нулевой гипотезе, то из этих двух фактов и следует упомянутая асимптотическая эквивалент ность.
Т еорема 5.6.2. Если все корни характеристического уравнения, соответствующего стохастическому разностному уравнению, по
5.6. |
СТАТИСТИЧЕСКИЕ ВЫВОДЫ О МОДЕЛЯХ АВТОРЕГРЕССИИ |
247 |
рядка т, лежат в единичном круге, то статистика
2
/=m+l
(3 5 )
имеет в пределе X2-распределение с р — т степенями свободы. Здесь
л |
2 |
h/ определяется соотношением |
(31), a sm является оценкой для а2, |
соответствующей указанному разностному уравнению.
Свяжем теперь оба описанных подхода к задаче проверки гипо тезы о порядке стохастического разностного уравнения.
Лемма 5.6.2. |
Если р = m + 1, |
то |
(36) |
V ^p m+i ( / n + l ) |
= — |
ч
где pm+i (m + 1) — оценка для pm+i в предположении, что процесс имеет порядок т + 1, a s2m — оценка для о2, указанная ниже, в (45).
Д оказательство. Пусть матрица сумм квадратов и перекрестных произведений с элементами
т
(37)aij = t=iyt—iyt—f, t, / = 0, 1, ... t m -f- 1,
разбита на блоки следующим образом:
|
/ а00 |
^01 |
Яо,т+1 |
\ |
(38) |
А = | А10 |
An |
AitW+i |
1. |
|
\CLm-\-1,0 Ат+и |
|
|
|
Тогда оценкой |
вектора Р (т) = |
[р2 (т)........рт |
(т)]', в предположе |
|
нии, что разностное уравнение |
имеет порядок т , будет |
|||
(39) |
р ( / п ) = - А й ‘А10. |
|
/V
Если выразить hm+i через указанные блоки матрицы А, то получим
(40) V Thm+1 = |
m |
m |
|
= flo.m+l + 2 P* (m) flo.m+l-fe + |
2 P, и fl/.m+l + |
/г=1 |
/=1 |
W /V |
/V |
+ 2 M™) M m) |
== |
248 |
ЛИНЕЙНЫЕ МОДЕЛИ С КОНЕЧНЫМ ЧИСЛОМ ПАРАМЕТРОВ |
Гл. 5. |
АА
= Яо,т+ 1 -f- 2 J Рт+1—/ (fri) flo/ Am+l,lP (т)
/=1
|
+ 2 Р/И Р |
т + 1- / И а„ = |
|
|
/,/= 1 |
|
|
= ®0,т+1 Am*j.i,iA[i А^д. |
|
|
|
Уравнения для |
оценок величин рх........ |
Рт+ь использующих |
|
разностное уравнение (т + 1)-го порядка, имеют вид |
|
||
Ац |
A,,m+I \/p<i)( m + i) |
\ = _ / А 10 |
|
( 4 1 ) |
|
|
^ m+1i.o)’ |
A^+i*1 am+1-"t+ i'\p m+1(m + !)/ |
т.е.
(42)Au p<‘) (m + 1) + Ai,m+iPm+1 (m + 1) = — A10,
(43)Am+1>1pd) (m + 1) + am+i>m+1pm+1 (m + 1) = — am+I,0.
[Отметим, что последние соответствуют уравнениям (29) и (30) из
§ 5.4.1 Если умножить (42) на Am+i.iAIi1 и вычесть результат из (43), то получим соотношение
( 4 4 ) |
(O m + 1 ,т + 1 |
' A OT+ I . I A I I A i , m -|-i) Р т + 1 |
(ffl ~f" 1 ) — |
|
|
= ’— (йт+1,0 — Am+ijAi/Ajo), |
|
правая часть |
которого равна —У Т hm+i. Коэффициент при |
||
А |
(tn -f 1) в левой части в Т раз больше величины |
||
Pm-4-i |
|||
( 4 5 ) |
ат+1|т+1 ““^т+1,1АЦ1^ 1|т+1 |
_ 7,2 |
|
|
m |
-- |
л2
асимптотически эквивалентной aw (основанной на уравнении по рядка т). Соответствующие суммы в матрицах, определяющих
~^2
sm и am? отличаются только крайними членами. Это и доказывает лемму. ■
Л е м м а 5 . 6 . 3 . Если р ш + ] = |
... = Р р |
= 0 и у |
: 0 , то |
|
||
(46) |
Ь(2>' (Р) (А2а — |
А1а) Р<2) (р) |
2 |
Р/(/) = |
о. |
|
plim |
|
|
||||
|
Т-+ 00 |
|
|
/ = т + 1 |
|
|
Д оказательство. Из доказательства |
леммы |
5.6.2 |
видно, |
что |
||
А |
|
|
|
|
|
|
Р/ (/) является отношением правой части нормального уравнения к
5.6. |
СТАТИСТИЧЕСКИЕ ВЫВОДЫ О МОДЕЛЯХ АВТОРЕГРЕССИИ |
249 |
коэффициенту при Р/, если предварительно из системы нормальных
уравнений исключить первые / — 1 неизвестных р,-. Таким образом, мы имеем ситуацию, подобную соотношению (20) § 2.3, где b) =
= c)la)j. В данном случае коэффициент при Р/ равен Tsf—\, a S/_i определяется соотношением (45) при т = / — 1. Поэтому, как по казано в § 2.3, числитель уменьшаемого в (46) равен
(47) |
2 |
|
T s ? - $ ( j ) . |
|
||
|
j = m + \ |
|
|
|
|
|
Для завершения доказательства остается только заметить, что |
||||||
(48) |
plim lt= L |
= |
1.в |
|
||
|
Т-+ оо |
|
& |
|
|
|
Т еорема 5.6.3. |
Если. рт+! |
= |
... |
= |
Рр = 0 и у = 0 , то раз |
|
ности между (25), (30), (35) и |
|
|
|
|
|
|
(49) |
Т |
S |
рUi) |
|
||
|
/ = т + 1 |
|
|
|
||
стремятся по вероятности к нулю при Т |
оо. |
Д оказательство. Это вытекает из лемм 5.6.2, 5.6.3 и из соотно
шений (48) и plim s2 = <тг.и
Т-*оо
Если справедлива нулевая гипотеза, то каждый из этих крите риев при у = 0 имеет в пределе ^-распределение с р — m степеня ми свободы. Если у Ф 0, то матрица А заменяется на А*.
В критерии |
р |
hy/a4 можно брать также величины hh |
опреде- |
||||
2 |
|||||||
|
/= т + 1 |
|
|
|
|
||
ленные следующим образом: |
|
|
|
||||
|
|
m |
|
|
m |
Т |
|
(50) |
h,- = |
2 |
Рkgj+k = |
у Т |
2 |
Р* 13 yt-i-кЩ = |
|
|
|
ft—0 |
|
&=0 |
t=p\ |
|
|
|
|
|
= |
1 |
Т |
ut-iuu / = т + 1 , . . , , |
р. |
|
|
|
-p=-3S |
Эти статистики имеют нулевые средние и дисперсии а4. Они не коррелированы, а их предельное совместное распределение является нормальным. Однако если в таком определении h,- параметры р1( ...
.... Р,п заменить их оценками, то соответствующее предельное рас пределение изменится.
А. Уолкер (1952) рассмотрел предельную мощность перечислен ных критериев против альтернатив, сближающихся с нулевой ги потезой.
250 |
ЛИНЕЙНЫЕ МОДЕЛИ С КОНЕЧНЫМ ЧИСЛОМ ПАРАМЕТРОВ |
Гл. 5. |
Указанная асимптотическая теория не изменяется при изменении крайних членов сумм. В частности, при у ф 0 матрицу А* можно заменить матрицей
|
< |
* |
|
С о |
С \ |
. * • С р~ т \ С р |
|
* |
* |
* |
* |
С) |
С о |
. . . с„— |
С р — 1 |
(51) |
С* |
|
|
* |
|
|
|
|
|
|
С р — 1 С р — 2 . . . С о |
С \ |
||
|
* |
* |
* |
* |
|
С р |
С р —1 |
• '. . C l |
С о |
где со....... |
Ср определяются |
соотношениями (24) § 5.4 при наблю |
дениях уг....... ут. |
В свою очередь с) могут быть заменены отноше |
ниями г) =с)/со, / |
= 0, 1....... р. Отметим, что уравнение (44) на |
стоящего параграфа соответствует уравнению (31) § 5.4 (с пере ставленными индексами р и т).
Пусть матрица С* разбита на блоки,
|
С о |
С р - 1 |
С р |
(52) |
* |
|
* |
С р—1 с ;_ , |
1 |
||
|
С р |
С р -1 |
С о |
Тогда частная корреляция между |
yt и yt+p при фиксированных |
||
yt+i....... |
yt+p^i равна |
|
|
(5 3 ) |
> - s l 1 ^ - . r 1Cp-1„ . |
||
|
CQ — с р _ 1 ( С * _ ,) 1 С р -1 |
Нормальные уравнения для оценки Р (р), использующие в качестве оценок для а (/), / = 0 , 1....... р, статистики с], имеют вид
Решением (54) относительно —Ьр (р) является (53). Таким образом, с точностью до эффекта, вносимого крайними членами, оценка па раметра Рр в предположении, что порядок равен р, совпадает с коэффициентом частной корреляции между у( и yt+p при фиксиро ванных значениях yt+i, ..., yt+p- ь
Теперь следует рассмотреть вопрос о выборе надлежащей сте пени стохастического разностного уравнения. Аналогия с обычной регрессией (§ 3.2) наводит на мысль о том, что если исследователь
5.7. МОДЕЛЬ СКОЛЬЗЯЩЕГО СРЕДНЕГО 251
в состоянии установить наибольший р и наименьший т возможные порядки уравнения, то он может последовательно проверять гипо тезы Рр = 0, Рр_1 = 0 и т. д . Мы изучим этот вопрос в гл. 6 с по мощью видоизмененной модели, позволяющей использовать точную теорию, подобную теории § 3.2.
При больших Т можно использовать ту же теорию, что и в пред положении нормальности. Максимальный порядок р может быть выбран достаточно большим, скажем 7710 или 774, если значения i = р , р — 1, ..., m + 1, берутся достаточно малыми, такими,
как КГ-3. Ряды изучаются, как правило, по той причине, что на блюдения оказываются зависимыми. Поэтому минимальный поря док m следует выбирать положительным, но малым, например рав ным 2. Для проверки гипотезы Рр = 0 при больших выборках нуж
на только оценка Рр (р). Фактически для выполнения процедуры
со многими решениями здесь нужны только оценки |3/ (/) для / = р и для тех меньших значений /, при которых гипотеза р/ = 0 еще при нимается, вплоть до значения /, при котором она впервые отвергает
ся. Вычисление этих оценок исходя из г*, ...» |
тр рассматривается |
в § 5.4. Необходимые статистики можно также |
получить при пря |
мом решении уравнения Rpb (р) = —т*р. |
|
5.7.МОДЕЛЬ СКОЛЬЗЯЩЕГО СРЕДНЕГО
5.7.1.Модель
Пусть
(1) |
|
yt = 2 *рг-ь |
|
|
|
|
/=0 |
|
|
где а 0 = |
1, a {vt} — последовательность независимых случайных |
|||
величин со средними %vt = |
0 и дисперсиями |
= а2. Тогда %yt = |
||
= 0 и |
|
|
|
|
|
|
Ч - I t - s |
| |
|
(2 ) |
= a(t — s) = |
О2 2 |
а/'а/+1 |
| > К — s| < <7, |
м> |
|
\ t - s \ > q - |
||
|
|
0 , |
|
Такой вид моментов первого и второго порядков определяется по существу только некоррелированностью величин vt. Соотношение (1) можно записать также в виде
(3) |
yt = 2 |
= iPM (ft"1) vt, |
252 ЛИНЕЙНЫЕ МОДЕЛИ С КОНЕЧНЫМ ЧИСЛОМ ПАРАМЕТРОВ Гл. 5.
где ^ — оператор |
запаздывания |
((£vt = ty-i), |
||||
(4) |
|
|
|
M(z) = |
2 |
а**-! |
|
|
|
|
|
/~о |
|
и |
— линейный |
оператор, |
полученный заменой z на ^ |
|||
в выражении |
—1 |
= |
q |
|
|
|
|
2 0&/2/. |
|
|
|||
гг |
произвольного |
/=0 |
|
|
||
Для |
стационарного процесса выражение |
|||||
00 |
|
|
|
|
|
|
2 ° (Л) 2 Лназовем производящей функцией ковариаций. Ковариация
h—~co
а (k) является коэффициентом при zk в этом разложении. Для про цесса скользящего среднего (1), имеющего ковариации (2 ), произ водящая функция ковариаций принимает вид
(5) |
2 а ft)zh = о2М (z) М |
|
А=-</ |
[Отметим, что это уравнение, а вместе с ним и соотношение (2 ) мо гут быть получены из леммы 3.4.1.] Если коэффициенты а 0 =
=1, <*1, ..., aqзаданы, то для вычисления ковариаций можно обра
зовать произведение, стоящее в правой части (5), и найти коэффи циенты при соответствующих степенях переменной г. Поскольку а, действительны, то корни г1( ..., zq уравнения
(6 ) М (г) = О
либо действительны, либо образуют пары комплексно сопряженных
корней. Если aq Ф 0 [и отсюда a (q) Ф 0 ], то корнями |
уравнения |
||||||||
(7) |
|
|
|
2 ® ( г - ? ) г * = 0 |
|
|
|
||
|
|
|
|
8=0 |
|
|
|
|
|
будут величины гъ |
..., |
zq, 11гъ ..., |
\Izq. |
значений |
ковариаций |
||||
Пусть нам |
дан |
произвольный |
набор |
||||||
<х(0 ), <т(1), |
..., |
a(q) Ф 0 |
стационарного процесса, причем |
||||||
a(q + 1) = |
... |
= 0 . |
Если |
х,- является |
корнем уравнения |
(7), |
|||
то, ввиду того что а (К) = а |
(—К), |
корнем (7) будет также и |
Их,-. |
Если корень по абсолютной величине меньше 1, то кратности этого корня и корня, обратного ему, совпадают (по той причине, что в этом случае при обращении в нуль производной некоторого порядка в точке х,- та же производная будет обращаться в нуль и в точке l/xj). Таким образом, корни, отличные по абсолютной величине от единицы, можно объединить в пары (х/, 1Ixj). Более того, любой ко рень, лежащий на единичной окружности, должен иметь четную
кратность. Дело в том, что если |z | = 1 , например г — еа , то
ч
2 о (g) г87 является при этом спектральной плотностью, и поэтому г=-9