Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:

книги / Статистический анализ временных рядов

..pdf
Скачиваний:
2
Добавлен:
19.11.2023
Размер:
47.02 Mб
Скачать

2.5.

 

ПРОГНОЗИРОВАНИЕ

 

33

Тем самым, прогноз должен быть несмещенной оценкой для

%ух —

=

P'zt. Мы требуем также минимальности дисперсии (или, что рав­

носильно, среднеквадратичной ошибки прогноза)

 

(2)

* ( s йгУ( —’ У

d&t —

Uh *Ух)

 

= s f u d#t — P'zxV + o2-

Итак, задача состоит в том, чтобы отыскать несмещенную линей­ ную оценку с наименьшей дисперсией для линейной комбинации коэффициентов регрессии P'zT. Из теоремы Гаусса — Маркова сле­ дует, что такой оценкой является b% . Это вытекает из предыдущих рассуждений, поскольку данную модель можно преобразовать таким образом, что |Vzx будет компонентой (J*, если один из столб­

цов G-1 будет совпадать с z*. Дисперсия оценки b'zx равна

(3)

£ (b'zT — P'zT)2 = £zx (b — P) (b — p)' Zt = or2zxA-1zT,

Среднеквадратичная ошибка прогноза есть

(4)

£ (b'zr — yxf = a2(1 + z^A-1zT).

Указанное свойство прогноза b'zx можно сформулировать иначе. Этот прогноз минимизирует среднеквадратичную ошибку прогноза в классе всех линейных прогнозов, имеющих ограниченную средне­ квадратичную ошибку. (См. упр. 15.)

Если предполагать, что наблюдения подчиняются нормальному закону, то можно построить доверительный интервал для ух. При этом предположении случайная величина b'zi — ух распределена нормально с нулевым средним и дисперсией (4) и не зависит от s2. Поэтому величина

(5)

-

Ь-Т~ Г _ , ■

 

s V

1+ zTA 1z1

имеет ^-распределение с Т р степенями свободы. Доверительный интервал для ух с коэффициентом доверия 1 — е имеет вид

(6) b'zT— /г-р (8) s ]/" 1 + ZxA_1zT< ут< b'zx + /r-р (е) X

х s|/* l + z^A 1zT.

Здесь tr-p (в) определяется из условия, что вероятность попадания случайной величины, имеющей /-распределение с Т р степенями свободы, в интервал (—tr—P(s), tT~P(е)) равна 1 — е.

Изучим теперь ошибку прогноза для случая, когда некоторыми независимыми переменными пренебрегают. Предположим, что ком­

поненты вектора z, перенумерованы таким образом, что г< разби-

34

ИСПОЛЬЗОВАНИЕ РЕГРЕССИОННОГО АНАЛИЗА

Гл. 2.

вается, как и прежде, на блоки (z(/ ’ z'2>) и что вкладом от z*2) пре небрегают, т. е. предполагают ошибочно, что регрессия является ли

нейной функцией только от z*1’, а не от всего zt. Запишем для удоб­ ства (J'z* в виде p*'z*, где р* определяется соотношением (7) § 2.3> причем Gu = I, G2I = —А21Ай1. G22 = I и

(7)

Gz, =

 

Ам АП1 I м -<2)

&

 

 

 

 

 

 

А ц У /’ 1

 

( 2)

,

 

 

 

 

 

 

z[2>— А21

 

 

t

 

 

При этом векторы z*(I)

и z<(2>

ортогональны, t

=

1,

Т,

И

(8)

 

/А,*,

0 \

/А и

 

О

 

 

 

 

\

О

А22 /

\ О

А22 — А21Ац'А12

 

 

 

 

 

 

Оценкой для р*(1>является

 

 

 

 

 

 

(9)

 

Ь’О = Ай'с0' =

Ай' 2

 

 

 

 

 

 

 

 

 

 

 

Ы

 

 

 

 

Ее статистические свойства выражаются формулами

 

 

(10)

 

ЛЬ*(|) -

Ай' f j

z(/> (z^'p*^

+ Z;(2>'p’<2>) -

 

 

 

 

 

 

t=*\

 

 

 

 

 

 

 

 

 

=

Ай1'А11р*<1>+

0Р*(2)) = Р’(1),

 

 

 

(11)

 

S (Ь*(1) — р*(1))(Ь*(1) — р*(1))' =

о2Ай‘.

 

 

Прогноз

для момента

т (т >■ Г)

равен

b*(,>'Zx(1)

= b*(1)'Zx ’

и имеет смещение

 

 

 

 

 

 

 

 

 

(12)

г

- у . ) =

 

— Р-*.— р » # » =

 

- - Р К|'(й г>-А„АТТ,й 1').

Его дисперсия равна

(13)

Л(Ь*(1Ы 1) — Р’(,)'г^ )2 = а Ч ^ А й Ч 1),

а среднеквадратичная ошибка есть

(14)8(Ь,{1Ч Х1)-У г)2 =

- Р<2)' (Z<2) - А21Ай‘г<1>) (z<2)' - ^ > 'А й 'А12) р(2>+ a2Zt' А й '^ ’ -Ь а2.

Пренебрежение вкладом от z*2) приводит, в общем случае, к смеще нию прогноза, но уменьшает его дисперсию. (См. упр. 18.)

2.6.

АСИМПТОТИЧЕСКАЯ ТЕОРИЯ

35

В некоторых случаях можно ожидать, что прогнозирование проводится в ситуациях, когда векторы zT для последующих зна­ чений т подобны векторам zt для ранее наблюдавшихся значений. Сумма квадратов смещений

(15)2 1Р<2) (z*2)— A21A7T1ZJI))]2 =

ы

= 2 f y (zf> - A21An'z^) (z\2y - z|1)'An'A12)

= p(2)'(A2 2 - A 21A7l‘An )P(2)

пропорциональна параметру нецентральности распределения F- статистики для проверки гипотезы р(2) = 0 . Этот факт можно счи­ тать еще одним основанием для предпочтения F-критерия всем другим критериям для проверки этой гипотезы.

2.6. АСИМПТОТИЧЕСКАЯ ТЕОРИЯ

Приведенные процедуры проверки гипотез и построения дове­ рительных областей были основаны на предположении о том, что наблюдения распределены нормально. Если предположение о нормальности не выполняется, то эти процедуры все же мож­ но применять для больших выборок, используя асимптотическую теорию.

Теорема 2.6.1. Пусть yt = $'zt + щ, t = висимы, имеют нулевые средние, дисперсии а2

1, 2 ,..., где все щ неза­

ифункции распределе­

тT

ния

Ft (и), t — 1, 2......... Положим

Аг

2

z<z<>

Сг = 2

Уflu

 

 

0 . . .

0

 

 

 

(1)

0

 

 

 

 

 

 

Dr —

 

 

 

 

 

 

 

0

0 . . .

V alP

 

 

 

и

 

 

 

 

 

 

 

(2)

Rr =

Dr Ar Dr *•

 

 

 

 

Предположим далее, что (i)

an -*■ oo

при

T ->

oo,

i — 1 ,

..., p,

(ii)

zlr+t/afi -► 0 при T o o , i = 1 ,

...,

p, ^Hi) Rr R^

при

36

ИСПОЛЬЗОВАНИЕ РЕГРЕССИОННОГО АНАЛИЗА

Гл. 2..

Т ->

оо, (iv) Rco невырождена и (v)

 

(3 )

sup

f u*dF

 

 

‘=1.2,

\u\>c

 

при с -у оо. Тогда Dr (Ьг — Р) имеет, в пределе нормальное распре­ деление с нулевым средним и ковариационной матрицей CT2R~‘ .

Доказательство- Прежде всего имеем

(4)Dj- (Ьг ■— Р) — Dr (Аг 'сг — Р) =

А ( ы

, +

г,р)-р

= (D ^A rD f1)- 1

DF1 2

ztut.

Т

м

 

 

 

Мы докажем, что D71 2 ztut имеет в пределе нормальное распреде- i=i

ление с нулевым средним и ковариационной матрицей o2Roo, если

удастся показать, что для любого

вектора

а, а Ф 0 ,

величина

т

гм,

 

 

 

 

 

 

 

 

 

 

a 'D f‘2

имеет в пределе

нормальное распределение с

нуле-

i=i

 

и дисперсией aW R^a.

(См. теорему 7.7.7.)

Пусть

вым средним

yf =• a'D f'z,

= 2

(aAi/Vaj),

t =

1,

...,

T,

T = 1,2...;

тогда

 

 

/=i

 

"

 

 

 

 

 

 

 

(5)

 

Var ( 2 yJut) =

а22

(yf)2 =

oW RTa.

 

 

 

 

 

W i

/

t=i

 

 

 

x

 

 

Положим

 

 

 

_____

 

 

 

 

 

wj = yfut/(oV c t'Rra). Тогда I wf = 0 , 2 Var(ayf) = 1 и

 

 

 

 

 

 

 

 

 

t=l

 

 

(6)

2

i

 

 

____ S_____

 

 

(=1

|OJ|>6

 

(=1

и2>62[<*'RfU/iytT)2](J2

 

 

 

 

1

sup

j

 

u2dFt(u)^y 0 ,

 

 

 

 

 

 

 

 

 

 

 

(=1,2,...

 

 

 

 

 

 

 

 

«2>62[a'RT’C*/ max (V/7,)2]g?

где

Ff (да) — функция

распределения

случайной

величины wf,

t =

1,

..., Т. Сходимость к нулю правой части (6 ) вытекает из (3)

в силу

неравенства.

 

 

 

 

 

(7)

шах | yf I =

max

 

<

У К

I max

I гjt I

 

 

Г

1 = 1 ,...,Т

Й

“ ' У*и

М

« ...

т Г т

V £ *

2.6. АСИМПТОТИЧЕСКАЯ ТЕОРИЯ 37

правая часть которого сходится к нулю в силу (i), (И) и приводимой ниже леммы 2.6.1. Выполнение условия (6 ) Линдеберга — Феллера

влечет

за

 

собой нормальность

предельного распределения

 

т

 

 

 

a'D г 1 2 ZA- Юм. Л оэв (1963, § 21.2)

или теорему 7.7.2.] Таким об-

 

(=г

т

 

разом,

D f1 2

ztut имеет в пределе нормальное распределение с ну­

левым средним и ковариационной матрицей a2Roo, а Dr (Ьг — Р) имеет в пределе нормальное распределение с нулевым средним и

ковариационной матрицей <r2R“ ' . ш

Л емма 2.6.1. Если (i) ajt -+ оо и (ii) zlr+ilal

О, mo

 

 

m ax z%

 

(8)

 

 

 

при Т - у

оо. Обратно, из условия (8 ) вытекают условия (i) и (И).

Д оказательство.

Пусть t(T ) — наибольшее значение /, t = 1, ...

для

которого

zftrn — max z%. При этом

{7 (Т)} — неубы-

 

 

/= 1, ...,г

 

вающая последовательность целых чисел. Если она ограничена, то пусть ее максимум равен т. Тогда

м

...г

Z(.2>

 

cix

0 .

(9)

 

 

в силу (i). Если же t (Т)

оо при Т —>■0 0 , то

m ax zy

2

 

( 10)

^

г И (Т)

 

т

<(Г)—i

 

 

О,а

аи

 

в силу (И). Доказательство обратного утверждения предоставляется читателю. ■

Следствие 2.6.1. Пусть yt = fl'zt + щ, t = 1, 2....... где все щ независимы и одинаково распределены с нулевыми средними и диспер - сиями or2. Если выполнены условия (i) — (iv) теоремы 2.6.1, то Dr (Ьг — р) имеет в пределе нормальное распределение с нулевым

средним и ковариационной матрицей CT2RF' .

Следствие 2.6.2. Пусть yt = P'z( +

ut, 7 = 1 , 2,

где все

ut независимы, имеют нулевые средние

и дисперсии а2,

и пусть

выполнены условия (i) — (iv) теоремы 2.6.1. Воли существуют такие

6 > 0 и М > 0, что $

< М, t = 1, 2,

.... то Dr

(br — Р)

имеет в пределе нормальное

распределение

с нулевым

средним и

ковариационной матрицей o2R^‘.

38

ИСПОЛЬЗОВАНИЕ РЕГРЕССИОННОГО АНАЛИЗА

Гл. 2.

Теорема 2.6.1 в несколько отличной форме была получена Эйкером (1963). Оба следствия используют более ограничительные до­ статочные условия. Если в следствии 2.6.2 условие (ii) заменить ус­

ловием равномерной ограниченности zt zt, то соответствующий ре­ зультат может быть достигнут прямым применением центральной предельной теоремы Ляпунова. (См. упр. 20.) Однако условие огра­

ниченности zt zt слишком обременительно для наших целей, по­ скольку полиномы от t ему не удовлетворяют.

Т еорема 2.6.2. В

условиях теоремы 2.6.1, следствия 2.6.1 "~или

следствия 2 .6 .2 статистика s2 сходится по вероятности к а2.

Д оказательство

Поскольку

(ii)

2 № ~ PV - 21 Ufr -

bTZ'} + (b7 ~ Р>' г$

=

 

<=|

(=i

 

 

 

 

 

 

 

= i j

(У, -

brz/

+ (br -

P)' АГ (br — p),

 

2

(У‘ —P' z<)2

 

 

 

 

(12)

--- ---- f ------------(br — P)'

Ar (br — P).

Второй

член в (12)

неотрицателен.

Его

математическое ожидание

равно

 

 

 

 

 

 

 

(13) ^

я (Ьт - Р)' Аг (br -

Р) =

~

- tr ЯАг (br -

р) (Ь г-р)'« -

и стремится к нулю при Т оо. Отсюда в силу неравенства Чебы­ шева следует, что второй член в (12) сходится по вероятности к нулю. Утверждение теоремы вытекает теперь из закона больших чисел:

 

7

 

 

 

т

1

 

 

2

(Ут Р 2*)2

 

2 ut

2

 

(14)

plim — ---- „----------

рНгп Щ — =

рНш Щ — =

<т*,

 

Т -ю с

1

 

Т-+ГЗО

'

Т -*оо *

 

где xt — tfi и %xt — &Ы/ =

сг2. (Здесь plim означает сходимость по

вероятности. — Ред.) Этот

закон

можно

применить, поскольку

в условиях леммы 2 .6 .1

xt

одинаково распределены,

в усло­

виях леммы 2.6.2

& |х<| 1+л/2

< М [см. Лоэв (1963, § 20.1)1,

а в усло­

виях теоремы 2 .6.1

 

 

 

 

 

(15)

 

sup

(

xdG, (*)->-0

 

 

 

<-1.2...

 

 

 

 

УПРАЖНЕНИЯ

39

при d -> оо, где Gt (х) — функция распределения случайной величи­ ны л;, = 1$. [См. Лоэв (1963, § 20.2) и упр. 21.] в

Значение приведенных теорем состоит в том, что, опираясь на них, обычную теорию для нормального случая при больших объ­ емах выборок можно использовать с достаточной точностью и в тех ситуациях, когда наблюдения не являются нормально распределен­ ными. Мы увидим в § 5.5, что в случае процесса авторегрессии, в котором p'zj заменяется линейной комбинацией наблюдений yt при запаздывающих значениях переменной t, возможно дальнейшее развитие асимптотической теории, оправдывающей применение соот­ ветствующих процедур для больших выборок, когда предположе­ ние о нормальности не выполняется. В § 5.5 асимптотическая теория будет обобщена и представлена более подробно.

В разд. 10.2.4 подобные теоремы будут доказаны для последова­ тельностей {щ)%образующих стационарный случайный процесс ти­ па скользящего среднего.

ЛИТЕРАТУРА

Теория регрессии рассматривается более полно в ряде монографий, в числе которых: Грейбилл (1961), Дрейпер и Смит (1966), Кемпторн (1952), Кендалл и Стьюарт (1946а), Плэкетт (1960), Уилкс (1962) и Уилльямс (1959), Шеффе (1959).

§2.2. Т. Андерсон (1958).

§2.4. Т. Андерсон (1948).

§2.6. Лоэв (1963), Эйкер (1963).

УПРАЖНЕНИЯ

1. (§ 2.2) Докажите, что вектор Ь, определенный в (5), минимизирует 2 (Ут~

/=1

— b'z*)2 относительно Ь. Указание. Показать, что

тт

2

(Ут — b'z<)23= 2 (У‘ — b'z')2 +

(ь — Ь)' A (b — Ь).1

t-i

<=1

J

2, (§ 2.2)

Проверьте (8)

и (9).

 

3. (§ 2.2) Докажите теорему Гаусса — Маркова. Указание. Показать, что

если компоненты ^ аWt являются несмещенными оценками компонент вектора |),

ы

где а/ ~ A lzt + d/, t = 1, ..., Г, a ai, ..., аг и di, ..., dr суть р-мерные векторы,

40 ИСПОЛЬЗОВАНИЕ РЕГРЕССИОННОГО АНАЛИЗА Гл. 2.

т

то 2

dtZf =

0. П о к азать, что дисперсии этих оценок будут диагональны м и элемен-

t=l

 

 

 

 

 

 

т

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

тами м атрицы

о^А - "1 +

а 2 2

 

<ЭД*-

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

^ 1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4.

 

2.2) П окаж и те,

 

 

что

л

и а 2 =

р) s2/T являю тся

оценками м акси ­

 

 

 

b

м ального правдоподобия

д л я

р

и

а 2, если

уи

 

У?

независим ы

и

норм ально

распределены .

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

(§ 2.2)

П окаж и те,

что

b

и

s2

образую т

множ ество достаточны х

статистик

д л я оценки значений р и а 2, если уи ..., ут независим ы и норм ально распределены .

^У /созш ш е. П оказать,

что плотность

имеет

вид

 

 

 

 

 

 

 

 

(2яа*)_

Т Г ехр {— ~

 

[(Ь — р)' А (Ь — Р) +

(Г — р) s2] / а 2|

.j

 

6 .

( § 2.2)

Д о к аж и те,

что

 

 

если

g y =

Z p

 

и

%( у

— - Z P )

( у —

Z P ) '

=

а 21, то

ковари аци онная

м атрица

остатков

у

— Zb

равн а

а 2 (I — ZA —1Z ').

 

 

 

 

7.

( § 2 .2 )

Д о к аж и те,

что в

 

услови ях упр .

 

6 имеет место

соотнош ение

g (у —

— Zb)

(b — р )' =

0.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

8.

(§ 2 .2 )

П усть

невы рож денн ая

м атрица

А и обратн ая

ей м атрица

В = А-"1

одинаковы м

образом

разбиты

 

на

блоки

 

 

 

 

 

 

 

 

 

 

причем щтрица Ап невырождена. Решая уравнение АВ = I в блочном виде, убе­ дитесь, <ГТ0

(a)

В12В221

*Ai2,

(B)

В22 =

(А22

A21AJI*A12) *

9. (§ 2.3) Покажите, что если матрица G = (£ф невырождена и имеет тре­

угольную форму, так что gij = 0, t < /, то таковой же является и матрица G“ !

10. (§ 2.3) Пусть yt — разность между yt и выборочной регрессией на z^!)

и— разность между z p и его формальной выборочной регрессией на z p .

(a) Покажите, что %yt p(2^ z/2*.

 

(b) Покажите, что оценка наименьших квадратов для р(2\

построенная по

y t и z p в соответствии с (а), совпадает с оценкой, построенной

по y t и zf.

11.(§ 2.3) Докажите, что D = Г .

12.(§ 2.3) Пусть z*kt — переменные, полученные ортогонализацией перемен­

ных zkt, f = 1, ..., Т, а р +# = (Р*^^Р*^2^ ) — соответствующим образом преобра­

зованный вектор Р' = (Р(1) Р(2)/). Докажите, что статистика (12) из § 2.2 для про­

УПРАЖНЕНИЯ

41

верки гипотезы Н: р(2) = 0 имеет вид

 

2

аи(ьУ

 

2

b'fi

2

(c*)2/%

 

i=r-fl______ _t=r-f1

l=r+\______

 

(P — r) S2

~

( p — r) s 1

(p — r) S*

13.

(§ 2.4) Д окажите алгебраически,

что разность между (14) и (11) полож и­

тельно

полуопределена.

[Указание.

Эта разность

отличается лишь множителем

а 2 от матрицы

 

 

 

 

 

 

 

 

(Z'Z)-1 [Z'VZ— Z'Z (Z 'y - ’ZJ-’ Z'Z] (Z'Z)-1,

которая положительно

полуопределена, если таковой же является матрица

 

(Z '4 r ~ lZ

Z 'Z

\ =

( Z ' r ~ l\

vce-'z z).]

 

\

Z 'Z

Z'4rzj

\ 7.' I

 

 

14. (§ 2.5) Проверьте, что из теоремы Гаусса — Маркова вытекает, что b'zT

является наилучшей линейной несмещенной оценкой для P'zr .

 

 

 

 

 

 

 

 

 

 

 

т

 

 

 

 

15. (§ 2.5) П окажите, что если

линейная

оценка ^ ktyt математического ожи-

 

 

 

 

 

 

 

 

 

 

 

/=I

 

 

 

дания прогнозируемого значения

является

смещенной,

то средняя квадратичная

 

 

 

 

 

 

 

 

Т

 

 

 

 

 

 

ошибка неограничена. [У казание. Если %^

ktyt

 

P 'zx для Р = у, то рассмотреть

Р =

k y

при

k

оо .]

 

 

t=1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

16.

 

2.5) П окажите, что односторонние

 

доверительные интервалы для про­

гноза у х

с коэффициентом доверия (1 — е) задаются соотношениями

 

 

И

 

 

 

 

Ух < ь'гх+ lT—p(2е) s У 1+ 4 А

Ч

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

b 'zT —

tT_ p (2е) S У \

+ z ' A

 

'z T <

у т.

 

 

 

17.

 

2.5) П окажите, что доверительная область для прогнозов у х и у р

(т > Т,

р >

Г , т Ф р)

с

коэффициентом доверия (1 — е) выражается соотношением

 

 

 

 

 

 

1 + z^A

\

г хК —иР

,

1 /Ь'*, — ifx

 

 

(b'zT— у х

Ь'гр у р)

 

гх

1 +<А —ц

 

 

< 2s2F2,r_p (®)

 

 

 

 

 

ZPA

'

'b 'z „ —

 

 

 

18.

2.5)

Докажите,

что

 

 

 

 

 

 

 

 

 

 

 

 

 

 

4 ,,' А Й ,* Х1)< <

zT'A _ I zT.

 

 

 

[Указание. Использовать (7).]

 

 

 

 

 

 

 

 

 

19. (§ 2.6) Докажите следствие 2.6.2, используя теорему 2.6.1.

 

 

 

20.

2.6)

Д окажите

следствие 2.6.2

(без использования теоремы

2.6.1),

в

котором

условие (и) заменено условием (И') существования константы

L,, такой,

ч?о

i p t

 

L,

/

= I, ?; .,. .

 

 

 

 

 

 

 

 

42

ИСПОЛЬЗОВАНИЕ РЕГРЕССИОННОГО АНАЛИЗА

Гл. 2.

21. (§ 2.6) Докажите, что из (15) при Т оо вытекает

t= 1

т

(И)

-f"

2

{

(*)-»■ о»,

 

 

 

t= l

х < Т

 

 

 

 

Т

 

 

 

(П )

^

2 (

I

x4GtW -

xdGt (лс)

 

 

*= 1

1дг<7'

 

-

[условие Лоэва

(1963, § 20.2)]. | У казание. Д ля

произвольной константы d ' n T >

> d ' показать, что первый член последнего соотношения оценивается неравенством

т

 

т

^ ч г 2

I хЧ°* w

fs 1d' < x<T

М

O^ x^ d'