книги / Непараметрическая статистика

14<~*N

ивыполнено условие (8.5.10), то при достаточно больших N

Теперь можно сделать некоторые общие выводы о пря­ мых оценках нелинейных функционалов при использовании оценок плотностей Розенблатта-Парзена.

Во-первых, равномерная по х сходимость gN к g гаран­

Во-вторых, выбирая подходящим для каждого функцио­ нала образом параметр hN оценки gN 'и (в случае необходи­ мости) параметр KN оценки JN , можно обеспечить сходи­ мость JN к ] с вероятностью единица.

Рассмотрим теперь некоторые вопросы, связанные со схо­ димостью оценок (8.5.2) по вероятности.

В § 7.6 вычислены среднее и дисперсия для gf/(x). Эти

195

результаты легко обобщаются на случай произвольного лого г;зг0 в (8 5.4). Опуская простые выкладки, имеем:

Л е м м а 8.5.3. Если g и ее первые г+1 производные огра­ ничены, и {g/v}— такая последовательность положительных чисел, что hN=0(e,N ), то существует такая положительная константа С-<оо, что при достаточно больших N

Д о к а з а т е л ь с т в о . Как показал Бхаттачарья [1], спра­ ведливо следующее соотношение:

196

практическом сопоставлении оценок, обладающих разными типами сходимости, интересен сам по себе и будет рассмот­ рен в другом параграфе. Здесь же дадим теорему, характе­ ризующую скорость сходимости g $ (х) к g{r) (х).

Т е о р е м а 8.5.4. Если g(x) и ее первые г-f-1 производные ограничены, и если последовательности {hN} и {bN} таковы,

сти.

Д о к а з а т е л ь с т в о . Следует непосредственно из (8.5.25), если положить bN = z l e N, где в> 0 — сколь угодно малая пос­

по вероятности.

8.5.2. ПРЯМЫЕ ОЦЕНКИ НЕЛИНЕЙНЫХ ФУНКЦИОНАЛОВ,

ОСНОВАННЫЕ НА ГИСТОГРАММЕ

Учитывая широкое практическое употребление гистограм­ мы в качестве оценки плотности, интересно рассмотреть, что даст использование гистограммы для получения прямых оце­ нок функционалов.

Первое ограничение, накладываемое особенностями гис­ тограммы, состоит в том, что функционалы, содержащие про­ изводные плотности, не могут быть оценены прямым мето­ дом: производная гистограммы является суммой б-функций. Поэтому будем рассматривать только случай, когда (8.5.1) не содержит производных плотности.

где хи ..., xN — выборка объема N, Ак — величина k-ro интер­ вала группировки,

1, -жеД*.

п(х, Ak) —

О, x ^ A k.

Подстановка (8.5.26) в (8.5.1) дает следующую прямую оценку:

N

где pk = N ~ 1'Zn(xl , Ак) есть относительная частота события

Х<=Ак.

Рассмотрим, какими свойствами обладает прямая оценка (8.5.27). Известно, что относительная частота рк имеет асим­ птотически нормальное распределение со средним рк и дис­ персией в \ ь ~ р к (1—Рн ) IN, где рк — истинное значение ве­ роятности события Х^Ак. Отсюда, последовательность чисел lkN= p k—pk сходится к нулю по вероятности. Если теперь ограничиться классом функций Ф( 0 . разложимых в ряд Тэй­ лора для всех t, то можно записать

<8'5-28’ а при достаточно больших N можно ограничиться учетом

198

Итак прямые оценки функционалов, получаемые с помо­ щью гистограммы, хотя и имеют убывающую с ростом N дисперсию, обладают смещением, которое зависит от g(x) и, следовательно, в непараметрическом случае неизвестно. Ко­ нечно, можно уменьшить смещенность оценки (8.5.27) путем увеличения числа интервалов группировки, но тогда потре­ буется соответствующее увеличение объема выборки. Эта осо­ бенность данного типа прямых оценок делает их малоинте­ ресными для оценивания. Однако существует область стати­ стических приложений, в которой данные оценки могут с ус­ пехом применяться. Речь идет о задаче согласия (см. гл. IX). Из (8.5.30) следует, что (если Ф выбрана удачно) среднее значение JN будет сходиться к разным величинам при раз­ ных распределениях. Этот факт и можно использовать, так как нулевая гипотеза F в задаче согласия известна, и оста­ ется лишь установить отличие JN (G) от JN (F). Известным примером является %2-критерий, Но очевидно, что это — не единственный возможный тест согласия, основанный на гис­ тограмме.

8.5.3. ПРЯМЫЕ ОЦЕНКИ НА ПОЛИГРАММЕ

Полиграмма является непараметрической оценкой плот­ ности (см. § 7.5) и также может быть использована при оце­ нивании функционалов. По тем же причинам, что и гисто­ грамма, полиграмма не пригодна в тех случаях, когда функ­ ционал содержит производные плотности. Рассмотрим свой­ ства прямых оценок, получаемых с помощью полиграммы, на примере использования полиграммы первого порядка.

Пусть функционал имеет вид

199

Свойства статистики (8.5.32) существенно определяются не только распределением выборки, но и видом функции F Можно сделать лишь следующие общие утверждения: 1. Ес­

ли случайные величины F [(д/~ \ ^ д ] имеют первые два мо­

мента, то в силу асимптотической независимости выборочных интервалов и центральной предельной теоремы, оценка J является асимптотически нормальной. 2. Если функция F та­

мых оценок на полиграмме можно несколько конкретизиро­ вать, если воспользоваться представлением выборочных ин­ тервалов через экспоненциально распределенные величины

где h ( x ) = g ( x ) l [ 1—G (x )]— функция интенсивности. При вычислении асимптотики первого момента JN можно восполь­ зоваться сходимостью порядковых статистик к квантилям, что дает

и дальнейшие рассуждения можно провести, лишь конкре­

тизируя вид функции F.

Предположим, например, что оценивается дифференци­ альная энтропия распределения g(x). Тогда F(g) ——lng, и мы имеем:

= — | g(x) In g(x) d x —C—J— С,

где С — константа Эйлера. Таким образом, прямая оценка функционала энтропии, основанная на выборочных интерва­

200

лах, имеет асимптотическое смещение, равное —С. Легко по­ казать, что дисперсия этой оценки при N-*-oо стремится к ну­ лю, что и дает окончательное представление о ее свойствах.

В качестве примера, в котором JN не является асимпто­ тически нормальной, рассмотрим оценивание интеграла от квадрата плотности. В этом случае (8.5 32) приобретает вид

и /дг не имеет конечных моментов. Исследование таких слу­ чаев сложно и представляет самостоятельный интерес.

§ 8.6. ОЦЕНИВАНИЕ НЕЛИНЕЙНЫХ ФУНКЦИОНАЛОВ КВАЗИ- U-СТАТИСТИКАМИ

Можно указать следующие недостатки прямых оценок нелинейных функционалов, рассмотренных в предыдущем па­ раграфе. Во-первых, при практическом оценивании оказы­ вается необходимым выполнение интегральных операций над непрерывными случайными функциями, что является трудо­ емким делом и связано с внесением дополнительных погреш­ ностей. Во-вторых, для ряда функционалов прямые оценки оказываются весьма медленно сходящимися, что требует очень больших объемов выборки. Поэтому представляют ин- . терес поиск и исследование других методов оценивания не­ линейных функционалов. Одному из таких методов и посвя­ щен данный параграф.

Идея состоит в том, чтобы использовать непараметриче­ скую оценку плотности лишь до такой степени, чтобы можно было привести оцениваемый функционал к виду, допускаю­ щему его дальнейшее оценивание с помощью ^-статистики.

Известно (см. § 8.3), что ^/-статистиками можно оцени­

но поскольку g(x), а следовательно, и f[g(.*:)] неизвестны, построение £/-статистик исключается. Однако, если в ^ [g)*)] подставить вместо g(x) ее непараметрическую оценку g iV(x) полученная функция fN (х) —F[gN(х) ] оказывается извест­ ной, (8.6 2) приобретает вид (8.6.1), что и позволяет далее

201

применить методы, используемые при построении (/-статистик. Будем называть получаемые таким способом оценки функ­ ционалов к в а з и - ( / - с т а т и с т и к а м и. Можно ожидать, что квази-(/-статистики будут обладать хорошими свойствами. Во-первых, какая-то доля высоких качеств (/-статистик дол­ жна перейти на квази-(/-статистики. Во-вторых, практиче­ ское получение оценок функционалов квази-(/-статистиками не требует выполнения интегральных операций, что также является достоинством.

Прежде чем переходить к рассмотрению свойств квази-(/- статистик, укажем, что существует три типа таких оценок, которые различаются способом использования выборки. Пред­ положим, что оценивание плотности производится по выборке объема Ni, симметризация — по выборке объема <V2, а общий объем выборки iV^/Vi+/V2. Ясно, что качество оценки будет зависеть от того, перекрываются ли указанные подвыборки и каково соотношение их объемов. Для конкретности квази-U- статистики при NI—N2 = N будем называть оценками I типа,

при JVi-f-JV2=./V — оценками II типа и при NI-\-N2> N — оцен­ ками III типа.

По-видимому, нельзя сделать суждений о свойствах ква­ зи-(/-статистик безотносительно к виду функции F в (8.6.2). Поэтому мы проведем рассмотрение этих свойств для двух достаточно широких классов функций F и для некоторых кон­ кретных F, представляющих самостоятельный интерес.

202

v(л )= # (x+ A g(л:) = £ ( . * ; ) ( 8 . 6 . 5 )

1нная плотность, Ад, — смещение, а £д, — асимпто-

мальная случайная величина с нулевым средним; >|дг величины | JV и величина A/V стремятся к ну-

астании N, поэтому при больших N следует ожи- ;й сходимости ряда Тэйлора для F(g) по сгепе-

и g j v — g = A g -

Р Ш х)1= РШх)+^(х)1=

1яются простым следствием условий нормировки

Найдем смещение квази-(/-статистики. Подставив (8.6.6) (8.6.3), производя усреднение и переходя к пределу, имеем;

Рассмотрим теперь асимптотическое поведение дисперсии вази-(/-статистики (8.6.3). В силу сходимости последова-

де для краткости введены очевидные обозначения. Произодя соответствующие вычисления по формуле

D J ^ E A - E * J n,

олучим: