книги / Непараметрическая статистика

Соотношение (7.6.3) подсказывает, что, взяв достаточно ма­ лый интервал h при достаточно большом N, можно надеять­ ся на получение достаточно хорошей оценки плотности

если же N-^~oo, то h можно устремить к нулю с некоторой скоростью, h(N)-*-0 (так, чтобы число выборочных зна­ чений в (х—/г, х-\-К) неограниченно возрастало), тем самым сколь угодно приближаясь к (7.6.3).

Необходимо конкретизировать зависимость h(N), обеспе­ чивающую ожидаемую сходимость. Для удобства анализа придадим (7.6.4) несколько иную форму. Воспользовавшись

Теперь обобщение напрашивается само собой: можно рас­ сматривать не только К (у) вида (7.6.6), но и любую функцию К(у) из некоторого класса функций. Если (7.6.6) обеспечи­ вает вычисление относительной частоты попадания X в за­ данный интервал, то другие функции К (у) дадут как бы «взвешенную относительную частоту», что и оправдывает введение названий «весовая функция» для К(у) и «оценка разложением по весовым функциям» для ДдД*) (7.6.7).

Некоторые ограничения на функции К (у) можно нало­ жить сразу, по очевидному соображению, что К{у) должна обладать всеми свойствами плотности вероятностей:

155

дется наложить также некоторые ограничения и на класс оцениваемых функций р(х)).

Потребуем сначала, чтобы оценка была асимптотически

если h (N) — последовательность положительных величин та­

(7.6.10) .

Д о к а з а т е л ь с т в о . Введем обозначение EpN{x) —gN{x).

li>G

Так как

Правая часть последнего неравенства стремится к нулю при N-*oo и б-»»0, что и доказывает теорему об а с и м п т о т и ч е ­ ской н е с м е щ е н н о с т и оценки рх (х) во всех точках не­ прерывности функции р{х).

Если р(х) имеет производные в точке х, то суждения о характере смещения оценки pN{x) при конечных N можно продвинуть дальше. Соотношение (7.6.15) может быть прос­ той заменой переменных приведено к виду

gN(x)—p (x )= J \p(x—h{N) у)— /<■*)] K(y) dy,

что при достаточно малых h может быть представлено ря­ дом:

gN(x)~P(x)=hP'(x)■ 5уКЬ) dy+

Из (7.6.16) следуют дополнительные желательные свойства функций К (у)' плотность К (у) должна иметь все моменты; желательно также, чтобы$К(у)-ydy=0, т. е. чтобы К(у) бы­ ло симметричной относительно нуля функцией.

Рассмотрим теперь поведение дисперсии оценки рх (х)

157

Следовательно, при достаточно малых h,

Появляется еще одно желательное свойство К(у) —

f K 4 y ) d y< oo :

Кроме того, требование стремления дисперсии оценки к нулю при N—уоо приводит к новому ограничению на последователь­ ность h(N), кроме (7.6.14) должно иметь место:

к 6-функции, но не слишком быстро, так, чтобы число выбо­

дой точке х оказывается суммой неограниченно возрастаю­

ределенных условиях последовательность pN(x) может подчи­ няться центральной предельной теореме, т. е. оценка р#{х) может быть асимптотически нормальной:

для любого вещественного с. Парзен [1] показал, что доста­ точным для этого условием является существование при неко­ тором 6 > 0 предела

Высокие качества оценок с помощью разложения по ве­ совым функциям привлекли к ним внимание многих авто­ ров. Можно выделить три направления исследований: 1) ос­ лабление ограничений на условия сходимости р (х) к р(х); 2) оптимизация разложения (7.6.7); 3) вопросы применения данного класса оценок в различных статистических про­ цедурах.

Э. Надарая [1] показал, что для того, чтобы с вероятно­ стью единица при N- уоо имело место

158

sup \pN{ x ) - p { x ) 1 -0 ,

установил, что если потребовать только асимптотической не­ смещенности pN(x) и не налагать на К(х) условия обяза­ тельной неотрицательности, то среднеквадратическая ошибка

точках непрерывности последней сохраняется и в том слу­ чае, когда F (х) имеет счетное число разрывов.

Оптимизация разложения (7.6.7) ведется за счет выбора наилучшей формы функции К{х) и конкретизации зависи­ мости h(N). Конечно, все определяется выбором критерия и условий оптимизации. Например, если минимизировать сред­

щийся непараметрическим, состоит в том, чтобы минимизи­ ровать дисперсию оценки (7.6.17) за счет минимизации ин­ теграла J K2(t)dt при некоторых дополнительных ограниче­ ниях на K(t). При ограниченности интервала 2h, в котором K(i):ФО, и задании 2т моментов для K(t) оптимальная фор-

и K0(t) —0 при |/|> У 5 . Оптимальный же коэффициент h(N)

получается в виде C- N~~.

Вопросы использования оценок типа (7.6.7) в конкрет­ ных статистических процедурах будут рассмотрены в некото­ рых из последующих глав; здесь же отметим только, что, как показали Надарая [1] и Бхаттачарья [1], производные

В заключение необходимо отметить весьма важное обоб­ щение теории оценок плотности разложениями по весовым

159

функциям, сделанное М. Розенблатом [2]. Оказывается, что даже если выборочные значения Х\...... xN не являются неза­

висимыми, то при определенных ограничениях на характер зависимости асимптотическое поведение опенки pN(x) (7.6.7)

остается тем же, что и при независимых наблюдениях. Тре­ бования к типу зависимости носят несколько специфический характер, но, по существу, сводятся к достаточно быстрому ослаблению зависимости при увеличении |t—k\, где i и k ~ номера выборочных значений; таким требованиям удовлет­ воряет, например, гауссов стационарный марковский про­ цесс и некоторые другие типы марковских процессов.

§7.7. ОЦЕНИВАНИЕ ФУНКЦИИ РАСПРЕДЕЛЕНИЯ

ИПЛОТНОСТИ ВЕРОЯТНОСТЕЙ РЯДАМИ ФУРЬЕ

Один из напрашивающихся подходов к оценке неизвест­ ного распределения состоит в том, чтобы представить его в виде ряда по системе ортогональных функций; при этом оце­ нивание F(x) или р(х) сводится к оцениванию по выборке хь . , xN коэффициентов соответствующего ряда. В зависи­ мости от того, какая априорная информация используется для построения оценки коэффициентов, данный подход мо­ жет носить как параметрический, так и непараметрический характер; нас, естественно, будет интересовать последний случай.

Непараметрическое оценивание функции распределения или плотности состоит в том, чтобы использовать для оценки коэффициентов некоторый непараметрический факт. В дан­ ном параграфе мы еще раз убедимся, что различное упот­ ребление одного и того же факта может дать оценки, обла­ дающие различными свойствами. Мы рассмотрим вариант оценки коэффициентов ряда Фурье, опирающийся на исполь­

k=0

в качестве коэффициентов {Ак} этого ряда будем использо­ вать коэффициенты Фурье эмпирической функции распреде­ ления J N(x) (7.2.1):

160

Л*= I />(-*) '!»*(■*) «'(•*) d x -

=Е{ J С(х—Х{) фА(л:) w(x) dx\ — ( 'h(x ) М.х) dx dF(y)--

— | /^ (у) ^ <ik(x)w(x)dx] + $F(y)tyk(y)w(y)dy.

—00 —x

Последняя строка получена путем интегрирования по частям.

Применив к (7.7.7) формулу Парсеваля, легко получить, что

161

Учитывая (7.7.5) и (7.7.9), можно показать, что разница между взвешенными среднеквадрагическими ошибками

FNm (х) и Fw (х) равна

так, что (7.7.10) будет отрицательным, т. е. взвешенная сред­ неквадратическая ошибка FNm будет меньшей, чем у эмпи­ рической функции распределения FN.

Перейдем теперь к вопросам оценивания плотности р(х). С одной стороны, мы можем предложить в качестве оценки р(х) конечный ряд такого же типа, что и ряд для F(x): .

и рассматривать ее как самостоятельную оценку. Свойства этой оценки определяются выбором оценок для {<^}. Напри­ мер, если потребовать, чтобы

мой) функции р(х), то оценка (7.7.11) окажется смещенной, так как

что равно нулю лишь при ak= 0 для всех k > m . Правда, есть основания полагать, что смещенность является свойством, об­ щим для почти всех оценок плотности (см. Розенблатт [1]). Как и для FNm , можно вычислить взвешенную среднеквадра­ тическую ошибку pNm , которая оказывается равной

J(PNm)=E s IP (X ) - P JVJ X )]2 W ( X ) dx =

т

С другой стороны, можно рассматривать не только само­ стоятельную оценку (7.7.11), но и оценку p*Nm (х), являю­ щуюся производной от FNm (я):

162

ff Ю,000

между собой факторов: выбора системы функций {-фй(л:)}, выбора числа членов ряда т, характера истинной оценивае­ мой функции F (или р) и относительной величины интервала, в котором осуществляется оценивание. Некоторое представ­ ление о связи этих факторов дают два графика из работы Кронмала и Тартёра [1]: на них приведены области, соот­ ветствующие оптимальному числу т членов ряда для pNm (х) при заданных объеме выборки N и величине интервала (Ь—а), измеряемого в единицах В = ( х 0,75—* 0 ,2 5 ) , где хр —

квантиль уровня р. График 7.7.1 относится к оцениванию плотности нормального распределения, график 7.7.2 — рас­ пределения Коши; в обоих случаях разложение производится по синусам и косинусам периода (Ъ—a) IB.

§7.8. ОБ ОЦЕНИВАНИИ МНОГОМЕРНЫХ ПЛОТНОСТЕЙ

ИФУНКЦИЙ РАСПРЕДЕЛЕНИЯ

Во многих практически важных случаях необходимо про­ изводить оценивание многомерных распределений вероятно­ стей. Учитывая направленность данной книги, мы полностью опустим рассмотрение параметрической постановки этой за­

164