книги / Непараметрическая статистика

По’аналогии с примерами 1—3 строятся й-статистики для начальных и центральных моментов высших порядков и для кумулянтов распределения (конечно, порядок оцениваемых

выражена в виде:

00

0 = P G(a, 6 )= £ К *(х)-= [ *ab(x)g(x)dx,

со

где

Параметр 0 является регулярным со степенью 1, и f(*i) =

—паь {х\). Соответствующая Й-статистика равна

т.е. является относительной частотой, и обладает наимень­ шей дисперсией среди несмещенных оценок вероятности.

Заметим, что результаты примеров 1—4 остаются спра­

ведливыми и для дискретных распределений.

Приведем теперь примеры построения Н-статистик для оценок параметров в двумерном случае. Пусть имеется неза­ висимая двумерная выборка (хи у{), (х2, У2 ), ■■■, {xN, yN)-

Нахождение первичных ядер производится аналогично тому, как это делается в одномерном случае; однако симметриза­ ция ядер и построение й-статистик существенно определя­

в отдельности, а при наличии зависимости симметризация не должна разрывать связанных пар.

П р и м е р 5. Пусть оценивается параметр Q=E (Х-Y). Оче­ видно, несмещенной оценкой 0 с минимальным объемом вы­ борки будет f(xi, t/i)=Xit/i. Дальнейшая процедура построе­ ния Н-статистики будет различной для зависимых и незави­

симых X и Y.

а. С л у ч а й н е з а в и с и м ы х X и Y. Симметризуя f(x1 , у\) сначала по х, имеем:

185

Производя далее симметризацию по у, окончательно полу­ чаем:

б. X и У з а в и с и м ы . В этом случае симметризация про­ изводится без разрыва эмпирических пар (xlt yt):

186

Полученные оценки функции распределения легко обобща­ ются на случай произвольной размерности k:

Закончив на этом с примерами, сделаем несколько заме­ чаний, касающихся практического построения и использова­ ния [/-статистик.

Как видно из приведенных выше примеров, главная труд­ ность построения [/-статистик заключается не в том, чтобы по заданной функции ф(%) найти соответствующее ядро f, а в том, чтобы представить интересующий нас параметр в виде математического ожидания известной функции <р(х). (Осо­ бенно наглядны в этом отношении примеры 2 и 4). После это­ го построение [/-статистики фактически сводится лишь к со­ ответствующей симметризации ядра, сначала по выборке объ­ ема степени параметра, затем — по всему объему выборки.

Качества [/-статистик гарантируются теоремами 1—5, и

лений, тогда как свойства [/-статистик зависят от этих рас­ пределений. Например, [/-статистики различны для зависимых

инезависимых выборок (см. примеры 5—7), а на практике иногда неизвестно, имеем мы дело с наличием или отсутст­ вием зависимости*. Другая трудность может встретиться в тех случаях, когда соответствующее математическое ожида­ ние не существует, но мы этого не знаем, так как не знаем распределения. Например, мы хотим оценить среднее значе­ ние и берем для этого выборочное среднее (пример 1). Если же распределение окажется таким, что соответствующий интеграл расходится (как, например, для распределения Ко­ ши), то [/-статистика теряет свои качества. Так, при распре­ делении Коши выборочное среднее распределено так же, как

иединичное выборочное значение, т. е. увеличение объема вы­ борки не приводит к улучшению оценки. Поэтому в тех слу­

чаях, когда есть основания подозревать, что мы можем столкнуться с такой ситуацией, имеет смысл произвести про­ верку поведения [/-статистики при возрастании N или на нескольких независимо полученных выборках.

* Заметим, что такую ситуацию можно обратить и на пользу. Напри­ мер, разность [/-статистик в примере 5 обычно используется как выбороч­ ный коэффициент корреляции; разность U3— UHв примере 7 может служить

основой для построения тестов, обнаруживающих наличие зависимости и т. д.

187

§8.4. УПРОЩЕННЫЙ СПОСОБ ПОСТРОЕНИЯ U-СТАТИСТИК

ИРАСПРОСТРАНЕНИЕ ЭТОГО СПОСОБА НА СЛУЧАЙ ЗАВИСИМОЙ ВЫБОРКИ

Процедура построения (/-статистики не всегда оказыва­ ется элементарной: необходимо отыскание ядра, получение симметричного ядра и последующая симметризация по всей выборке (см. § 8.3). Можно предложить (Симахин, Тара­ сенко, Шуленин [1]) несколько иной подход к оцениванию линейных функционалов, при котором не только эти слож­ ности исчезают, но в тех случаях, когда (/-статистики могут быть построены, они совпадают с оценками, вводимыми ниже, и, что более важно, этот подход дает несмещенные и состоя­

тельную оценку FN (X{1'>, ..., xW). С помощью известных тео­

и состоятельная оценка распределения &-го порядка, полу­

примером состоит в зависимости между {хг}. (/-статистики в этом случае не существует; наш подход дает Гы — (М—()-*Х

получаться разные оценки).

188

Данным способом легко получаются несмещенные и сос­ тоятельные оценки несимметричных функционалов; несиммет­ ричность может быть вызвана как самой формой функцио­ нала, так и зависимостью между выборочными значениями.

вид этой оценки одинаков для зависимых и независимых вы­ борок, ее свойства, конечно, будут разными.

симой выборке JN = [N(N—

1ф)

§ 8.5. НЕПАРАМЕТРИЧЕСКОЕ ОЦЕНИВАНИЕ

НЕЛИНЕЙНЫХ ФУНКЦИОНАЛОВ ПРЯМЫМ МЕТОДОМ

Многие важные характеристики случайных величин и ста­ тистических процедур выражаются нелинейными функциона­ лами. Например, энтропия случайной величины X, имеющей плотность распределения g(x), равна

Я ( * ) = — J g(x) Ing(x)dx;

фишеровская информация, играющая существенную роль для

характеристики погрешности точечных оценок параметров, имеет вид:

/== J [gr(x)]2g~{ {x)dx\

мощность ряда ранговых тестов выражается через функцио­ нал

J= $ g 2(x)dx-,

иэтот список можно продолжить. В ряде случаев, когда зна­ ние величины того или иного функционала оказывается не­ обходимым, приходится прибегать к его статистическому оце­ ниванию. Если мы имеем дело с распределением известного типа, эта задача сводится к задаче оценки параметров рас­ пределения и последующей подстановки этих оценок в функ­ ционал или прямо в конечную формулу, если соответствую­ щий интеграл сведется к «берущемуся», t непараметриче­ ском же случае этот метод неприменим, и необходимо раз­ вить другие подходы к оцениванию функционалов. Простей­ ший, напрашивающийся сам собой, подход состоит в сле­

дующем

189

П у с т ь н а м н е о б х о д и м о о ц е н и т ь ф у н к ц и о н а л

Возьмем в качестве оценки этого функционала величину Jiv которая получается в результате подстановки в (8.5.1) вме­ сто g и {g(i) } непараметрических оценок плотности и ее про­ изводных:

Так как существует несколько различных оценок плотности (см. гл. VII), возможно получение разных оценок функцио­ нала с различными, естественно, свойствами. Возникает ин­ тересная задача выяснения относительных достоинств и не­ достатков оценок различных типов. Для краткости все такие оценки функционалов будем называть «прямыми», имея в ви­ ду, что все они получаются благодаря непосредственной под­ становке g N в /, а сам метод получения оценок (8.5.2) — «прямым методом».

8.5.1. ПРЯМЫЕ ОЦЕНКИ НЕЛИНЕЙНЫХ ФУНКЦИОНАЛОВ,

ОСНОВАННЫЕ НА ОЦЕНКЕ ПЛОТНОСТИ РОЗЕНБЛАТТА-ПАРЗЕНА

Наиболее интенсивно исследовались прямые оценки, ко­ торые получаются подстановкой в (8.5.1) оценок Розенблат- та-Парзена (см. § 7 6) вида

Рассмотрением получающегося таким образом класса пря­ мых оценок занимались Бхаттачарья [1], Надарая [1], Бхаттачарья и Рушас [1], Фрелик и Скотт [1] и др. Внимание, уделенное исследователями именно этому классу оценок не­ линейных функционалов, объясняется двумя моментами. Вопервых, по оценке плотности g N (х) вида (8.5.3) легко по­ лучить оценку ее г-й производной (Бхаттачарья [1]):

Эти оценки производных оказываются весьма хорошими (Шустер [1]):

190

Второй момент, привлекающий внимание к данным прямым оценкам функционала, связан с известной теоремой функци­ онального анализа, утверждающей, что если некоторая по­

следовательность функций Фдг равномерно сходится к функ-

ь

ции Ф, то последовательность чисел / лг= j Фдг dx сходится

плотности Розенблатта-Парзена и ее производных гаранти­ руется асимптотическая несмещенность и состоятельность это­ го класса прямых оценок.

эти условия различны для разных функционалов. Покажем это на примерах трех функционалов, приведенных в начале параграфа; эти примеры представляют интерес и сами по себе, в силу теоретического и практического смысла функцио­ налов, а кроме того, на этих примерах мы проиллюстрируем методы оценивания скорости сходимости оценок конкретных

Этой задачей занимались Бхаттачарья и Рушас [1], которые показали, что прямая оценка / N при определенных услови­ ях является асимптотически несмещенной и состоятельной. Надарая [2] доказал, что полученная величина

Г Ы х ) - 8{х)\*ах

—со

сходится к нулю с вероятностью единица. Мы здесь дадим

единица.

191

мальную допустимую скорость убывания hN. При меньших

ре 1 не только наличием производной, но и тем, что g(x) функция с неограниченно убывающими хвостами стоит в зна­ менателе подынтегрального выражения. При конкретизации характера сходимости JN к / это приводит к появлению гра­ ниц ± K N в (8.5.9) и необходимости учета скорости спадания хвостов g (х). Пусть, для определенности, эту скорость можно оценить монотонной и строго возрастающей функцией Н(у), такой, что для всех у имеет место

W«y g(x)

Тогда верна следующая

* Эту задачу рассматривал и Бхаттачарья ([1], теорема 3, неравен­

ство (7) § 4). Однако им допущена ошибка, исправляемая нижеследующей теоремой 8.5.2 (Дмитриев и Тарасенко [1]).

192

то в силу ограниченности g шg' существуют такие константы С и В, что при достаточно больших N имеют место следую­ щие неравенства:

P r i\J N— A>*}<Pr{ sup JgN(X) - g ( x ) \ ^ d 4 BCN~\ -f

|дг|«Кд>

+Яг{ sup |£ A(-*0 —£ '(* )|> г/4£СА 7 }<

W<KA

< 2 P r { sup | gl(x) -g'(x)\^Bj4BCNT\ <

1*1<KN

а так как Еехр(—A N 2i ) < o o , то из леммы Бореля-Кантелли

194