книги / Непараметрическая статистика

отклонении от гипотезы подвержен не только максимальный (минимальный) интервал, естественным обобщением является введение частичных сумм упорядоченных интервалов, т. е. ста­ тистик вида

Т10 — \k), ^ll—Л(ЛГ-А) + ... + ^(Лг+1).

Такие статистики изучались Мулдоном [1], Блюменталем [1], Бартоном и Дэвидом [1] и другими.

§ 9.5. ^-КРИТЕРИЙ

Х2-критерий Пирсона [1] является исторически первым кри­ терием согласия и по настоящее время одним из наиболее употребляющихся в практике. Характерной чертой этого кри­ терия является то, что он направлен на обнаружение различий между гипотетическим и эмпирическим распределениями ве­ роятностей (для дискретных величин) или соответствующими плотностями (для непрерывного случая).

Предположим сначала, что мы имеем дело с дискретной случайной величиной У, принимающей k значений У), ..., Ук, относительно которых выдвигается предположение, что их ве­

где v — число степеней свободы. Этому же распределению под­ чиняется сумма квадратов v независимых нормальных слу­ чайных с нулевым средним и единичной дисперсией. Для ста-

225

тистики (9.5.1) число степеней свободы равно k—\. При ма­ лых объемах выборки (9.5.2) выполняется лишь приближенно и поправочные члены зависят от конкретной гипотезы {Рг}; поэтому х2-критерий является лишь асимптотически непара-

применения основывается на возможности представления не­ прерывной величины некоторым ее дискретным эквивалентом. Достигается это разбиением интервала возможных значений случайной величины X на непересекающиеся и прилегающие друг к другу интервалы группировки Дхг= Х ;+1—х, где (хД —

совокупность пороговых значений и последующего рассмотре­ ния дискретной случайной величины У со значениями {Уг:Уг= = А еД х (-}. Гипотетическое распределение введенной таким образом случайной величины выразится, очевидно, как

После этого проводится стандартное применение х2-критерия с применением соответствующих таблиц (см., например, Большев и Смирнов [1]).

Как подчеркнул Кокран [1], использование х2-критерия для непрерывных плотностей требует учета ряда особенностей и тонкостей, которым нередко не уделяется должного внимания. Прежде всего это связано с выбором числа, длин и размеще­ ния интервалов группировки {ДхД. Приведем сразу пере­ чень рекомендаций, основанный на детальном рассмотрении этого вопроса Манном и Вальдом [1], Гумбелем [2], Виль­

тервалов группировки и, конечно, от конкретной альтернати­ вы. Имея в виду непараметрическую альтернативу, Манн и Вальд [1] характеризуют различие между гипотезой и аль­

226

том смысле, что при любой конкретной альтернативе из это­ го класса мощность теста будет не меньше ‘/г- Это значе­ ние k определяется формулой

где С определяется из соотношения

У2т. I

иа — уровень значимости критерия. Для ориентировки при­

Вильямс [1], однако, показал, что мощность %2-критерия не слишком критична к выбору k и на практике число ин­ тервалов можно без особых потерь уменьшить примерно вдвое.

3. Обычно считается, что для успешного применения %2- критерия достаточно, чтобы в каждом из интервалов груп­ пировки было не менее 5—6 выборочных значений. Однако

из вышеприведенной таблицы следует, что для N от 200 до 1000 k меняется от 6 до 16, а с учетом поправки Вильямса — от 12 до 32, что значительно превышает рекомендуемую обычно цифру.

§ 9.6. О СРАВНЕНИИ КРИТЕРИЕВ СОГЛАСИЯ СТРУКТУРЫ d

ПО ИХ МОЩНОСТИ

Наличие большого числа критериев согласия неизбежно ставит в каждом конкретном случае задачу выбора одного из них, то есть задачу сравнения критериев по их качеству. Характеристики качества, естественно, могут быть различ­ ными: иногда решающим является простота выполнения про­ цедуры; иногда все зависит от того, имеются ли под рукой соответствующие таблицы; в ряде случаев предпочтение дол­ жно быть отдано тому критерию, который наиболее чувстви­ телен к отличиям альтернативы от гипотезы.

При параметрической формулировке простой альтернати­ вы тесты, построенные на отношении правдоподобия, являют­

227

ся, очевидно, равномерно наиболее мощными: структура та­ ких критериев согласия может быть выражена соотношением

2 ln g * № ) ) > C , i=i

где g* — альтернативная плотность приведенной выборки, F — гипотетическая функция распределения выборки, С — граница критической области. Свойства таких тестов согла­ сия подробно исследованы Беллом и Доксумом [1].

Если же альтернатива непараметрична (а это — наиболее типичная ситуация, в которых применяются критерии согла­ сия), то задача сравнения тестов по их мощности теряет од­ нозначность, которую в некоторой степени можно устранить, рассматривая определенные классы альтернатив, верхнюю или нижнюю границы мощностей внутри этих классов. Дру­ гую возможность предоставляет рассмотрение «контигуальных» альтернатив (то есть последовательности альтернатив, определенным образом сходящихся к гипотезе); другими словами, критерии согласия можно сравнивать по их питмановской или бахадуровской эффективностям (см. § 2.7—2.9). Обсудим вкратце некоторые результаты, полученные в этих направлениях; укажем сразу, что полученные к настоящему времени результаты пока трудно увязать в единую стройную систему из-за разнобоя исходных предпосылок различных авторов.

Достаточно общий подход предложен Бирнбаумом [2] и развит Чэпменом [1]. Этот подход состоит в том, чтобы за­ дать некоторый непараметрический класс альтернатив таким образом, который позволил бы выделить в этом классе «наи­ лучшую» и «наихудшую» альтернативы, при которых дости­ гается верхняя и, соответственно, нижняя границы мощности данного теста. Такой класс альтернатив оказывается воз­ можно ввести лишь для частично упорядоченных тестов (partially ordered tests), ориентированных на одностороннюю задачу согласия (Чэпмен [1]).

является частично упорядоченным и несмещенным. (Доказа­ тельство достаточно просто и приведено у Чэпмена [1]).

т

Рассмотрим сначала случай, когда «расстояние» между альтернативой и гипотезой вводится в виде

Исходя из приведенных выше определений и теоремы, легко указать наиболее и наименее благоприятные альтернативы (рис. 9.6.1), дающие верхнюю (при GB ) и нижнюю (при GH) границы мощности для одностороннего, частично упорядочен­ ного теста при фиксированном расстоянии б. Альтернативы

заданы таким образом, чтобы мощность можно было вычис­ лить, пользуясь результатами, известными для гипотезы, так как GB и GH являются комбинацией равномерных и дельта­ образных распределений. Поскольку GH имеет произвольный параметр и0 (см. рис. 9.6.1), то нижнюю границу мощности необходимо минимизировать по этому параметру. С учетом

здесь через $S (GH) обозначена мощность 5-критерия при аль­ тернативе G.

229

В качестве простого примера рассмотрим нахождение границ мощности для я^ -критерия Пирсона (см. § 9.3). Тес­

товая статистика этого критерия записывается в виде

InF(x£). (9.6.4)

1=1

Доказывая состоятельность я^ -критерия для всех альтерна­ тив в классе со (со — класс непрерывных распределений,

Ев {lnF(x)} = l —8(1—InS),

Аз (In F(*)} = 1+?S2 In S—(In2 8)(S+82).

EH jin Д(л:)}—1 —8 + « 0ln ^1 -]------j,

откуда

max Ен (1п / г(л:))=:(1—8) [1 —ln (l—8)];

этот максимум достигается при « о = 1 —б. Далее,

Ен (In Д(л))2= 2 ( 1 - 8 ) - и 0 [1п2(«0+ 8 )-1 п 2 щ\— —2(и0—Ъ) 1п(и0+ 8 )—2«0 In u0.

Аналогичные, хотя и более трудоемкие, вычисления можно проделать и для других критериев. На рис. 9.6.2 приведены для иллюстрации некоторые результаты расчетов, выполнен­ ных Чэпменом для пяти тестов при N = 50 и а = 0,05 . По-

30

скольку верхние и нижние границы для Dд- -теста оказыва­ ются наиболее близкими друг к другу, то Чэпмен делает естественный вывод, что «при отсутствии какой бы то ни бы­

ло информации о возможных альтернативах -тест явля­ ется наиболее предпочтительным среди рассмотренных, в не­ котором минимаксном смысле»*.

Если же имеется дополнительная информация о распре­ делениях альтернативы, то всегда можно указать другие бо­ лее предпочтительные критерии. Например, если известно, что распределения альтернативы в приведенном пространст­ ве имеют вид

G*(u) —ик, & >1,

то nj/ -критерий является наиболее мощным критерием и максимальная мощность Пд, -критерия будет гораздо больше

максимальной мощности DN -критерия для всех N и б.

* Возможно, следовало бы сделать более осторожный вывод, поскольку «расстояние» (9 6.1), по которому проводилось сравнение, является базовым

для построения именно £>д--статистики, и может быть именно этим объясня­ ется полученный результат.

231

Далее, если известно, что альтернативные распределения обладают большими отклонениями от распределения гипо­ тезы в середине области изменения переменной ы (0 ^ м ^ 1 ),

терий. В то же время QN -критерий более чувствителен к от­ клонениям на «хвостах» распределений.

В тех случаях, когда альтернативные распределения в ка­ нонической форме лежат сначала ниже распределения при гипотезе, а затем симметрично выше, то целесообразнее ис­

пользовать статистику Купера [1] VN= D t’ -\-DJi , нежели просто статистику DN. В следующем параграфе мы покажем,

что именно такой характер имеют приведенные альтернати­ вы для ряда масштабных альтернатив в исходном простран­ стве. Комо [1] показал, что Удг-тест обладает гораздо боль­ шей мощностью нежели Д^-тест для масштабных альтерна­ тив. Исследованиям границ мощности критериев типа Кол­ могорова-Смирнова занимались Смирнов [4], Бирнбаум [2], Мэсси [1, 2] и другие. Интересным результатом Мэсси [2] является возможность оценивания необходимого объема вы­ борки для достижения /^-критерием заданной мощности при

фиксированном расстоянии 6= sup|/r—G| (см рис. 9.6.2).

X

С помощью этого результата Мэсси показывает, что при боль­ ших объемах выборки эти критерии оказываются значитель­ но лучшими, чем х2-критерий. Например, на рис. 9.6.2 приве­ дены результаты Мэсси, показывающие, насколько больший объем выборки требуется для х,2-критерия по сравнению с /^-критерием для достижения мощности не меньше 0,5 при заданном расстоянии 6. Однако эксперименты Дурбина [1] с умеренными объемами выборки не позволяют утверждать, что DN -критерий всегда обладает большей мощностью, чем Х2-критёрий.

Аналогичное сравнение w2w- и х2-критериев провели Кац, Кифер и Вольфовиц [1]. Они показали, что при достаточно малых 6 и а < 7 г для достижения минимальной мощности 0,5 Х2-критерий требует асимптотически N наблюдений, тогда как со^,-критерию потребуется всего лишь aN‘ls наблюдений.

Другой подход к исследованию мощностных свойств тес­ тов, как мы уже отмечали, заключается в рассмотрении асимптотического поведения мощности при стремлении аль­ тернатив к гипотезе с увеличением объема выборки. Альтер­ нативы задаются в виде

232

где Н(х) — фиксированная функция с такими свойствами, что G(x) есть функция распределения. Качества тестов оце­ ниваются по асимптотическому поведению их мощности при М—уоо. Поскольку альтернатива задана, можно найти опти­ мальный тест для проверки гипотезы против альтернативы (9.6.7) и найти его асимптотическую мощность. Это позволя­ ет определить асимптотическую относительную эффектив­ ность (см. § 2.8) рассматриваемого теста по сравнению с оп­ тимальным. К этому классу работ относятся исследования Смирнова [4], Чибисова [1], Вайсса [3], Рамачандрамурти [1] и других. Для примера приведем результаты Чибисо­ ва. Оказалось, что при нормальной гипотезе Ф(х) и альтер­

нативах вида Ф(х—р) и Ф^j-^ 0 ) относительные асимптоти­

ческие эффективности (ер. и ев соответственно) со д -теста по

сравнению с оптимальным при альтернативе вида (9.6.7) равны:

при а = 1 —13=0,001 e(i ^ 0,58, ев^0,21.

Эти данные показывают, что сод,-критерий значительно более чувствителен к сдвигу, нежели к масштабу. Определенное представление о мощностных свойствах D к -критерия дают результаты Рамачандрамурти, который показал, что питма-

новская эффективность DM -критерия по отношению к опти­ мальному для нормальных альтернатив сдвига (Ккритерию Стьюдента) не опускается ниже чем 0,36.

Третий подход к изучению мощностных свойств тестов со­ гласия основан на асимптотическом представлении тестовых статистик через случайные процессы, которое уже упомина­ лось в § 9.3. Как и при истинности гипотезы, статистика, вы­ численная по выборке из альтернативного распределения, асимптотически эквивалентна некоторому случайному процес­ су z(t) броуновского типа. Превышение тестовой статистикой критического уровня асимптотически эквивалентно пересече­ нию реализаций z (t) этого процесса некоторой границы a (t), что в принципе и позволяет вычислить асимптотичес­ кую мощность теста*.

Продемонстрируем технику этого подхода на альтернати­ вах сдвига и масштаба. При альтернативе Fe (х) все статис­ тики структуры d представимы через процесс вида

* Правда, если a(t) не является линейной или кусочно-линейной функ­

цией, пока не найдено достаточно простых методов, позволяющих аналити­ чески вычислить эту вероятность.

мана и Скорохода [1], которое потребуется при вычислении асимптотической мощности.

Т е о р е м а 9.6.1. Пусть { ( ^ ( f ) } — последовательность ве­ щественных функций, определенных на [0, 1], которая сходит­

Нахождение асимптотической мощности тестов согласия при альтернативах сдвига и масштаба значительно упроща­

234