книги / Непараметрическая статистика

ку некоторому преобразованию и исследовать статистические свойства преобразованной выборки. Во всех изученных до сих пор случаях оказывалось, что среди свойств преобразо­ ванной выборки всегда находились такие, которые сохраня­

кий перечень известных преобразований выборки и непара­ метрических свойств преобразованной выборки. (Заметим при этом что, по-видимому, нет ограничений на рассмотрение дру­ гих преобразований и возможное установление новых непа­ раметрических фактов).

Установив тот или иной непараметрический факт, мы мо­ жем указать класс задач, которые могут быть решены с его

* Пусть читатель не смущается тем, что в таблице могут встретиться незнакомые ему понятия или утверждения: все они будут разъяснены поз­ же в соответствующих разделах книги.

32

проверки случайности или независимости выборки и т. д. Как именно использовать их, как строить конкретные процедуры— это вопрос, который мы рассмотрим впоследствии в главах третьей части книги.

Итак, методика построения процедур для решения непара­ метрических задач предстает теперь как последовательность выполнения следующих этапов.

1. Предлагается некоторое преобразование исходной вы­ борки, результатом которого является новая выборка. Иног­ да это преобразование можно предложить, исходя из осо­ бенностей задачи, подобно тому, как это делается при ис­ пользовании принципа инвариантности. Но можно делать это и эвристически, не привязываясь заранее ни к какой кон­ кретной задаче, в расчете на то, что у преобразованной вы­ борки удастся найти впоследствии какие-то непараметриче-

-ские свойства. Пока неясно, существуют ли ограничения на класс возможных преобразований.'

2.Изучаются статистические свойства преобразованной выборки в предположении, что распределение исходной вы­ борки известно. Затем отыскиваются условия, при которых в окончательных формулах знание распределения несуществен­ но, т. е. устанавливаются непараметрические факты. По-ви­ димому, общим правилом является существование непарамет­ рических фактов для любых разумных преобразований вы­ борки; по крайней мере, до сих пор не найдено обратного при­ мера.

3.Найденные непараметрические факты анализируются с

целью нахождения адекватных им типов непараметрических задач. Например, статистическая эквивалентность выбороч­ ных блоков может использоваться для оценки неизвестного распределения, для построения критериев согласия, для про­ цедур распознавания образов и, возможно, в каких-то других случаях. (Иногда даже если преобразование выборки пред­ ложено с учетом конкретной задачи, может оказаться, что непараметрические факты, связанные с этим преобразовани­ ем, имеют более широкое применение).

4. Предыдущие этапы выполняются, естественно, лишь те­ ми, кто непосредственно занят развитием самой непарамет­ рической статистики. Тот, перед кем стоит конкретная при­ кладная непараметрическая задача и кто нуждается в кон­ кретной статистической процедуре для ее решения, имеет пе­ ред собой две возможности.

Первая состоит в выборе из числа известных процедур той, которая его по тем или иным причинам больше всего

устраивает Следует, однако, иметь в виду, что в ряде слу­ чаев мало что известно об относительных достоинствах раз­ ных процедур, предназначенных для решения одной и той же задачи (типичным является положение с многочисленными критериями согласия); поэтому здесь требуется известная ос­ торожность и критичность В третьей части книги мы сдела­ ем попытку собрать разбросанные по многочисленным стать­ ям результаты по этим вопросам.

Вторая возможность заключается в применении разрабо­ танных к настоящему моменту методов синтеза непарамет­ рических процедур к данной конкретной задаче. Надо ска­ зать, что для ряда непараметрических процедур пока нет ал­ горитмических методов их синтеза, при их создании большую роль играют интуиция и эвристические методы. Однако во многих случаях найдены и алгоритмические методы. Это в особенности относится к синтезу тестов для проверки гипо­

метрических тестов.

Прежде всего, нулевая гипотеза должна быть представ­ лена как простая. В некоторых задачах (например, в задачах согласия) нулевая гипотеза является простой в самой их по­ становке; если же нулевая гипотеза непараметрична, то она с помощью подходящего непараметрического факта проек­ тируется на простую гипотезу. В итоге в любом случае мы имеем нулевую гипотезу, представленную единственным и из­ вестным распределением.

К сожалению, непараметрическая альтернатива остается непараметрйческой и после сведения нулевой гипотезы к про­ стой. Поэтому обычно поступают следующим образом. Бе­ рется любое и з в е с т н о е распределение, удовлетворяющее условиям альтернативы; известными из классической статис­ тики методами синтезируется тест для проверки простой ги­ потезы против этой конкретной простой альтернативы; а за­ тем этот тест используется для проверки гипотезы против любого из распределений альтернативы. Конечно, историче­ ски многие тесты были предложены чисто эвристически: ино­ гда по интуиции можно предложить конкретную статистику и предсказать, что она будет удовлетворять определенным тре­ бованиям к различению гипотезы от альтернативы Однако впоследствии почти всегда оказывалось, что каждый такой тест можно получить и указанным выше способом

Построенный таким образом тест обладает следующими свойствами. Во-первых, он будет непараметрическим в том смысле, что его уровень значимости не зависит от конкретно­ го распределения даже в том случае, если нулевая гипотеза непараметрична. Причина этого лежит в представлении нуле-

34

вой гипотезы в виде простой. Во-вторых, хотя тест рассчитан на различение м е ж д у нулевой гипотезой и д а н н ы м «представителем» альтернативной гипотезы, он пригоден для проверки и против других распределений альтернативы Правда, при этом мощность теста будет зависеть от того, ка­ кое именно из распределений управляет выборкой; и, соглас­ но фундаментальной лемме Неймана-Пирсона, мощность тес­ та при этом может только уменьшаться Однако тест остается несмещенным; интересно, что в некоторых случаях сущест­ вует целый подкласс распределений альтернативы, для ко­ торых мощность теста сохраняется постоянной (см. гл. 9).

Читатель, по-видимому, уже понял это, но мы все же под­ черкнем еще раз, что в синтезе новых непараметрических про­ цедур по данному методу пока еще большая роль отводится интуиции и изобретательности.

§ 1.7. МЕТОД ФУНКЦИОНАЛОВ В НЕПАРАМЕТРИЧЕСКОИ СТАТИСТИКЕ

До сих пор мы рассматривали методы решения статисти­ ческих задач, основанные на интерпретации статистик как функций выборочных значений. Этапы синтеза и анализа статистической процедуры при этом подходе выглядят сле­ дующим образом. Во-первых, основываясь на знаниях, опыте, интуиции, для каждой задачи можно построить или выбрать из известных такую функцию выборочных значений, которая будет чувствительной к различиям распределений, описанным в условиях задачи. Во-вторых, качество процедуры, основан­ ной на предложенной статистике, можно определить, посколь­ ку, зная функцию случайных величин и их распределения, в принципе всегда можно найти распределение самой функции, а по нему — все интересующие нас характеристики процеду­ ры.

Практически всеми результатами современной статистики мы обязаны именно такому подходу. Однако по мере выдви­ жения практикой все более сложных задач и соответствующе­ го развития теории стали проявляться трудности и недостат­ ки, связанные с обоими этапами этого подхода. Первый этап — выбор подходящей статистики — носит эвристический характер, и в малоисследованных задачах статистику прихо­ дится буквально изобретать. В непараметрическом случае это приводит к типичной для изобретательства ситуации: всегда остается открытым вопрос, а нельзя ли придумать еще чтонибудь получше, все ли подходящие статистики мы перебра­ ли. Второй этап — нахождение распределения статистики — в принципе преодолимый, поскольку вид статистики задан,

часто оказывается практически не приводящим к успеху из-за невозможности в сложных задачах довести до конца анали­ тические выкладки. Именно поэтому так велики трудности исследования мощностных свойств многих тестов, так мало известно о свойствах статистик при зависимых выборках и т. п. Статистическое моделирование на ЭВМ может пролить свет на свойства конкретной процедуры в конкретных усло­ виях; это в ряде случаев устраивает практиков, но не может удовлетворить _теоретиков из-за частности получаемых ре­ зультатов.

Указанные трудности в значительной степени связаны с основной идеей подхода, согласно которой статистики рас­ сматриваются как измеримые функции случайных величин. Р. Мизес [1] предложил принципиально иной подход, кото­ рый позволяет преодолеть или обойти многие трудности ис­ следования статистик. Его идея состоит в том, чтобы рас­ сматривать статистику как функционал от эмпирической функции распределения. Эту мысль развивали В. И. Смир­ нов [6] и в особенности А. А. Филиппова [1], Чернов и Сэ­ видж [1], а также другие авторы. Ограниченное распростра­ нение, которое эта идея получила в статистике, объясняется

выборочных интервалах и крайних порядковых статистиках). Весьма существенное развитие идея Мизеса получила в ис­ следованиях Хёфдинга [2], который рассматривал линейные интегральные функционалы от несмещенной оценки произ­ ведения маргинальных функций распределения. Класс по­ лучающихся при этом статистик назван им U -статистиками. Однако и этот класс еще не охватывает всех возможных ста­ тистик.

Тем не менее, уже на этом, пока еще частном, этапе раз­ вития данный подход явно демонстрирует свои преимущества как при синтезе статистических процедур, так и при их ана­ лизе. Действительно, вместо конструирования статистики те­ перь необходимо строить функционал, выражающий апри­ орную информацию о задаче; статистика же получается ав­ томатически, путем подстановки в функционал оценки функ­ ции распределения. Анализ же свойств статистики упроща­ ется благодаря тому, что эти свойства могут теперь быть выражены через свойства оценки функции распределения.

Эти преимущества делают актуальным такое обобщение и развитие этого подхода, которое позволило бы охватить возможно более широкий класс статистик. Для этого нужно прежде всего обобщить интерпретацию статистики как оцен­ ки функционала.

36

Всякая задача проверки гипотез или оценивания пара­ метра может рассматриваться как задача отбора (на основе результатов наблюдений) одного из подклассов некоторого класса распределений. Задачи проверки гипотез соответст­ вуют дискретному (и обычно конечному) множеству под­ классов; задачи оценки параметра — континуальному (в не­ параметрической задаче данному значению параметра всегда соответствует подкласс распределений, а в параметриче­ ской— либо подкласс, либо одно распределение, в зависи­ мости от соотношения числа параметров семейства и числа оцениваемых параметров). Другими словами, в таких зада­ чах необходимо на основе выборки провести различение под­ классов Это достигается путемвведения количественной ха­ рактеристики различий между подклассами в виде функ­ ционала.

В непараметрической постановке задачи различие между распределениями обычно задается в настолько общем виде, что допускает неоднозначное толкование при формулировке количественной меры различия, что и приводит к возмож­ ности построения нескольких функционалов для одной и той же задачи. Проиллюстрируем это на простейшей задаче раз­ личения распределений по параметру расположения. Пусть требуется оценить параметр а, если задано только то, что он входит в неизвестное распределение Fa (x) следующим об­ разом: Fa ( x ) = F ( х—а). Как видим, указанное различие но­ сит характер сдвига, но сам сдвиг еще не определен. Мы мо­ жем доопределить его как математическое ожидание (ct{=

жено несколькими функционалами, каждый из которых мо­ жет быть оценен по выборке.

Итак, сформулированное в постановке задачи различие между распределениями конкретизируется с помощью зада­ ния некоторого функционала. При этом функционал не обя­ зательно должен быть явно определен только на функциях распределения; в него могут входить плотности, производ­ ные плотности, обратные функции распределения, характеристич ;ские функции и другие представления распределений.

Конкретизировав заданное различие, то есть выбрав не­ который функционал, определенный на тех или иных пред­ ставлениях распределений, участвующих в задаче, мы можем

37

перейти к синтезу статистики. Это достигается путем подста­ новки в функционал вместо входящих в него представлений

ной задачи, объясняется не только тем, что заданное разли­ чие может быть выражено обычно не единственным функцио­ налом, но и тем, что одно и то же представление распреде­ ления может быть оценено, как правило, несколькими спо­ собами. Например, плотность в непараметрическом случае может быть оценена гистограммой, оценкой РозенблаттаПарзена, полиграммой любого порядка, рядами по ортого­ нальным функциям и т. д. Использование каждой из таких оценок для оценивания функционала будет давать новую статистику, со своими особенностями в свойствах*.

Итак, логически продолжая подход Р. Мизеса, можно дать следующее определение: с т а т и с т и к а е с т ь о ц е н ­ ка н е к о т о р о г о ф у н к ц и о н а л а , в к о т о р ы й в м е с ­ то в х о д я щ и х в н е г о п р е д с т а в л е н и й р а с п р е ­ д е л е н и й , у ч а с т в у ю щ и х в з а д а ч е , п о д с т а в л е ­ ны с т а т и с т и ч е с к и е о ц е н к и э т и х п р е д с т а в ­ л е н и й .

Предыдущие рассуждения позволяют надеяться на то, что это определение охватывает практически все известные ста­ тистики и может служить основой для синтеза новых ста­

2) выражение свойств оценок функционала через свойства оценок фигурирующих в нем представлений. Декомпозиция сложной проблемы является мощным средством упрощения ее решения, и в данном случае тоже есть основания надеять­ ся на проявление этого эффекта. Продемонстрируем это на простейшем примере.

Пусть нам необходимо оценивать линейный интегральный

* В частности, поэтому не всегда сразу можно определить, какому функционалу соответствует данная статистика, построенная эвристически; иногда анализ такой «трудной» статистики может подсказать новую, ранее не исследованную оценку того или иного представления распределения.

38

ности, которые мы молчаливо будем предполагать, но пока не станем конкретизировать),

Таким образом, если мы изучим свойства среднего и кова­ риации оценки /> , мы можем получить суждения о среднем и дисперсии нашей оценки (при условии, что они сущест­ вуют) . Во многих случаях этой информации достаточно для практического использования предлагаемой оценки.

В данной книге мы ограничимся лишь формулировкой этой программы; лишь иногда (например, в гл. VIII) будут отражены некоторые ее аспекты. Ее реализация для одного класса интегральных (линейных и нелинейных) функциона­ лов изложена в монографии под общей редакцией Ф. П. Та­ расенко [8].

Г Л А В А П

ХАРАКТЕРИСТИКИ КАЧЕСТВА СТАТИСТИЧЕСКИХ ПРОЦЕДУР

§2.1. ВВЕДЕНИЕ

Для решения любой статистической задачи можно пред­ ложить несколько различных процедур. Выбор конкретной процедуры основывается на ряде соображений. Иногда боль­ шое значение придается простоте вычислений, требующихся для выполнения процедуры; в других случаях использование электронных вычислительных машин ослабляет это требова­ ние. При «ручных» вычислениях решающим может оказаться наличие достаточно подробных таблиц, связанных с той или иной процедурой. Однако при любых обстоятельствах нас прежде всего интересует к а ч е с т в о решений, которые мы будем получать с помощью данной процедуры, т. е. их точ­ ность, надежность и т. д.

Для оценки качеств статистических процедур в математи­ ческой статистике введены специальные понятия, разрабо­ таны различные методы сравнения процедур между собой. В данной главе мы дадим краткий обзор этих понятий и ме-

39

тодов. Наиболее детально рассмотрено сравнение тестов (§ 2.4 и далее), так как в последние годы в этом направле­ нии получен ряд новых результатов.

§ 2.2. СВОЙСТВА ТОЧЕЧНЫХ ОЦЕНОК ПАРАМЕТРОВ (СТАТИСТИК)

0, тем точечная оценка лучше. Но так как 0 является функ­ цией выборочных значений, она оказывается случайной вели­ чиной, и, следовательно, как бы ни вводилось конкретное

Л

расстояние между 0 и 0, оно тоже будет случайным. Поэтому

л

необходимо определить смысл «близости» между 0 и 0 как меру соответствия между множествами их возможных зна­ чений. Такие меры могут быть различными, поскольку раз­ ные критерии близости могут уделять внимание различным качествам оценки.

Так как при неограниченном увеличении объема выборки мы обычно ожидаем неограниченного возрастания «близости»

Л

0д к 0, то необходимо прежде всего определить точно, что мы будем понимать под сходимостью последовательности случай-

Для краткости утверждение о сходимости такого типа запи-

ЛЛ р

сывают в виде р Jim 0^=6 или 6,v-^0.

А,

и E(QN) и £ (0 2) ограничены (символ Е(Х) означает мате­

матическое ожидание случайной величины X). Краткой фор-

л

мой записи этого определения является l.i.m. 0v = 0.

40

Из сходимости в среднем следует сходимость по вероят­ ности. Действительно, согласно неравенству Чебышева

иметь в виду, что можно определить несмещенность и в дру­ гом смысле. Например, если условная функция распределения

тотически несмещенной (смещение определяется как йЛ'(0) =

= £ 0 —0.

Кроме величины смещения оценки ее качество определя­ ется степенью разброса, рассеяния около среднего значения. Наиболее употребительной (но не универсальной) мерой рас­ сеяния является дисперсия. Ее величину можно использовать

как критерий качества оценки; так возникает понятие эффек-

л

тивной оценки. Если QN— несмещенная оценка и имеет ко­

нечную дисперсию и для 0 не существует другой оценки с

л

меньшей дисперсией, то QN называется э ф ф е к т и в н о й оценкой параметра 0.

Естественно желание иметь количественную оценку наи­

меньшей дисперсии 0л'. Такую возможность предоставляет из­ вестное неравенство Рао-Крамера (Г. Крамер [1]):

где / — количество информации по Фишеру,

/ —£ д In р(х 0) 21

Если эффективная оценка существует, то в (2.2.4) дости­ гается знак равенства (6^(0) = 0 ) , и дисперсия эффективной оценки обратно пропорциональна фишеровской информации.

41