книги / Непараметрическая статистика

(7.10.3)

Первая сумма в (7.10.3) равна (N—tk)F. Поскольку выборка взята из m-зависимого процесса, то члены второй суммы, для которых | i—/ | > т , дадут при усреднении F2. Найдем сна­ чала число п зависимых членов во второй сумме. В интерва­

зависимых пар; таких шагов можно сделать (N—m-f-1). Сле­

завершает доказательство теоремы.

Возможно обобщение теоремы 7.10.2 на случай процессов, подчиняющихся условию сильного перемешивания, что тре­ бует более тонких методов (Тарасенко [8]).

Г Л А В А V III

НЕПАРАМЕТРИЧЕСКОЕ ОЦЕНИВАНИЕ ПАРАМЕТРОВ

§ 8.1. О Н Е П А Р А М Е Т Р И Ч Е С К О М П О Д Х О Д Е К З А Д А Ч Е С Т А Т И С Т И Ч Е С К О Г О О Ц Е Н И В А Н И Я

Задача оценивания параметра возникает в статистике в связи с изучением степени влияния некоторого фактора на статистические свойства измеряемой случайной величины.

175

Экспериментатор, знающий природу изучаемого фактора (или выдвигающий предположение о его природе), должен указать, какой параметр распределения будет изменяться под влия­ нием данного фактора. Например, физик утверждает, что по­ явление полезного сигнала в шуме приводит к увеличению средней мощности принимаемого сигнала; инженер ожидает, что предложенное им усовершенствование технологии обес­ печит уменьшение допусков изготовляемой детали; тренер считает, что его методика тренировок позволит повысить средние результаты атлетов; агрохимик надеется, что синте­ зированное им удобрение увеличит урожайность данной куль­ туры, и т. д. и т. п. После того, как «подозреваемый» пара­ метр указан, начинается работа статистика, задачей которого является построение процедуры (по возможности — наилуч­ шей) для оценки этого параметра. Важно подчеркнуть, что решение задачи будет более успешным, если эксперимента­ тор укажет не только единственный (хотя, возможно, и наи­ более существенный) параметр, не только еще один-два пара­ метра, которые тоже могут изменяться (пусть даже гораздо слабее, чем основной) под влиянием тех же факторов, но, если это возможно, укажет и параметры, которые определен­ но не изменятся. Всякие сведения этого сорта могут оказать­ ся полезными для повышения качества получаемых оценок.

Влияние любого фактора может быть обнаружено и оце­ нено статистическими методами лишь в том случае, если оно приводит к какому-нибудь изменению распределения наблю­ даемой случайной величины. Параметры, рассматриваемые статистикой, являются количественными характеристиками тех или иных изменений распределения и, следовательно, вы­ ражаются некоторым известным образом через эти распре­ деления. Иначе говоря, п а р а м е т р ы , п о д л е ж а щ и е с т а т и с т и ч е с к о м у о ц е н и в а н и ю , в с е г д а я в л я ­ ю т с я и з в е с т н ы м и ф у н к ц и о н а л а м и от р а с п р е ­ д е л е н и я в ы б о р о ч н ы х з н а ч е н и й (или известными функциями таких функционалов). Разница между парамет­ рическими и непараметрическими методами оценивания па­ раметров * та, что при построении параметрических оценок используется знание типа функции распределения, а в непа­ раметрическом случае мы лишены такой возможности.

Казалось бы, поскольку л ю б ы е параметры распределе­ ния могут рассматриваться как функционалы этих распре­ делений, то разница между параметрическим и непарамет­ рическим подходами к оцениванию лежит в чисто техниче-

* Неуклюжесть и семантическая противоречивость этого выражения лишний раз иллюстрируют недостатки термина «непараметрический», обсужденные в главе 1.

176

ской, вычислительной области. Такое неверное понимание может вызвать недоразумения и даже заблуждения. Напри­ мер, довольно распространено оценивание параметров по ме­ тоду моментов. Можно было бы подумать, что поскольку в процессе оценивания используются только моменты, данный метод обладает непараметричностью. Однако конкретная связь между оцениваемым параметром и моментами одно­ значно определяется видом распределения. Поэтому если ис­ тинное распределение хотя бы «незначительно» отличается от принятого в модели, то оценка, получаемая по методу мо­ ментов, может содержать дополнительную неконтролируемую погрешность Метод моментов — один из параметрических методов, для которых расхождение между истинным и пред­ полагаемым распределениями теоретически недопустимо.

О ц е н к и п а р а м е т р о в б у д е м н а з ы в а т ь не п а ­

таких оценок от вида распределения должен рассматривать­ ся каждый раз отдельно. Интересно, что непараметрическое оценивание дает оценки, которые по качеству часто не усту­ пают параметрическим оценкам. Однако гораздо более важ­ ным является тот факт, что непараметрические оценки пре­ восходят по качеству параметрические в том случае, когда истиннее распределение G(x) отличается от положенного в основу параметрической оценки. Можно поэтому высказать рекомендацию: если вы не очень уверены в том, что измеря­ емая величина действительно подчиняется известному рас­ пределению, то лучше пользоваться непараметрическими оценками.

Можно усмотреть два разных способа задания парамет­ ров, характеризуемых функционалами распределений: явное и неявное. В первом случае параметр 0 задается в виде

распределения. Ко второму способу прибегают, когда по ка­ ким-то причинам 0 нельзя определить в виде (8.1.1), но из самой природы задачи следует, что оцениваемый параметр

I 77

Некоторые особенности возникают при определении функ­

дачам оценивания.

В данной главе мы приведем ряд результатов по непара­ метрическому оцениванию параметров. Пока еще трудно го­ ворить о какой-либо единой теории непараметрического оце­ нивания; скорее, речь может идти о совокупности методов построения непараметрических оценок. Если же попытаться классифицировать конкретные объекты непараметрического оценивания, то похоже, что все параметры можно разделить на четыре типа:

оценивания каждого из четырех типов параметров предло­ жено несколько разных методов; эти методы будут изложены ниже.

§ 8.2. ТОЧЕЧНОЕ И ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ КВАНТИЛЕЙ

Квантиль уровня а есть значение х, удовлетворяющее уравнению F(x) = а, или F~l (а ) = х . По положению кван­ тилей того или иного уровня можно делать различные суж­ дения о характере случайной величины.

Благодаря непараметрическому факту сходимости поряд­ ковой статистики XR к квантилю уровня R / ( N + 1) (см. § 3.5) порядковые статистики являются естественно напра­ шивающимися точечными оценками соответствующих кван­ тилей:

(8.2. 1)

Эти удобные и широко применяемые оценки обладают, однако, рядом недостатков. Во-первых, при этом можно оце­ нивать лишь квантили с определенными уровнями, кратны­ ми l/(iV-(-l). Во-вторцх, точность этих оценок характеризу­ ется зависимостью их стандартного отклонения от объема

178

выборки порядка О (ЛГ2 ); желательно было бы уменьшить и

вклад смещения. В-третьих, по мере приближения к краям упорядоченной статистики точность этих оценок убывает, так что квантили малых и больших уровней лучше не оценивать данным способом.

Поэтому значительный интерес представляет исследова­ ние Дж. Уолша [2] оценок квантилей п р о и з в о л ь н о г о уровня в виде линейной комбинации заданного числа т по­

рядковых статистик:

т

Из этой работы Уолша следует, что при соответствующем выборе коэффициентов {aJ и номеров {Rt} порядковых ста­ тистик, можно добиться, чтобы

если F(x) имеет достаточное число производных в точке ха, что не является на практике слишком жестким ограниче­ нием.

Если не вдаваться в подробности, то схематично метод Уолша, состоящий из последовательности определенных опе­ раций, можно проиллюстрировать следующим образом. Сна­

кроме *(47), ближайшего к ходе выборочного квантиля, необ­

ходимо взять еще две порядковых статистики, номера кото­ рых отличаются от 47 на ближайшее целое к величине k,

________ т I

K > V N + 1 [10 i >/—1

которая в нашем примере равна 4,8. Таким образом, иско­ мая оценка будет иметь вид:

-£ 0 ,2 8 = # ! - £ ( 4 2 ) + # 2 - £ ( 4 7 ) + # з - £ ( 5 2 ) .

Решая специальную систему уравнений для величин {аг}, Уолш окончательно получает:

-£о,2 8 ==—0,7113.*(42)+2,3587 ■*(47)—0,6474 ■*(52).

Однако ограничения этого метода допускают не всякие ком­ бинации чисел а, N и т. Например, при N — 80 и а = 0,91 значения т от 2 до 7 не дают оценок, удовлетворяющих (8.2.3).

179

Теория точечных оценок квантилей еще не приобрела за­ вершенного вида. Некоторые ее аспекты освещены Лойнсом [1], но многие вопросы остаются открытыми. Например, представляло бы интерес исследование поведения оценок вида (8.2.2) без требования (8.2.3); сравнение оценок кван­ тилей по различным оценкам функции распределения и т. д.

Гораздо более подробно изучены свойства интервальных оценок квантилей. (См., например, С. Уилкс [1]). Возьмем две произвольных порядковых статистики *(*,> и х(*,+*а) и определим вероятность того, что квантиль ха уровня а нахо­

где F(x) — функция распределения, из которого взята выбор­ ка. Но величины u = F ( x <*,>) и v = F ( x {ki+k,)) являются соот­ ветствующими порядковыми статистиками выборки из рав­ номерного распределения, и их совместное распределение известно:

Отметим теперь несколько особенностей интервальной оцен­ ки [*(*,), X(kl+ki)] квантиля Ха.

Во-первых, найденная вероятность (8.2.5) того, что кван­ тиль ха окажется в данном интервале, не зависит от F(x)f поэтому этот интервал является доверительным интервалом для ха при доверительной вероятности, равной правой части (8.2.5). Во-вторых, поскольку k\ и k2 выбраны произвольно, по выборке объема N можно построить N (N— 1 )/2 различ­ ных интервальных оценок для данного квантиля ха. Поэтому возникает задача выбора «наилучшего» из этих интервалов. Естественно, что из числа интервалов, обладающих довери­ тельной вероятностью, не меньшей заданной, обычно выби­

1 8 0

рается тот, для которого длина интервала минимальна, либо тот, для которого минимальна величина k2.

Следует отметить работы Вайса [1], а также Блюма и Розенблатта [1], в которых рассматриваются вопросы на­ хождения доверительных интервалов для квантилей в тех случаях, когда заранее задаются требуемая длина интерва­ ла и доверительная вероятность.

§ 8.3. ОЦЕНИВАНИЕ ЛИНЕЙНЫХ ФУНКЦИОНАЛОВ

U-СТАТИСТИКАМИ

Втех случаях, когда интересующий нас параметр 0 яв­ ляется математическим ожиданием известной функции <р(х) случайной величины X, распределение G(x) которой неиз­ вестно, для оценивания 0 часто можно воспользоваться ре­ зультатами теории так называемых ^/-статистик, краткому изложению которой и посвящен данный параграф*. Речь пойдет о том, каким образом оценить величину 0:=.£:ф(.£) =

=j q>(x)dG(x), если <р задана, a G неизвестно, и какими свойствами будет обладать такая оценка.

Пусть на пространстве возможных значений случайной величины X определен класс Q возможных распределений {G}. Будем предполагать далее, что выборка х\, х2, ..., xN со­ стоит из независимых и одинаково распределенных значений (не обязательно одномерных), так что на пространстве XN

(8.3.1). Любую несмещенную оценку параметра 0, основан­ ную на выборке объема т, будем называть я д р о м . Легко показать, что всегда существует симметричное ядро. Дейст-

* U-cтатистики были введены в 1948 г. Хёдингом Г2]; детальное изло­

жение теории (/-статистик имеется в книге Фрейзера [1].

*■* Вопрос о том, каким образом связаны функции ф и f, будет обсуж­ ден позднее.

181

вительно, если f(xj, х2, ..., хт) несимметричная функция, то всегда можно построить симметричную функцию

ядра, то f s тоже является ядром.

Интересно отметить некоторые свойства регулярных па­ раметров. Если 01 и 02 — регулярны и имеют соответственно степени т,\ и т2, то 0 i+ 0 2 и 0i-02 тоже регулярны, и их сте­

любой полином от регулярных параметров является регуляр­ ным параметром. Может возникнуть вопрос, чем опредетяется степень т регулярного параметра. Если оцениваемый параметр выражается в виде полинома от математического ожидания известной функции, то т и есть как раз степень этого полинома. Случаи более сложной зависимости между нужным нам параметром и некоторым математическим ожи­

(8.3.2), соответствующее заданному ядру f. Ясно, что (7-ста­ тистику можно также записать в форме

182

где суммирование ведется по всем перестановкам всех ком­

ветствующей Н-статистики меньше или равна а2, причем ра­

венство имеет место лишь в том случае, когда f= U почти

везде по мере П dG**. I

Т е о р е м а 8.3.3. Если класс распределений {IldG} обла-

I

дает свойством полноты***, то U-статистика, соответствующая заданному регулярному параметру, существенно единствен­ на и имеет наименьшую дисперсию среди несмещенных оце­ нок этого параметра.

Т е о р е м а 8.3.4. Если f(xь ..., x N ) — несмещенная оценка

параметра 0, имеющая конечный второй момент, и UN(Xi, ..., xN) — соответствующая ей Н-статистика, то величина ]/Лг((7Лг—0) распределена асимптотически нормально с ну­ левым средним и конечной дисперсией.

щенной оценке f параметра 0, имеющей конечный второй мо­

мент, является состоятельной оценкой 0. Доказательство. Поскольку

Р г ( 0 - е < П Л, < 0 + г |= Я г {— у Т 7 е < у гЛ/:(С/дг- 0 )< 1 /'л Г е } ,(8.3.7)

и УN(UN—0) имеет предельное нормальное распределение с конечной дисперсией (теорема 8.3.4), то при N-+oо и

* Некоторые из этих теорем приводятся без доказательств, так как в противном случае пришлось бы резко увеличить объем параграфа: опущен­ ные доказательства (которые можно найти у Фрейзера в [1]) основываются на ряде результатов, не содержащихся в данной книге.

**Аналогичное утверждение справедливо и для средних рисков при любых строго выпуклых функциях потерь.

***Требование полноты сводится, по существу, к тому, чтобы не суще­

ствовало несмещенной оценки h(xх, хN) нуля кроме тривиальной (т. е. равной нулю почти везде).

183

■j/JVe-^oo правая часть (8.3.7) стремится к единице, т е. U- статистика сходится к 0 по вероятности.

Перечисленные выше свойства [/-статистик свидетельст­ вуют об их высоких качествах, благодаря которым они иг­ рают существенную роль в непараметрическом оценивании.

Перейдем теперь к вопросу о том, как строить ядра U- статистик по заданной функции ф(х). Продемонстрируем эту процедуру на ряде примеров с тем, чтобы общий рецепт сформулировать впоследствии.

Первые несколько примеров относятся к выборкам N не­ зависимых измерений случайной величины X, непрерывно рас­

вующая ^/-статистика равна дг2-*т I т. е. выборочному сред­

нему.

П р и м е р 2. Квадрат первого момента 0 = p i2 является степенью регулярного параметра, следовательно, он регуля­ рен. Так как pi2^= [EX]2= E X IX2, следовательно, степень па­ раметра 0 равна 2 и f(xu Хг)—Х1Х2. Соответствующая U-ста­

тистика равна [N(N— l ) ] -1^*»-*/ •

ч-i

Пр и м е р 3. Дисперсия а2 может быть записана в виде

полинома регулярных параметров, следовательно, она тоже регулярна:

и f(xb Х2) —Х\2—Xi-x2. Симметризация ядра дает: fs (xt, х2) —

что после перегруппировки и приведения подобных приводит к выражению для выборочной дисперсии:

184