книги / Непараметрическая статистика

Коши:

§Д.6. ОБ ОДНОМ СВОЙСТВЕ КАНОНИЧЕСКОГО ПРЕДСТАВЛЕНИЯ ПАР РАСПРЕДЕЛЕНИЙ

Исследование тестов с помощью рассмотрения изменений их свойств при задании различных пар «гипотеза — альтер­ натива», в свою очередь, выдвигает вопрос о некотором прин­ ципе упорядочивания таких пар между собой. В качестве та­ кого принципа следует выбрать некоторым разумным обра-^ зом определенную меру различия между альтернативой F и гипотезой G, так как надежность формируемых тестом ре­ шений, как правило, возрастает при увеличении различий между F и G. Минимум требований, которые естественно предъявить к любой разумной мере расхождения между аль­ тернативой и гипотезой, сводится к двум условиям:

1) мера должна быть инвариантной по отношению к лю­ бым взаимно-однозначным преобразованиям случайной вели­ чины X (при этом подразумевается, что если X подвергнуть преобразованию, то F и G преобразуются одновременно);

2) если рассматривается совокупность независимых слу­ чайных величин {X,}, с каждой из которых связана пара распределений Ft и Gj( то вводимая мера должна обладать свойством аддитивности.

Можно сделать вполне определенные суждения о том, ка­ кого вида функционалы обладают указанными свойствами. Пусть I (f, g ) есть функционал, выражающий искомую меру. Если теперь подвергнуть случайную величину X каноническо­

I должно характеризовать только эту пару распределений. Поскольку мы собираемся связывать рассмотрение этого «рас­ стояния» с мощностными свойствами тестов, определяемыми

133

G, то в качестве р, целесообразно взять именно альтернатив­ ное распределение G. Далее, требование аддитивности вво­ димой меры приводит к единственно допустимой функции <р, а именно — к логарифмической функции. Таким образом, мы останавливаемся на характеристической мере расстояния рас­ пределений, ориентированной на использование при анализе мощностных свойств тестов, в виде функционала вида:

(лемма 4.1 Кульбак [1]), что (Д.6.3) удовлетворяет требо­ ванию 1 не только при преобразовании y —F(x), но и при любом взаимно-однозначном преобразовании. Отметим далее интересный факт, заключающийся в том, что информацион­ ное расстояние (Д.6.3) является негэнтропией канонически приведенной альтернативы. В самом деле, пользуясь фор­ мулой (Д.5.2), имеем:

В дальнейшем нам понадобятся зависимости энтропии при­ веденных альтернатив (Д.5.3) — (Д.5.11) от параметров сдви­ га и масштаба.

134

ГЛАВА VII

ОЦЕНИВАНИЕ НЕИЗВЕСТНЫХ РАСПРЕДЕЛЕНИЙ ВЕРОЯТНОСТЕЙ

§ 7.1. ЗАДАЧА ОЦЕНИВАНИЯ РАСПРЕДЕЛЕНИИ. ВИДЫ СХОДИМОСТИ ОЦЕНОК НЕПРЕРЫВНЫХ ФУНКЦИЙ

Во многих практических случаях возникает необходимость по экспериментальным данным оценить распределение ве­ роятностей измеренной случайной величины. Эта задача име­ ет свою долгую историю, которая, судя по всему, еще не за­ кончена. Было предложено и развито много различных под­ ходов к этой задаче, каждый из которых обладает преиму­ ществами перед другими в некоторой конкретной ситуации. Все эти подходы достаточно четко можно разделить на два класса — параметрическое и непараметрическое оценивание распределений.

Параметрический подход к оцениванию распределений сводится к тому, чтобы из некоторого, более или менее ши­ рокого параметрического класса распределений подобрать то, которое наилучшим образом соответствует выборке. На­ пример, центральная предельная теорема гарантирует, что во многих (хотя далеко не всех) случаях приемлемой аппрок­ симацией может служить нормальное распределение; в этих случаях задача сводится к оценке по выборке среднего и дис­ персии. Если заведомо известна ограниченность возможных значений случайной величины X с одной стороны, парамет­ рический подход предлагает пользоваться семействами лог­

ввести в рассмотрение такие показатели формы-распределе­ ния, как квадрат нормированного коэффициента асимметрии (Pi) и нормированный показатель островершинности (р2), выражаемые через моменты третьего и четвертого порядка, то можно указать области значений (рь р2), в которых рас­ пределения принадлежат к тому или иному типу (см. гра­ фик Пирсона, рис. 7.1.1, заимствованный из книги Г. Хана и

С. Шапиро [1]). Существует, однако, область (заштрихован­ ная на графике), которая не охватывается перечисленными

1Э9

Рис. 7.1.1

выше распределениями. Чтобы перекрыть и ее, Джонсон [1] предложил рассматривать параметрические классы распре­ делений, получаемые некоторыми трансцендентными преоб­

метричность этого класса связана с коэффициентами уравне­ ния). Другие типы параметрических оценок распределений получаются при использовании конечного числа членов раз­ ложений Корниша — Фишера, Грама — Шарлье, Эджворта и т. д. Описание упомянутых выше параметрических методов интересующийся читатель может найти, например, в книгах Кендалла и Стьюарта [1], Хана и Шапиро [1], А. К. Мит­

Прежде чем перейти к конкретным непараметрическим оценкам плотностей или функций распределения, обсудим вопрос о возможных типах сходимости статистических оце­ нок непрерывных функций к оцениваемым функциям. Для

140

получения непараметрических оценок функции распределения F или плотности р могут быть использованы различные ста­ тистические факты, что приводит к оценкам различных типов и качества. Предпочтение обычно отдается оценкам, лучшим по качеству, однако в ряде практических ситуаций на первый план может выступить объем вычислений, необходимый для достижения результата (в особенности в многомерном слу­ чае).

Рассмотрим, какими свойствами могут обладать статисти­ ческие оценки функций, и как их качества могут быть опи­ саны количественно. Поскольку от оценки функции естествен­ но ожидать определенного приближения, стремления к неиз­ вестной оцениваемой функции, то прежде всего необходимо установить, какие типы сходимости одной функции к другой вообще возможны. Для простоты будем пока говорить об одномерных функциях.

Пусть имеется некоторая неизвестная функция у(х) и ее статистическая оценка yN(x) = у ( х \х и ..., % ), построенная на основе выборки Хи ..., xN с использованием определенной ап­ риорной информации. (В непараметрической постановке за­ дачи об оценивании функции у(х) роль априорной информа­ ции играет тот или иной непараметрический факт, имеющий отношение к функции у{х)).

Можно тем или иным образом определить «расстояние» между у(х) и Ум{х), т. е. числовую меру различия между ними, рN=p(y?f(x), у{х)). Тогда сходимость последователь­ ности функций yN(x) к оцениваемой функции у(х) естествен­ но понимать как сходимость последовательности случайных величин к нулю.

В связи с тем, что, с одной стороны, к последовательно­ сти можно предъявить различные требования по сходимости (например, сходимость по вероятности, т. е, lim Pr(pN^.%) = 0

N -»-со

или сходимость в среднем порядка г, т. е. 1ппД(|рЛгг | ) = 0 ) ,

Указанные выше требования к сходимости функций могут быть предъявлены как к оценкам функции распределения, так и к оценкам плотности. Однако оказывается, что некото­ рые оценки плотности, вполне приемлемые для ряда прак­

141

тических целей, не удовлетворяют ни одному из приведенных выше определений сходимости. Тем не менее, можно говорить об их сходимости в некотором ином смысле.

(7.1 1) остается справедливым при некотором стремлении ин­ тервалов Afe (N) к нулю при IV—>-оо, то такую кусочно-интег­ ральную сходимость будем называть с и л ь н о й . Следует от­ личать случай, когда интервалы {ЛЙ(ЛГ)} являются случай­ ными и стремятся к нулю в некотором статистическом смыс­ ле, от регулярного, неслучайного стремления Xk(N) к нулю,

интегральная сходимость оказывается эквивалентной равно­ мерной сходимости.

Как мы уже отмечали, различные оценки функции распре­ деления FN(X) и плотности pN{x) могут быть получены пря­ мым путем по выборке Х\, ..., x N на основе того или иного непараметрического факта. Учитывая, однако, что F(x) и

р(х) связаны известным образом, можно, получив оценку од­ ной из этих функций, косвенным путем получить оценку дру­ гой, соответственно продифференцировав FN(x) или интег­ рируя рм(х). Как правило, полученные таким образом пары

оценок будут обладать различными типами сходимости, что должно учитываться при их практическом использовании.

§ 7.2. ЭМПИРИЧЕСКАЯ ФУНКЦИЯ РАСПРЕДЕЛЕНИЯ

Пусть перед нами стоит задача оценивания функции рас­ пределения одномерной непрерывной случайной величины X по выборке Хи ..., xN. Поскольку функция распределения F(x)

но, что оценкой вероятности события является его относи­ тельная частота. В данном случае число «благоприятных ис­ ходов» равно числу выборочных значений, не превышающих заданную величину х. Используя функцию сравнения C(t)

142

миальному распределению, поэтому ее среднее значение и дисперсия легко вычисляются:

\f log log M

свероятностью 1 для всех x.

ное распределение со средним 0 и ковариациями Z(F(xt ), F(Xj)), где Z(s, t) определяется формулой (7.2.5).

Лемма Гливенко-Кантелли (см. Гливенко [1])

состоящей из независимых значений. Однако Штейнхаус [1], а затем Вольфовиц [2] показали, что это требование может быть несколько ослаблено.

143

Таким образом, FN(x) сходится к F(x) равномерно по х, что говорит о высоком качестве такой опенки неизвест­ ного распределения.

На практике часто бывает необходимым оценить точность получаемой оценки FN(x), либо, наоборот, задав необходи­ мую точность, указать объем выборки, при котором гаранти­ руется указанная точность. Определяющим моментом здесь является выбор меры точности, так как различные «рас­ стояния» между F N \X ) и F (х ) обладают разными статисти­

ческими свойствами. Например, если в в качестве меры точ­ ности выбрать величину

то ее асимптотическое распределение выражается формулой:

Iim P r 0 / A ^ v < z ) = у ( - 1 ) ^ - 2 ^ ’, г > о,

с помощью которой можно найти необходимые характерис­ тики точности (например, доверительный интервал, диспер­ сию и т. п.). Другие меры различия между FN{x) и F ( X ) и

соответствующие точные и асимптотические распределения этих мер можно найти в работе Залера [1].

Оценка плотности pN(x), получаемая из FN(x) путем диф­ ференцирования, аналитически может быть представлена с помощью б-функций:

Оценка (7.2.7) не обладает свойством равномерной сходи­ мости, но она сходится к р(х) в кусочно-интегральном смыс­ ле. В силу своего специфического вида оценка (7.2.7) оказы­ вается очень удобной в тех случаях, когда нужно получить не столько оценку самой функции р(х), сколько оценку сред­ него той или иной функции случайной величины X. Простей­ шим примером является оценка математического ожидания:

Е (Х)= j xpN( x ) d x = JJ- 2 J л:8 (л:—лД d x —

■ (7.2.8,

На рис. 7.2.1 представлено, как выглядят Fy(x) и pN(x) графически.

144