книги / Непараметрическая статистика

Рис. 7.2.1

§ 7.3. ДИСКРЕТНАЯ (КВАНТИЛЬНАЯ) ОЦЕНКА ФУНКЦИИ РАСПРЕДЕЛЕНИЯ

Для построения эмпирической функции распределения используется непараметрический факт сходимости относи­ тельной частоты к неизвестной вероятности. С помощью лю­ бого другого непараметрического факта, связанного со зна­ чением функции F(x), можно было бы получить другую оценку FN (x)- Такую возможность предоставляет, в частно­ сти, статистическая связь между выборочным значением и его рангом, обсужденная в § 5. Одно из проявлений этой связи выражается в том, что

(7.3.1)

R

Так как, кроме того, дисперсия величины F(xi)— 'ffZ.'i убы-

вает с ростом N, функцию F{x) можно оценить в выборочных точках {*;} величиной R^N - ^l) :

145

зованию R-к порядковой статистики в качестве оценки кван­ тиля уровня RI(N-f-1).

Квантильная оценка функции распределения является дис­ кретной, так как она определена только в точках, соответст­ вующих выборочным значениям {*;}. Можно было бы поста­ вить вопрос о «натягивании» некоторой непрерывной функции на квантильную оценку {-F/v (*;)}> например, о построении полинома, график которого проходит через все точки {^дг(хг)}. Однако мы не будем делать такого привнесения произвольных операций в алгоритм вычисления оценки Fyy(x); построение оценки должно быть естественным, т. е. основываться на статистических фактах, связанных с приро­ дой задачи. В дальнейшем (см. § 7.5) мы увидим, что ин­ терполяция квантильной оценки действительно может быть произведена определенным естественным образом.

§7.4. ГИСТОГРАММА

Втех случаях, когда желательно по данным эксперимента построить оценку плотности вероятностей, экспериментаторы чаще всего прибегают к построению гистограммы. Процедура

еепостроения проста и состоит из следующих шагов.

1.Область возможных значений измеряемой величины X разбивается пороговыми значениями {**} на прилегающие

(не перекрывающиеся и обычно одинаковые) интервалы...

2.Определяется, сколько выборочных значений из общего числа N оказалось в каждом интервале группировки (обозна­ чим полученные числа через {mk}).

3.Над каждым из интервалов строится вертикальный пря­ моугольник площадью mk/N. Полученная совокупность пря­ моугольников и называется г и с т о г р а м м о й .

Основанием для использования гистограммы p N(x) в ка­ честве оценки неизвестной плотности вероятностей р(х) яв­ ляется кусочно-интегральная сходимость pN(x) к р(х), ко­ торая следует из того, что относительная частота mk!N собы­ тия ( X e ( x k, Xft+i]) сходится к его вероятности pk:

■Xk+l

Такой сходимости в ряде практических случаев оказы­ вается достаточно; однако всегда желательно по возможно­ сти улучшить оценку при заданных ограничениях. Несколько факторов влияет на качество гистограммы: объем выборки iV,

146

величина интервалов группировки, положение порогов {хч) при заданной величине интервалов. Все осложняется еще и тем, что степень влияния этих факторов зависит от неизвест­ ного экспериментатору до опыта истинного распределения ве­ роятностей р(х). Поэтому на практике гистограммы строят с некоторым учетом свойств полученной выборки (например, величина интервала группировки выбирается так, чтобы не сгладить существенные особенности распределения; объем выборки связывают с тем, чтобы в ячейке с наименьшим чис­ лом измерений их насчитывалось не менее пяти; размещение интервалов связывают с положением наименьшего и наи­ большего выборочных значений, и т. п., см., например, А. Хальд [1]). Отметим также, что на качество гистограммы влияет и точность измерений.

Теоретическая задача оптимизации гистограммы может быть сформулирована в нескольких вариантах, 'однако ее решение связано с трудностями, так что конкретных резуль­ татов можно добиться лишь при некоторых частных предпо­ ложениях. Рассмотрим, например, как влияет точность из­

гистограммы. Чтобы исключить влияние конечного объема выборки N, предположим, что N-+oо. Если бы при этом точ­ ность измерений была бесконечной, то, неограниченно умень­ шая А с некоторой скоростью, зависящей от N, мы получали бы все улучшающуюся оценку неизвестной плотности р(х). Однако в результате влияния погрешности измерений при достаточно малых А выборочные значения начнут часто по­ падать не в те интервалы, которым принадлежат истинные значения интересующей нас случайной величины. В резуль­ тате уменьшение А после некоторого До приведет к ухудше­ нию получаемой гистограммы. Естественно возникает вопрос об оптимальной величине До. Оптимальность прежде всего предполагает использование некоторого критерия оптималь­ ности. Возьмем в качестве такого критерия максимум коли­ чества информации, которое приносит каждое занесение вы­ борочного значения в соответствующую ячейку гистограммы.

Необходима дальнейшая конкретизация задачи. Во-пер­ вых, предположим, что точность измерений характеризуется равномерным распределением истинного значения X около измеренного значения xt :

J47

Таким образом, б является параметром точности; экспери­ ментаторы часто обозначают это соотношением «л:=хг±б».

■Во-вторых, чтобы можно было пренебречь краевыми эф­ фектами, предположим, что точность измерений достаточно велика (б<<L) и что ячейки гистограммы достаточно много­

численны (я = - ^ > 1 ) .

Априорная неопределенность принадлежности X к како­

пределение X.

Апостериорная энтропия отлична от нуля, поскольку пос­ ле занесения измеренного значения xt в конкретную ячейку остается ненулевой вероятность того, что истинное значе­ ние X на самом деле относится к одному из соседних интер­ валов группировки.

При сделанных выше предположениях (дополнив их сла­ бой изменчивостью р(х) в пределах одного интервала груп­ пировки) можно показать, что при Д ^ б

pk=Pr(X ^Akl x ^ A k)= 1—

g

P k - i = P r ( X ^ k- i j x l<=Ak) = —

4А

48

а при А .< Д < 8

2 '

Количество информации о случайной величине X, получаемое в результате занесения xt в определенный интервал груп­ пировки, запишется теперь в следующем виде:

/ = — '£ p(k)\np(k)+pk-.i lnpk~i+pklnpk+ p k+i lnpk+i. (7.4.3)

Далее проблема становится чисто технической: нужно за­ даться каким-либо конкретным априорным распределением р(х), записать (7.4.3) в явном виде, используя (7.4.1) и

148

(7.4.2), и найти значение До, обеспечивающее наибольшую

§ 7.5. ПОЛ ИГРАММА

Можно предложить (Тарасенко [3]) еще одну, непарамет­ рическую оценку плотности, основой для которой является непараметрический факт статистической эквивалентности вы­ борочных блоков (§ 4.3). Одно из конкретных проявлений этого факта состоит в том, что

то возникает естественное предложение воспользоваться в

m= K!N и введя функцию-индикатор интервала с помощью

Будем называть оценку (7.5.4) полиграммой К-го порядка.

149

кающих друг к другу интервалах Ajk . Данный параграф по­ священ исследованию асимптотических свойств полиграммы.

Вычислим плотность распределения величины z —fN (*) для произвольного заданного значения х, удовлетворяющего

Учитывая, что в сумме, выражающей полиграмму, для заданных х и {£/} только один член отличен от нуля, имеем:

Выражение (7.5,7) является точным, однако его вычис­ ление в конечной форме затруднительно. Поэтому перейдем к рассмотрению асимптотического новедения полиграммы в предположении, что 0<f(x)^C<Coo, \f'(x) | < о о , N-*~oo.

Рассмотрим сначала случай фиксированного К. Вынося за знак суммы не зависящий от j сомножитель (v—и) К~11Т(К), представляя гамма-функции формулой Стирлинга и восполь­ зовавшись стандартной методикой аппроксимации выраже­ ний полученного типа (Коваленко и Филиппова [1], стр. 56—59), рассматриваемую сумму можно привести к сле­ дующему виду:

150

151

Т е о р е м а 7.5.1. Пусть по выборке объема N независимых и одинаково распределенных наблюдений над случайной ве­ личиной X, подчиняющейся распределению с плотностью f(x), полиграммой К-го порядка оценивается f(x). Тогда, ес­

Ez—f) и имеет конечные моменты лишь при г ^ К . Незави­ симость моментов от объема выборки N означает, что при конечных К полиграмма не является состоятельной оценкой

}(*)■

Рассмотрим теперь случай, когда порядок полиграммы возрастает вместе с объемом выборки, X = N rL, 0 < а < 1 . Асимптотическое поведение p(z) при этом, естественно, из­ менится. Вновь используя формулу Стирлинга, сумму в фор­ муле (7.5.7) можно представить как

Снова используя стандартную методику асимптотической ап­

152

раниченная вместе со своей первой производной, оценивается полиграммой fN(x) К-то порядка, K = N a, 0 < а < 1/2. то (х) является состоятельной оценкой f(x), а случайная величина

(^fNlf—Vf/fv) распределена асимптотически нор­ мально с нулевым средним и единичной дисперсией.

§7.6. ОЦЕНКА НЕИЗВЕСТНОЙ ПЛОТНОСТИ

СПОМОЩЬЮ РАЗЛОЖЕНИЯ ПО ВЕСОВЫМ ФУНКЦИЯМ

Было бы весьма желательно иметь такую оценку неиз­ вестной плотности, которая обладала бы рядом хороших ка­ честв, например, несмещенностью и быстрой сходимостью во всех точках х. Нереально, однако, требовать от природы больше того, что она может дать. Например, можно показать (М. Розенблат [1]), что при достаточно общей постановке задачи не существует несмещенных оценок неизвестной плот­ ности р {х).

Допустим обратное, т. е. что существует такая статистика

153

Потребуем, чтобы S(x; Х\, ..., xN) было положительной и сим­ метричной по переменным Х\, ..., xN функцией. Тогда

ь

J S (х\ х^,..., Лдг) dx

а

является симметричной по хи ..., % и несмещенной оценкой величины

= / p(x)dx=F(b) —F(a).

а

Единственной несмещенной и симметричной оценкой веро­ ятности является относительная частота, т. е. FN(b)—FN(a), где FN(x) — эмпирическая функция распределения (7.2.1). Таким образом,

а

для всех а и b я почти всех Х\, ..., xN. Отсюда следует, чго FN (х) должно быть абсолютно непрерывным * по х, что не соответствует действительности и тем самым опровергает предположение (7.6.1) о возможной несмещенности р^(х).

Однако существует класс оценок pN{x) плотности р{х), удовлетворяющих условию равномерной по х сходимости к р(х) при N-+-0O. Впервые такие оценки были предложены в

1956 году Розенблатом [1]; в последующие годы они подвер­ гались интенсивному исследованию ряда авторов. Дадим краткое изложение полученных в этом направлении резуль­ татов.

Первоначальная идея построения равномерно сходящейся оценки функции р(х) исходит из определения плотности:

6 > 0 , что какова бы ни была конечная система попарно непересекающихся

ров и С. В. Фомин [1]).

154