книги / Методы принятия технических решений

6.3. Энтропия независимого параметра

Гензель [20] предложил применять шенноновскую энтропию (6.13), рассматриваемую как мера неопределенности сигнала, передаваемого случайным источником, и для измерения неоп­ ределенности.

Если параметр xi может принимать в общей сложности щ различных значений, каждое из которых имеет соответствую­ щую вероятность появления qij, /= 1, ..., щ, то тогда мерой его

неопределенности будет энтропия

В особом случае, когда одно из значений хц* имеет вероятность

*ч

появления <7п> = 1, величина Hi = 0, так как из 2 ^ = 1 вытекает,

/-1

что для всех qij = 0, т. е. xi принимает только одно значе­ ние хц, и тем самым неопределенности не существует. С другой

..., tii. В этом случае ни одно из возможных значений параметра не имеет приоритета по отношению к другим, и, таким образом, речь идет о полной неопределенности.

Рис. 6.2 отражает график изменения величины энтропии двух возможных значений независимого параметра в зависимо­ сти от вероятностей появления обоих этих значений. Непосред­ ственный перенос формулы (6.9) на случай бесконечно боль­ шого числа возможных значений параметра невозможен, так как при этом величина Hi стремится к бесконечности, посколь­ ку неопределенность в этом случае и в самом деле неограни­ ченно возрастает. Это же явление наблюдается при дискрети­ зации какой-либо непрерывной функции плотности распределе­

последовательного измельчения интервалов дискретности, по­

ничивается путем отсечения на ее краях бесконечных интерва­ лов значений с очень малыми вероятностями реализации.

Таким образом, даже и в таких случаях можно иметь дело с конечной областью значений случайной величины.

Если, например, для параметра xi с конечной областью изменения значений [min*y, шахдсу] эта область разбивается

//

на tii интервалов длиною Дi и каждому /-му интервалу, в соответствии с изменением на нем плотности вероятностей*

Рис. 6.2. Энтропия двух состояний одного параметра.

приписывается своя вероятность реализации <7у значений пара-

ч

метра, так что 2<7у=1, то справедливо выражение

I J

Согласно (6.9) после такой дискретизации можно определить соответствующую величину энтропии:

Ч

Ht (At) = — Д qit In qij.

На рис. 6.3 показаны графики изменения энтропии H(Ai) нормально распределенного дискретизированного параметра в зависимости от величины интервала дискретизации Д/ при различных значениях среднеквадратического отклонения а. Выбор ширины интервала Дг связан с требованиями к процеду­ ре дискретизации непрерывно распределенного независимого параметра xt и будет обсужден в гл. 9.

Для приближенного вычисления энтропии непрерывно рас­ пределенного параметра xi по заданной функции плотноста

Рис. 6.3. Зависимость энтропии нормально распределенного параметра от вели­ чины интервала и среднеквадратического отклонения рО].

вероятностей ft(x) определим сначала, используя значения параметра хц на каждом соответствующем /-м интервале, веро­ ятность реализации каждого из этих значений:

Тогда, подставляя это выражение в формулу (6.9), получим

Я, (А,) = - 2 ft (х„) Д/ In (ft (х„) ДО,

ai

а с учетом того, что 2 ^ = 1, выражение для энтропии примет

вид

Таким образом, для достаточно малых значений At функцию

6 8 Глава 6

энтропии, соответствующей непрерывному распределению. Если для какого-либо непрерывного распределения задано по край­ ней мере одно эквидистантное дискретное распределение, то величину интервала дискретности дискретного параметра мож­ но принять за опорную при дальнейшем расчете энтропий дру­ гих непрерывных параметров.

Если в условиях задачи даны различные дискретные пара­ метры наряду с непрерывными, то общего подхода для всех конкретных случаев просто не существует. Если же удается перевести дискретное распределение в непрерывное, то в этом случае можно применить знакомый нам метод разбиения обла­ сти распределения параметра на щ интервалов величиной Аг.

По величине значимости В определяется число интервалов п1 дискретизации непрерывного параметра, что подробнее будет описано в разд. 9.5. Однако точность необходимых приближений не следует задавать слишком высокой, так как обычно число интервалов разбиения щ не оказывает сильного влияния на результат, а наша цель состоит в рассмотрении распределения одного значимого параметра из ограниченного вычислительны­ ми затратами числа N оцениваемых параметров внешних усло­ вий среди L неизвестных параметров.

6.4.Доверительные факторы

Воснове излагаемых ниже рассуждений о ситуациях нринятия решения, связанных с определенной степенью риска, лежит предположение о том, что решение, соответствующее наимень­ шему значению min;tj из соответствующей выборки или ряда

допустимых значений независимого параметра х и х2, ...» хп> приводит к самым неблагоприятным последствиям. Кроме того, предполагается, что данные значения параметра являются реа­ лизацией случайного процесса с соответствующими относитель­ ными частотами распределения Ль h2, ..., Лп, которые, в свою очередь, сходятся к (теоретическим) вероятностям ри р2, .... рп этих значений параметра. Средняя величина заданного ряда значений независимого параметра должна существенно отли­ чаться от наименьшего из его значений minx-,-, что характери­

зуется так называемым доверительным фактором, объективно оцениваемым заранее задаваемой величиной вероятности а принятия ошибочного решения. Здесь следует различать три принципиально разных случая:

1. На основании заранее известной выборки значений пара­ метра или по результатам проведения v экспериментов по опре­ делению его значений оценивается относительная величина

отклонения теоретического среднего значения параметра от его наименьшего значения; это осуществляется с помощью эмпири­ ческого доверительного фактора Vv(cc).

2.Если вероятности ри р2, •••> Рп известны, то оценивается относительная величина отклонения среднего значения из вы­ борки, полученной в результате проведения серии из а> экспери­ ментов, от наименьшего значения параметра; при этом исполь­ зуется прогностический доверительный фактор V9 (а).

3.Относительная величина отклонения среднего значения параметра от его наименьшего значения оценивается для пред­

стоящего проведения серии из w экспериментов по результа­ там заранее известной выборки, состоящей из v эксперимен­ тов; это осуществляется с помощью эмпирико-прогностического доверительного фактора Vvw(a).

Последний из названных подходов охватывает задачи обе­ их упомянутых выше категорий и к тому же лучше других соот­ ветствует задачам, встречающимся на практике. Далее будет дан анализ характеристик и взаимосвязи указанных довери­ тельных факторов. Будем также считать, что значения парамет­ ра расположены в ряде по мере их возрастания, т. е. х\<х2<

<...<*„, так что minx,=Xi.

/

6.4.1. Эмпирический доверительный фактор

Эмпирический доверительный фактор, определяемый по результатам выборки, состоящей из v экспериментов, с учетом вероятности а принятия ошибочного решения задается соотно­ шением

..., х,„ а М„= S ft/Х/ — эмпирическое среднее значение параметра,

где hj — относительная частота реализации значения параметра

П

X), поэтому Е Лj= 1.

П

Величина Mv(a) =jS?iv,j(a)xj представляет собой наиболее

неблагоприятное, т. е. наименьшее из реально возможных

70 Глава 6

ошибочное оценивание. При этом, конечно, справедливы выра­ жения

ряда х\, *2. •••, хп соответствуют наибольшие вероятности в рам­ ках указанного выше индивидуального оценивания. Обозначив через Hj такую случайную величину, реализацией которой слу­ жит относительная частота А/, получим величину Ai = h,v, под­ чиняющуюся биномиальному закону распределения В (А/, v, pj) с параметрами v и р3-. Согласно этому закону из уравнения

Квантиль Fmi,m2 >в биномиального закона распределения опре­ деляется из статистических таблиц (см., например, [2 1 ]).

Двусторонняя индивидуальная оценка интервала [р;, р,\, j = 2 , ..., п, для вероятности р/ также определяется из таблицы (см. [2 1]).

С целью упрощения методики получения доверительных оценок биномиальный закон распределения можно заменить асимптотически приближающим его нормальным законом рас­

дартного нормального распределения. Величины этих квантилей указываются в таблицах, приводимых в широко распространен-