Добавил:

ivanov666 Опубликованный материал нарушает ваши авторские права? Сообщите нам.

Вуз:

Пермский национальный исследовательский политехнический университет

Предмет:

[НЕСОРТИРОВАННОЕ]

Файл:

книги / Математическая теория энтропии

..pdf

Скачиваний:

Добавлен:

12.11.2023

Размер:

19.07 Mб

Скачать

☆

<<< < Предыдущая 1 2 3 45 / 355 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 > Следующая >>>

42	Гл. 1. Сведения из теории вероятностей

P{r, w} = 0,5 от этого общего числа, а доля тех партий, в кото рых вы проиграли доллар, — примерно Р{6} =0,5. Таким обра зом, выигрыш после N партий приблизительно составит

( + 1)ЛГР{г, до} + ( - 1)МР{&},

а средний выигрыш, приходящийся на одну партию,—
^ [ ( + 1)М/>{г, до}+ (~1)ЛГР {&}] = £(*).	v
!	v
Можно посмотреть!на это и с несколько иной точки зрения.
Пусть Ы\ — число партий, в которых вы выиграли	доллар,

a N_i — число партий, в которых вы проиграли доллар, из об щего числа N партий. Тогда ваш выигрыш составляет ( - И )# ,+

+ (—	а средний выигрыш за одну партию равен
	[(+ 1) N 1 + (— i)N_i] =	"Ь (—

Поскольку NJN -+Р {г, до}, a N _JN -> P {6} по определению вероятности Р, средний выигрыш за одну партию стремится

к£(*) = ( + 1 )Р{г, до} J+- (—1 ) Р {&}.

1.5.УСЛОВНАЯ ВЕРОЯТНОСТЬ И НЕЗАВИСИМОСТЬ

Предположим, что результатом случайного испытания, пред


ставленного		пространством		Лебега	(£2,	Р), явился исход
(о е Q. Пусть		Е и F — два		события из о-алгебры			и нам
известно,	что исход		ю привел к		осуществлению		события Е,
т. е. со s	Е. Какова		тогда	вероятность события F? Ясно, что
она, вообще		говоря,	уже не равна		Р(Р).	Например, если со
бытия Е и F несовместны,				то из того, что со е Е, следует, что

о ф F, т. е. событие F не могло произойти.

Мы определим сейчас вероятности событий при условии, что исход испытания лежит в множестве Е, с помощью функ

ции Р (• \| Е)	на 0-алгебре FF таким		образом, что положитель
ную вероятность будут иметь только те события,				пересечение
которых с Е непусто.		Тем самым вероятностное пространство
(£, Е П #*,	Р (• IЕ)),	где через Е Л	обозначена	о-алгебра,

образованная лежащими в 9" подмножествами Е, будет заклю чать в себе всю ту неопределенность относительно исхода слу чайного испытания, которая осталась после того, как стало известно, что произошло событие Е.

В случае когда Р (£) > 0, определить Р (• | £) легко. Для обоснования этого определения рассмотрим урновое испытание из разд. 1.1. Пусть нам известно, что событие {г, до} произошло в результате извлечения красного шара. Поскольку количества красных и белых шаров соотносятся как 3 : 2 , вероятность из

1.5. Условная вероятность и независимость

влечения красного шара должна составлять . Аналогично ве роятность того, что событие {г, ш} произошло в результате из влечения белого шара, должна составлять Ясно, что ве

роятность осуществления события {г, ш} в результате извлече ния синего шара равна нулю. Таким образом,

к н и г .	■
а в общем случае
n ( p \ f r	г(гл \ __ Р (Е П {г. ®})
P {E \{r,w })------T([7,w}) ’
Используем этот пример как образец. Если С — событие из
пространства Лебега (Q,	Р). для которого Р (С )> 0, опре

делим условную вероятность относительно события С как

вероятностную меру Р(* \|С),				заданную		для	любого		события
Е е	формулой
	Р (Е \| С) =			-■j>jg p •					(1-1)
Нетрудно видеть, что если			Р (С) >		О, то Р(- \|С) действительно
является вероятностной мерой на ст-алгебре							сосредоточенной
на	множестве С, т. е. Р(£2 — С\|С) = 0, и что						(С,	(С), Р(-\| С)),
где SF (С) = {F П С : F е			— вероятностное				пространство.
	Из формулы (1.1)	видно, что			если	Р ( £ )> 0 ,		a	F — неко
торое другое событие,		то вероятность P (£ f\|^ ) одновременного
осуществления событий Е и F составляет
	Р(£П Р) =			Р(Я )Р(Р\|Я ),					(1-2)
т. е. вероятность одновременного					осуществления			событий Е и

F равна произведению вероятности события Е на условную вероятность события F относительно Е.

Естественно считать, что событие F независимо от события Е, если на вероятность F не влияет знание того обстоятельства, что в результате случайного испытания осуществилось событие Е.


Таким образом,			F независимо от ,Е				тогда и только тогда, когда
P(F\E) = P(F),			а из формулы			(1.2) следует, что F независимо
от Е тогда и только тогда, когда Р (Е П F) = Р (Е) Р (F).
Пусть	i =	(С,, С2, ... ,			Cj,	...} — счетное (modO)			разбиение
пространства		Лебега (Q,			, Р). Предположим, что				Р(С /)> О
для всех /. Пространства (С, SF (С), Р(*\| С)), возникающие для
каждого	элемента			С е \| ,	также		являются	пространствами
Лебега.	Исходное			пространство — это прямой				интеграл этих
пространств в следующем смысле. Множество Q — дизъюнктное
объединение элементов С					разбиения 1, всякое			множество из

44	Гл. 1. Сведения из теории вероятностей
а-алгебры	единственным образом	представимо	в виде объе
динения множеств из сг-алгебр SF (С),		причем это	соответствие

сохраняется при булевых операциях, и для любого множества F е & выполнено равенство


	P {F )= Z P (F Q C \C )P (C ),
где сумма берется по всем				С е £. Эта			последняя	формула мо
жет быть переписана в виде
	Р(Р) = $			Рг УО Р(Р\С),				(1.3)
где элементы С е	£	отождествлены				с	точками	факторпрост-
ранства £2\|. Семейство пространств
	{(С,		ЗГ(С), Р (] с )):С е 1 } ,
или просто семейство			мер	Р(>\| С),		называется		каноническим
семейством условных мер разбиения \|.
Мы только что показали, каким образом сложное случайное
испытание (£2,	Р)	может		быть разложено в семейство слу
чайных испытаний		(С, ЗГ (С),			Я (И	С)),	отвечающее счетному
разбиению \|, причем элементы					£ можно считать			исходами не

которого факториспытания исходного испытания (£2, ЗГ, Р). Хотелось бы получать такое разложение и для произвольного измеримого разбиения пространства Лебега. К несчетным раз биениям | приведенное выше определение Р(-| С) уже непри

менимо, поскольку вполне может, оказаться так,		что Р (С) = О
для всех элементов С разбиения	Следующая	теорема уста

навливает существование условных мер в общей ситуации.

Теорема 1.14 *). Пусть 1 — измеримое разбиение пространства Лебега (£2, ЗГ, Р), a N| — отвечающая ему проекция. Тогда для

Р^-почти всех с е Q| существуют о-алгебра ЗГ (с) подмножеств

элемента N |'(c) разбиения | и вероятностная мера Р* (•| с) на о-алгебре ЗГ (с), такие, что:

1.14.1. Пространство	(N£"' (с ), '^"(с),		Р£(*\|с)) является про
странством Лебега.
1.14.2. Для любого F	e f	множество F ПN f1 (с) принадлежит
0-(с) при почти всех с е	£2j,	и функция	P*(F П N f1 (с) \| с) явля

ется tFi-измеримой на £2$ (следовательно, функция Р*(РП N f'X X (N6(со)) | N6(ю)) определена Р-п, в. на £2 и измерима).

') Приведенные в тексте формулировка и доказательство этой теоремы ошибочны. При переводе в формулировку внесены исправления, а доказательство написано заново. — Прим, перев. \

		1.5. Условная вероятность и независимость					45
	1.14.3.	Для любого F e f
		Р(Р) =		5 Р5 (dc) Pl (F nN f1 (с) I c) =
			CS
			=	\ P (da>) Pl (P П N f1 (Щ(со)) \| N5(со)).
Доказательство. Для любого множества						определим
меру ц/? на о-алгебре Р5 по формуле
			цР(Л) = р ( ^ - , И )П /7).
Поскольку мера рР абсолютно непрерывна относительно							меры
Р5,	по теореме		Радона — Никодима существует единственный
класс (mod 0) Рр,			состоящий из таких FT^-измеримых функций
Рр на пространстве Q6, что
			lXp(A)=\Pt(dc)Pp(c)
				А
для	любого множества			А е ЯГ
Пусть Р] и Р2 — два непересекающихся						множества	из SF.
Тогда для		любого множества
	Р (N f1 (А) П (Р, U Р2)) = Р (N f1 (А) Л Р.) + Р (N f1 {А) П Р2),
так	что
		\Pll<b)PF M =			5 р ( (* )[ р ,, +	р ,,],
		А			А
откуда в силу единственности					PF,IJ/>, = PF, +	Рг,-
	Поскольку (Q, FT, Р) — пространство Лебега, можно считать,
что Q реализовано как пространство двоичных последователь
ностей, а а-алгебра				порождена алгеброй SS цилиндрических
подмножеств Q. Зафиксируем выбор представителей Рр классов
Рр для всех множеств Р е й					и положим

vc(P) = P,(c).

Мы хотим доказать, что определенные так функции множеств vc для почти всех с могут быть продолжены до вероятностных мер. Для этого воспользуемся тем, что Q есть пространство дво ичных последовательностей, и применим теорему Колмогорова о продолжении (см. пример 1.5). Для функции множеств vc условия согласования имеют вид

. vc(P )= £ vc(P<),

46	Гл. 1. Сведения из теории вероятностей
где цилиндрическое множество F является дизъюнктным объе
динением	конечного' числа цилиндрических	множеств Ft.
Поскольку этих условий счетное число и, как		было показано

выше, каждое из них выполняется для п. в. с, можно, отбра сывая некоторое множество D нулевой меры, считать, что все эти условия выполняются при любом e e Q {- D . Тем самым

для всех с е Q6 — D функции множеств vc могут быть продол

жены до вероятностной меры vc на а-алгебре !F(c), полученной пополнением а-алгебры, порожденной цилиндрическими мно

жествами.	теперь,	что	любое	множество	F e ? "	является
Докажем
^(соизмеримым для		п. в. c e Q s, функция			vc(F) измерима на
Qg и
	Р (F П Ns"' И )) =			J Рг (dc) vc (Л)		(1.4)
				А
для всякого	измеримого		множества A cr Q6. Очевидно, это

утверждение справедливо для любого цилиндрического мно жества F. Обозначим через &а совокупность множеств F czQ вида

F = U Fn,

п -1

где множества Fn ^ & являются попарно непересекающимися. Для таких множеств F измеримость функции ve(F) следует из формулы

vc( F ) = t vc(Fn),

/1-1

аформула (1.4)—-из соотношения

оо

P(F П N f1 (Л)) = £ Р (Ря П N f1 (Л)) =

/1-1

оо

=Е 5 Р\ (dc) Vc (Fn) =

л—1А

оо

= S pl (dc) £		VC(Fn) = $ Р5 (dc) vc (F).
A	/1—1	A

Через 3$o6 обозначим совокупность таких множеств F сг й, что

Р = { )Р п ,

П—1

1.5. Условная вероятность и независимость

где Fn е <8а и Р, гэ Р2 о ___	Если Р е # „ в, то	измеримость
функции vc(F) следует из соотношения
vc (F) =	lim vc (Fn),
	rt->oo
а формула (1.4) — из того, что в силу неравенства		0 ^ vc (F„)^ 1
в формуле

P{Fn(]N{i ( A ) ) = \P l (dc)ve(Fn)

возможен предельный переход под знаком интеграла.

Наконец, заметим, что цилиндрические множества образуют базис тихоновской топологии пространства двоичных последо вательностей, являющегося польским в этой топологии (см. пример 1.9). Поэтому мера Р регулярна, т. е. для любого изме римого множества F существуют такие множества FQ, FI е

что

	P(F0) = P(F),				F0zz F,
Тогда	P ( F i ) = l - P ( F ) ,				F ^ Q - F .

$ P5(dc) (vc (F0) + vc (Fi)) =			\	(dc) vc (F0) +			\ p 5(dc)vc(P,) =
A			A				A	v *
	= P (Po fl N\| 1(Л)) +		P (Fi f) N f1(Л)) =				P (N f1(A)),'
поэтому для п. в. с е		vc(Po) +		vc(P1) = l ,

откуда следует, что множество F является ^(соизмеримым и
		V C (F) = V C (FQ)
для п. в. c e Q j. Таким образом, формула							(1.4) также спра
ведлива и в этом случае.							'	;
Для завершения доказательства					теоремы осталось показать,
что для п. в. точек с е		множество			N\|	1 (с) является 1?" (соизме
римым и vc (N f1 (с)) =		1.			а	множества Ал с: Qj выб
Пусть {В„} — базис разбиения £,
раны	таким образом, что
		Р (Вп Д N f1 (Д,)) = О
(тогда	{Д,}— полный	(modO)		базис	пространства (Q5, 5 ^ , Р6).
Поскольку множества Вп ^ ’-измеримы,						они	являются	^ (со и з
меримыми для п. в. с, и в силу формулы (1.4)
	Pi И» П Л) =	Р (Вп п щ 1(А)) =				\ Pi (dc) Vc (В„)

48	Гл. 1. Сведения из теории вероятностей

для любого измеримого множества Л с й {, Таким образом, vc(Bn)— l/i„(c) для п. в. c e f ij . Кроме того, для п. в. с мно жество N f1 (с) может быть представлено в виде

			N f1(с) =		f\|	1	Вап{п),
					П“	1
где Вп = Вп, Bln = Q — Вп и а(п)					принимает значения					нуль или
единица,		т. е. vc (fi“tn)) = 1-		Отсюда следует,					что
			Q - N r '( c ) =	О	(Q -B S '"’)				и
				П- 1
VC(Q -		N f1 (с)) < s VC(Q — Вап{п)) = Е						(1 -	Vc (в2(п>)) =		0.
			п—1				п—1
Теперь достаточно определить ст-алгебру Ф (с) как совокуп
ность	всех		^(соизмеримых	подмножеств					N f1 (с),	а	меру
Р* (-1 с) — как			ограничение меры vc на ст-алгебру Ф (с), и теорема
доказана.
Семейство мер {Р&(-\|с)},				заданных для				п. в.		назы
вается	каноническим семейством условных мер разбиения										\|, а
определенные п. в. функции				PS(-\|NE(©)) называются						регуляр

ными условными вероятностями относительно ст-алгебры Каноническое семейство условных мер позволяет разложить

пространство (Q, Ф, Р) в прямой интеграл пространств Лебега

(N5- '( C), Ф {с), РН-\с)) точно так же,	как это	было	сделано
для счетных разбиений, с использованием вместо			формулы
(1.3) утверждения 1.14.3 *).
*) Измеримому разбиению £ пространства	Лебега (Q,	Р)	можно со
поставить набор измеримых функций	на факторпространстве

определенных следующим образом: пгп (с) — эта мера /г-го по величине атома

меры Р*(*|с). Как доказал В. А. Рохлин, набор {пгп} полностью определяет разбиение | с точностью до изоморфизмов (mod 0), что позволяет легко по строить универсальную модель измеримого разбиения пространства Лебега.

Если мера Р и п. в. условные меры Р^(*|с) непрерывны (т. е. п. в. тп = 0 при всех я), то разбиение £ изоморфно :(mod 0) разбиению единичного квад рата с мерой Лебега на отрезки, параллельные одной из его сторон, тем самым с точностью до изоморфизма существует единственное разбиение про странства Лебега с непрерывными условными мерами. В этом случае теорема 1.14 сводится к обычной теореме Фубини (ср. ниже с теоремой 1.15). В общей ситуации измеримое разбиение выглядит немногим сложнее. Если мера Р^


непрерывна, будем считать, что		это	мера Лебега		на отрезке	[0, 1] оси х,
и рассмотрим графики	функций /о =		0,	/ 2 =	тх+ т%.........		Простран
ство Лебега (Q, iF, Р)	зададим,	отождествляя точки единичного					квадрата
(х, у) и (', у'), для которых = * ' и yt y'& [fn (*), fn+i (х)) при некотором								я,
а разбиение £ пространства (Q,		Р) — как		образ	разбиения	квадрата		на
отрезки, параллельные оси у . С		очевидными		изменениями эта		конструкция

переносится и на случай произвольной меры Р$. — Прим. перев.

1.5. Условная вероятность и независимость					49
Из доказательства теоремы 1.14 видно,		что	каноническое
семейство условных мер единственно в том		смысле,		что	если
{Р*(-\ с)}—другое	каноническое семейство условных			мер	раз
биения £, то Р(\|	с) = Р*(•) с) для Р5-почти	всех	с е й £.		Из

единственности вытекает следующее важное свойство канони ческих семейств условных мер (названное Рохлиным свойством

транзитивности).	разбиения	пространства
Пусть £ и £ — такие измеримые	разбиения	пространства
Лебега (й, Г , Р), что £<£(modO), а	{Р*(-\|с)} и	{ р : Н е
канонические семейства условных мер	разбиений	£ и £ соответ

ственно. Обозначим через £(С) разбиёние множества С = Nf 1(с), по лученное ограничением на С разбиения £. Тогда £(С)—-это

измеримое

разбиение пространства

Лебега

(С, 9" (с), Р* (-| с)),

и оно

обладает

каноническим семейством

условных

мер

{рС(С)(.|^

. ^ - 1 (ф е

£(С)}. Если С пробегает множество

эле-

ментов разбиения

то {р5(С> (.| d) : N f1 (d) е

£(С),

С е £ } — это

каноническое

семейство

условных

мер

разбиения

£,

откуда

в силу свойства единственности следует, что

Pt(C) (-| d) =

pt (.| d)

для Р;-почти всех d,

таких, что Nf*(d) е £ (С)>

мер

раз

Если

{Р5 (-1 с)} — каноническое семейство условных

биения

для определенных

почти всюду

на

функций

будет

использоваться

обозначение

Р5 (ю, F).

Поскольку

условная

мера Р* (• | с)

сосредоточена на

N f1 (с),

для

любых

множеств

e f

£ е Г

выполнено

равенство

P(Ff\E) = \p(dm)PHa>, Р).

(1.5)

Его можно интерпретировать, сказав, что вероятность одновре менного осуществления событий Е и F является «суммой про изведений» условных вероятностей события F на вероятности условий по всем условиям, при которых осуществляется собы тие Е.


"Пусть \|	и	— измеримые разбиения пространства Лебега
(Q, & ; Р). Будем представлять себе элементы разбиений \|			и т]
как исходы		двух факториспытаний случайного испытания,
заданного	пространством Q. Пространства Лебега (А,		(а),

Р*(-|а)) представляют вероятности событий при заданном исходе

А е	£ или Nj (4) =	а е £26. В частности, для каждого множества
D е	r f (события	испытания ц) Р* (D П А \| а) — это вероятность

события D при заданном исходе а испытания Qj. Говорят, что разбиение т] независимо от разбиения £, если

Р* (D fM |a) = P(D)

50	Гл. L	Сведения из теории вероятностей
для	Р6-почти всех as.Q g и всех			Это	условие	может
быть	переписано как	i
	Р5(ю,	D) = P(D),	o e Q , D e т\|~.			(1 .6)
Пусть разбиение		л , независимо	от	разбиения \| и
D e i] '. Тогда из формул (1.5) и (1.6)				следует,	что

Р (D П С) = J Р (do) РЦв>, D) = Р (D) Р (С),

а поскольку

p ( £ » n q = J / 3(d(o)ям®, С),

получаем, что

;

$ Р (Ло) рч(ю, С) = Р (D) Р (С)

		D
для	всех D e r f	и С е Г . Отсюда следует, что Рч(©, С) = Р (С)
для	почти всех & eQ . Таким			образом,	разбиение £ независимо
от	разбиения т] тогда и только тогда,				когда г) независимо от £,
и в этом случае		мы будем просто говорить,				что разбиения 1
и г] независимы. Кроме			того,	приведенное		рассуждение пока
зывает, что разбиения \|			и т) независимы тогда и только тогда,
когда
		I>(C()D) = P(C)P(D)
для	всех С е Г	и D щ т)~.

Приводимое ниже обобщение теоремы Фубини весьма по лезно в теории вероятностей и тесно связано с теоремой о су ществовании канонических семейств условных мер.

Теорема 1.15 *). Пусть (&,,				ц,) — вероятностное простран
ство,	a (Q2,&~2) — измеримое			пространство. Предположим, что
для	каждого	©! е Q,	задана	вероятностная мера ц(ю,, •) на
а-алгебре &~2		таким	образом,	что при любом фиксированном

Е е SF2 функция р(-, Ё) измерима на пространстве (Q,, щ). Тогда существует единственная мера ft на измеримом простран

стве (Q, • Q2. & \	2) такая,	что если А\ е	SFх и А2е	2, то
	p{Al -A 2) =	^ pi(d©i)ц (©!,	Л2).
		л,

!) Участвующие в этой теореме вероятностные пространства не обяза тельно являются полными. — Прим, перев.

7.5. Условная вероятность и независимость

Кроме того, если измеримая функция f на пространстве (Qj • Q2,

Ф"\ Х ^ г ) является или неотрицательной, или ji-интегрируемой, то функция

на пространстве (Qt, Ф i) соответственно измерима и неотрица тельна, или ^-интегрируема, причем

Доказательство. Для любых С е ^ Х У г и ю1 е£ 2 1 через С (coi) обозначим ©^сечение множества С, т, е. множество {со2 е S Q2: (®i. ю2)е С } . Поскольку совокупность множеств <S>=

— {С е £Fi X Ф * С (<В|) е Ф 2) является а-алгеброй и содержит измеримые «прямоугольники» А X В> А е Ф и В е Ф 2, получаем, что Ф = Ф iX&~2, и тем самым C W e f j для любыхC s ^ X ^ ”2 и (OisQi. Таким образом, для каждого множества С е ФуХ.Ф’т. на пространстве Qt определена функция р(-, С(*)).

Совокупность множеств 2 )— { С ^ Ф iX ^”2: функция р(-, С(-)) Ф ^измерима) образует монотонный класс1) и содержит алгебру конечных дизъюнктных объединений измеримых прямоугольни

ков, поэтому 3> — Ф хХ Ф 2,	и тем самым функция р(-, С(*))
является Ф ^измеримой для	каждого множества C e f 'i X *Г2.
Определим функцию множеств ji на Ф хX Ф 2 по формуле
£ ( Q = $ > 1	Р К , С (©,)).	(1.7)

Для доказательства того, что функция ji является мерой, достаточно показать, что она счетно-аддитивна. Пусть {С„} —

счетный набор попарно непересекающихся множеств и з ^ Х ^ г * Для каждого о, е Q,.

оо	\	оо
■с„) (®1) =		пУ1с»(©1),
причем сечения С„ (®i)	дизъюнктны. Поскольку р (©[, •) явля
ется мерой,

]) То есть монотонные пределы (как возрастающие, так и убывающие) множеств из 2D также лежат в 3). — Прим, перев.

<<< < Предыдущая 1 2 3 45 / 355 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 > Следующая >>>

Соседние файлы в папке книги