книги / Математическая теория энтропии

32 Гл. 1. Сведения из теории вероятностей

Всевозможные конечные объединения попарно непересекающихся цилиндрических множеств образуют алгебру, и продол­ жение функции множеств ц на эту алгебру счетно-аддитивно1). Это продолжение в свою очередь может быть по теореме Каратеодори единственным образом расширено до меры (обозначае­ мой по-прежнему ц) на а-алгебре, порожденной алгеброй цилиндрических множеств. Обозначим через SF пополнение этой

вательностей образует всевозможные цилиндрические множе­ ства с одноточечными основаниями. Иными словами, этот ба­ зис состоит из множеств вида {и е 2 (S ): <o(i) = s}, где s вы­ бирается из S, а { пробегает множество всех целых чисел2).

Пример 1.4. Пространство последовательностей элементов /,

снабженное продакт-мерой, (2(/), ЗГ, ц). Это пространство со­ стоит из всех бесконечных в обе стороны последовательностей точек единичного отрезка с продакт-мерой. Его построение про­ водится по той же схеме, что и в примере 1.3.

Обозначим через 2(/) множество всех функций на Z со

р(С{£г: < е С } ) = П Х(Е{).

i е= G

Продолжая эту функцию так же, как это было сделано в при­ мере 1.3, получим однозначно определенную меру р, на попол­ нении ЗГ сг-алгебры, порожденной алгеброй всех конечных дизъ­ юнктных объединений цилиндрических множеств.

2^-1—1

в„=[о,^г)и ;и [ft. Ы ± 1 \

2п )

, / - 1

при п > 1.

^ Э т о следует из теоремы Колмогорова (см. ниже пример 1.5), — Прим.

ред.

ных объединений цилиндрических множеств. Предположим, что для каждого конечного подмножества G c Z на а-алгебре Fa, порожденнрй цилиндрическими множествами с основанием G, задана вероятностная мера Ра. Предположим, кроме того, что

вием согласованности Колмогорова, а удовлетворяющее ему семейство мер — согласованным.

Заметим, что о-алгебра ЗГ' порождена объединением U ЗГа, взятым по всем конечным подмножествам G cr Z. Для всякого множества Д е и ЗГа положим m (Е) — Ра>(Е), где G' — любое конечное множество, для которого j E e ^ . Объединение UЗГQ

.является алгеброй множеств, и функция m счетно-аддитивна на этой алгебре. Отсюда следует, что m продолжается до однозначно определенной меры на Г ', также обозначаемой т, которая называется колмогоровским продолжением согласован­ ного семейства мер {Р0}. Пространство (2(S), (Г, т), где ЗГ — пополнение а-алгебры Г ' по мере т, является пространством Лебега.

Полный (mod 0) базис пространства (2 (S), ЗГ, т) образуют всевозможные множества вида

{(oe2(S): о»(/) = «},

где / s Z и s e S 1),

Пример 1.6. Пространство последовательностей элементов I, снабженное произвольной мерой, (2(7), Г , т). Точно так же, как и в примере 1.5, это пространство строится по согласо­ ванному семейству {Ра: G — конечное подмножество Z} веро­ ятностных мер на а-алгёбрах ЗГа, порожденных цилиндриче­ скими множествами с основанием G. Это пространство также является пространством Лебега с тем же базисом, что и в при­ мере 1.4.

’) Как следует из определения полного (modO) базиса, всякое простран­ ство Лебега изоморфно (mod 0) пространству двоичных последовательностей с некоторой вероятностной мерой на пополнении ст-алгебры, порожденной цилиндрическими множествами. В ряде случаев в качестве универсальной мо­ дели пространства Лебега удобнее брать именно это пространство. — Прим, перев.

(S, 9>, Pf) или (/, 33, X) на произвольное пространство Лебега. Оно также является пространством Лебега *)•

Пример 1.8. Пространство, не являющееся пространством Лебега, (KR, SF, Р). Пусть (У, — одно из пространств (/, &). (S, 59), или множество вещественных чисел с борелевской <х-ал-

подмножество R} — согласованное семейство вероятностных мер на а-алгебрах #"0. По теореме Колмогорова это семейство единственным образом продолжается до вероятностной меры Р

пространством Лебега. Это вызвано тем, что YR содержит слишком много точек для того, чтобы их могло разделить счетное семейство множеств из ЗГ2)*. Для того чтобы получить пространство Лебега; необходимо наложить ограничения на рассматриваемые функции из KR или же потребовать выпол­ нения некоторого условия регулярности подобно тому, как это сделано у Дуба [36].

Пример 1.9. Польские пространства, (X, 38~, р). Пусть X —

полное сепарабельное метризуемое топологическое пространство

*) Метрический вариант теоремы Колмогорова таков: проективный пре­ дел пространств Лебега есть пространство Лебега. — Прим. ред.

2) В силу счетности базиса мощность любого пространства Лебега не превосходит мощности пространства двоичных последовательностей, т. е.

ством Лебега. Пусть (/, SB, Я) — единичный отрезок с мерой Лебега, X cz I —

1.3. РЕШЕТКА ИЗМЕРИМЫХ РАЗБИЕНИИ

В предыдущем разделе мы ввели понятия измеримого раз­

Это факторпространство . может служить моделью некоторого

чайное испытание. Вероятностная связь между этими двумя испытаниями определяется взаимным расположением разбиений £ и г) в пространстве Лебега (Q, SP, Р).

Обозначим через 2Z совокупность всех измеримых разбие­ ний заданного пространства Лебега (Q, Sr , Р). О паре разбие­ ний £ и г) из 3Z будем говорить, что разбиение £ измельчается

скольку (Q, 9r , Р) — пространство Лебега, в нем существует полный (modO) базис {В„}. Из того, что Ф"'с:ЗГ, а а-алгебра порождена счетным семейством {В„}, следует, что а-алгебра

:) См. также [122]. — Прим. ред.

s) Таким образом, «больше» то разбиение, у которого «больше элемен­ тов». В комбинаторике принято противоположное упорядочение. — Прим. пе~ рев.

Мы определили отображение; множества S3 в совокупность всех полных а-подалгебр (F, которое станет взаимно однознач­ ным, если отождествлять совпадающие (modO) разбиения, т. е.

торого множества нулевой меры оба разбиения будут состоять из одних, и тех же элементов2).

Указанное соответствие переводит отношение измельчения

риваемой совокупности разбиений. Двойственным образом, если обозначить через Д 0| о измеримое разбиение, отвечающее а- подалгебре Лс&Г, то Aala является точной нижней гранью

жеств, имеющих вероятность нуль или единица. (Напоминаем, что теперь v обозначает класс1эквивалентности (modO) три­ виального разбиения, состоящего' из единственного элемента Q.)

Пусть {!„} — возрастающая последовательность измеримых разбиений. Пределом этой последовательности называется раз­

с разбиением на множества вида On-iAirt, где А„ — произволь­

*) Здесь имеется в виду полное метрическое пространство классов (mod 0) множеств, измеримых относительно данной'’a-алгебры, С метрикой р (А, В) =

= Р (А Д В). — Прим, перев.

38 Гл. 1. Сведения из теории вероятностей

об исходах соответствующих случайных испытаний, это озна­ чает, что каждый исход из Q4 однозначно определяет некото­ рый исход из Таким образом, знание исходов испытания

смоделью £2Ч дает цолную информацию об исходах испытания

смоделью Qj. С этой точки зрения отношение порядка в 2Е> является математической моделью взаимозависимости случай­ ных испытаний.

Теперь мы введем отображения, с помощью которых уста­ навливается связь отношения порядка в 2Z с факторпространствами. Эти отображения определяются следующим образом. Пусть | — измеримое разбиение пространства Лебега (Q, Р). Для каждой точки со е Q через N6(о) обозначим тот элемент разбиения |, который содержит ю. Отображение N6 называется проекцией, отвечающей разбиению £. Это отображение пере­ водит пространство Q в пространство Q6. В силу определения пространства (Q6, Я£) отвечающая разбиению | проекция обладает следующими свойствами:

PI. N f1 ( UFn) — UNj"1 (Fn) для любого счетного набора мно­

Обозначим через Nt.| отображение пространства Qj на про­

щиеся f -множествами. Однако рассмотрение класса эквивалентности (mod 0) разбиения £ вместо индивидуального разбиения означает, что факторпро-

Возьмем произвольный элемент С е 5 и обозначим через с точку Nj(C) пространства С26. Поскольку мы предположили, что 1 множество N£|(c) является подмножеством Qj. Для каж­ дого d e N £ |(c ) множество Nj"1 (d) содержится в С и совокуп­

*) - [ « . * ) .

Мт - т ) - [ ° - т )>

')=[?■ О-

Графически отображение N5,5 представлено на рис. 1.1. Таким

/\

значить разбиение S(S) на множества вида {© e2(S): <» (1) — 0» где t пробегает множество S, то

IV Л = ({«> s 2 (S ): o (0) = s, со(1) = 0)>

где s и / принадлежат S. Легко видеть, что факторпростран­ ство (Qsvi)> ^ tV 4. Pivn) изоморфно произведению двух экземп­ ляров пространства (2(S), 9>, pf), Пересечением £Лл разбие­ ний | и т] является тривиальное разбиение v.

деленное в примере 1.4. Разбиение | = ({а>е2(/): to(0) = дг}:

Пример 1.13. Разбиение {[0, 0,3), [0,3, 0,5), [0,5, 1)} про­ странства Лебега (/, i?, Я), описанного в примере 1.2, дает факторпространство, которое изоморфно пространству Лебега, приведенному в разд. 1.1 как модель урнового испытания.

1.4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ '

Под случайной величиной обычно понимают некоторую величину, как правило численную, значение которой определя­ ется исходом какого-то случайного испытания. Если это испы­ тание представлено вероятностным пространством (Q, Р), точки которого отвечают исхода^ испытания, то математически случайная величина будет заадв!аться функцией на £2 с вещест­ венными значениями. Необходимость учета имеющейся вероят­ ностной структуры приводит к требованию, чтобы эта функция была ^"-измеримой.

Для примера предположим, что вы участвуете в следующей игре. Из урны, описанной в разд. 1 .1 , извлекается шар. Если он красный или белый, вы получаете один доллар, а если синий, то отдаете один доллар. Выигрыш после одной партии является случайной величиной в том смысле, что определяется исходом извлечения шара из урны. Эта случайная величина задается

величина х, представляющая ваш выигрыш после одной партии, определена на пространстве Q и принимает значения из мно­ жества S.

Если обозначить через е точечное разбиение множества S, то х- 1 (е) = {лГ1 (1 ), х-1(— 1 )} = {{г, w ), {&}} = £ — измеримое разбиение пространства (Q, 5Г, Р), а факторпространство по этому разбиению (Q|, Р6) изоморфно пространству, возни­

кающему в испытании с бросанием монеты. Из этого примера ясно, каким образом случайная величина на пространстве Ле­ бега порождает измеримое разбиение этого пространства. Если случайная величина х принимает значения в некотором изме­ римом пространстве, точечное разбиение которого е измеримо, то хг1(г)— измеримое разбиение, факторпространство по кото­ рому является пространством Лебега. В частности, если обла­ стью значений случайной величины является пространство Лебе­ га, то разбиение х~1(е) измеримо. Факторпространство по разбие­ нию лг~1 (е) — это «естественная» область определения случайной величины х, поскольку лишь исходы из этого факторпространства могут быть действительно восстановлены по значе­ ниям случайной величины. Например, в игре с извлечением раз­ ноцветных шаров из урны все, что вы можете знать после того, как извлекший шар посредник вручил вам доллар, — это то, что был извлечен красный или белый шар, но то, какой именно, определить невозможно. В том, что касается случайной вели­ чины, представляющей ваш выигрыш, исходом было множество {г, w} — точка соответствующего факторпространства.

Подытожим сказанное. Если х — случайная величина на про­ странстве Лебега (Q, 2Г, Р) со значениями в пространстве, то­ чечное разбиение которого е измеримо, то разбиение х- 1 (е) из­ меримо. Мы будем называть его разбиением, порожденным слу­ чайной величиной х. Факторпространство’по этому разбиению будет обозначаться (Q*, ЗГ*. Рх) .

Среднее значение или математическое ожидание Е(х) ве­ щественной (или комплексной) случайной величины х — это ее интеграл по тому вероятностному пространству, на котором она задана. Для того чтобы объяснить, почему этот интеграл назы­ вается математическим ожиданием, рассмотрим определенную выше случайную величину х, представляющую ваш выигрыш послё одной партии урновой игры. Тогда

Е (х)= $Р(Л »)х(и) = (+1)Р{г, w} + (-l)P .{ 6} =

°= 0 ,5 - 0 ,5 = 0.

Определим теперь среднее значение выигрыша в достаточно длинной последовательности партий, причем каждый раз извле­ ченный шар возвращается в урну, после чего ее содержимое перемешивается. Если N — общее число партий, то доля партий^ в которых вы выиграли доллар, будет составлять примерно