книги / Математическая теория энтропии

где все слагаемые неотрицательны. По теореме о монотонной сходимости получаем

Ясно, что Д — это вероятностная |мера. Ее единственность сле­ дует из теоремы Каратеодори о продолжении. Поскольку (Л, X Л2) (со,) = А2, получаем, что

Применяя теперь аппроксимацию Д-интегрируемых и неотри­ цательных функций простыми функциями, получим утвержде­ ние теоремы.

Пусть теперь | и £ — измеримые разбиения пространства Лебега (Q, 9", Р). Отбрасывая подмножество нулевой меры, мы

шара из урны,, содержащей 3 красных, 2 белых и 5 синих ша­ ров, поскольку

Prob {да} = J Р\ (ds) Р1({ш} | s) =

si

= P i m ) pl «»> i н )+ px пт}) P5(w m =

= (0,5) (0,4) + (0,5) (0) = 0,2.

Ясно, что испытания, отвечающие разбиениям %и е, не являются независимыми.

В качестве еще одного примера рассмотрим случайное испы­ тание, основанное на извлечении шаров из урны, содержащей: 3 красных, 2 белых и 5 синих шаров. Мы извлекаем шар, заме­ чаем его цвет, возвращаем извлеченный шар обратно в урну, перемешиваем ее содержимое, после чего извлекаем' второй: шар. Исходами этого испытания будут пары символов, напри­ мер, исход (г, w) означает, что сначала был извлечён красный шар, а потом — белый. Интуитивно это испытание представляет собой два независимых повторения исходного урнового испыта­

где Р(эь Ез) — вероятность события Е2 при заданном исходе Sv первого извлечения. В этом простом случае (рассматриваемые пространства дискретны) достаточно ограничиться только одно­ точечными событиями. Вероятность того, что во второй раз был: извлечен, например, красный шар, составляет 0,3 независимо от. исхода первого извлечения, поскольку в любом случае доля красных шаров в урне составляет 30 %. Тем самым P(sy {/•}) = = Р{г} = 0 ,3 для любого s i^ S . Проводя это же рассуждение для белых и синих шаров и используя формулу (1 .1 2 ), полу­ чаем; что

на себя. Итак, сложное испытание, заключающееся в двукрат­ ном независимом повторении испытания, представленного про­ странством (S, 91, pf), может быть представлено произведением:

то | представляет первое извлечение, а $ — второе, как факториспытания составного испытания, представленного простран­ ством (S2, м-fXfAf). Ясно, что разбиения I и £ независимы.

Рассмотрим теперь извлечение двух шаров из урны без воз­ вращения. Исходы этого испытания вновь могут быть пред­ ставлены парами символов, но вероятность уже не будет зада­ ваться произведением мер. Пусть (S2, У2) — то же измеримое пространство, что и выше, где исход (sb s2) означает «при пер­ вом извлечении был вынут шар цвета sb а при втором —цвета s2». Определенное выше разбиение § описывает ту часть испы­ тания, которая связана с извлечением первого шара. Таким

образом, пространство (s\9 9\, Р\) должно быть изоморфно пространству (5, 9*, \if)t где Р2 —это (пока еще неизвестная) вероятностная мера на S2. Этот изоморфизм возникает при

Каноническое семейство условных мер Р*(* \s) находится по распределениям в урне после извлечения одного шара. Таким образом,

Введенное выше разбиение £ вероятностного пространства (S2, SPl, Р2) представляет факториспытание сложного испытания, заключающееся в извлечении второго шара. Разбиения £ и £ не являются независимыми, поскольку для определенного выше

58 Гл. 1. Сведения из теории вероятностей

.называется условным математическим ожиданием случайной величины х относительно разбиения I 1).

Обычно удобнее считать условное математическое ожидание

взять композицию функции ££(*!•) и отвечающей разбиению £

Как правило, мы будем опускать переменную со и писать про­

сто £ 5 (х). Нетрудно видеть, что £ 5 (х) — это определенная почти всюду £~-измеримая функция на £2 (т. е. постоянная на эле­ ментах разбиения |). ,

Для примера рассмотрим счетное разбиение 5 с элементами Aj, j = 1 , 2 .........Очевидно, что P(Aj) > 0 хотя бы для одного /. Для всех таких /

Р(Е(\А,) Р1(Е\а,): Р(А,)

где N |l (a/) = /l/. Для ^заданной интегрируемой случайной вели­ чины х на пространстве (£2, W , Р) среднее по пространству

{Aj, ST (Aj), Р*(* |а/)) составит

Ш= ~ Р Ш SP(dm)jc(&))-

A, Aj

*) Использование канонического семейства условных мер не является обязательным для определения условных математических ожиданий. С по­ мощью теоремы Радона — Никодима (ср. с доказательством теоремы 1.14) они могут быть определены для произвольного вероятностного пространства.

тегрируемых функций, то доказательства приводимых ниже свойств услов­

Предложение 1.16. Если х — интегрируемая случайная вели~ чина на пространстве (Q, ЗГ, Р), а е и v — точечное и тривиальное разбиения этого пространства соответственно, то п. в.

£*(*) = *

и

£ v(*) = £(*).

Доказательство. Оно немедленно следует из определения и: формул (1.9) и (1.10) для значений Р*( • |а) и Pv(*|a).

a Ci и с2 — вещественные числа, то п. в.

£* {С\Х + С2У) = Ci& (х) + с2£* (У)•

1.17.5. Если {хп} — последовательность вещественнозначных случайных величин, такая, что limn.»«o хп— х п. в., и существует интегрируемая случайная величина у, для которой | х„| ^ у п. в. при всех п, то п. в.

lim £*(*„) = £*(*).

Теорема 1.19. Если х и у — интегрируемые случайные вели­ чины на пространстве (Q, Р), а | — такое измеримое разбие­ ние этого пространства, что случайная величина х является

-измеримой, то п. в.

&(ху) = х&(у).

Доказательство. Пусть А — любое измеримое 1-множество. Тогда

СР (da>) [х (со) Е1(со, у)\ — J Р (da) х (со) J Р1(со, dco,) у (со,).

Е*(ху) = хЕ*(у).

\Следующая теорема должна быть интуитивно понятна. Пусть

£^£~ (modO), т. е. £ является подыспытанием испытания £.

Усреднение некоторой функции по элементам разбиения £ с последующим усреднением полученных средних по элемен­

Е1(Е1(х )) = £ * (х ).