книги / Математическая теория энтропии

Глава 1

СВЕДЕНИЯ ИЗ ТЕОРИИ ВЕРОЯТНОСТЕЙ

В этой вводной главе будут изложены некоторые сведения из теории вероятностей, которые необходимы для понимания и применения определения и свойств энтропии. Мы старались написать главу так, чтобы читатель, знакомый с теорией меры по книгам Эта [15], Халмоша [55] или любому другому стан­ дартному учебнику теории меры1), мог следить за рассужде­ ниями и понимать примеры. Вводятся только те понятия теории вероятностей, которые используются в последующих главах; их смысл разъясняется на очень простых примерах. Помимо этого, мы ограничиваемся рассмотрением только «достаточно хоро­ ших» вероятностных пространств, так что определения услов­ ного математического ожидания и условной вероятности стано­ вятся более прозрачными и доступными для понимания. Эти «хорошие» пространства также позволяют использовать разбие­ ния как математическую модель случайных испытаний (вклю­ чая и испытания, полученные предельным переходом).

1.1. ВЕРОЯТНОСТНЫЕ ПРОСТРАНСТВА

Энтропия является количественной мерой неопределенности, связанной со случайными явлениями. Для того чтобы дать точ­ ное определение этой величины, необходимо иметь некоторую математическую модель случайных явлений, которая была бы достаточно общей, чтобы описывать разнообразные физические ситуации, и которая в| то же время обладала бы достаточно богатой внутренней структурой, чтобы давать возможность ма­ тематическими средствами получать ответы на вопросы об этих явлениях.

Такой моделью служит математическая структура, назы­ ваемая вероятностным пространством. Это не что иное, как

!) См. также книги Лоэва [81], Невё [91] или Партасарати [109]. Особенно важна статья В. А. Рохлина [122], постоянно используемая в эргодической теории как основополагающая работа по теории пространств Лебега и их из­ меримых разбиений. — Прим, перев.

пространство с мерой единичной полной массы. Таким образом*

вероятностным пространством называется тройка (й, ЗГ, Р)>

где й — множество, — некоторая совокупность подмножеств й, а Р — определенная на ЗГ неотрицательная вещественнознач­ ная функция, причем

С1. Совокупность ЗГ является о-алгеброй!), г. е. она содер­ жит й и замкнута относительно операций дополнения и счетногообъединения.

С2. Функция Р — счетно-аддитивная мера, г. е. если { Р а ­ счетный набор попарно непересекающихся множеств из ЗГ, то

пространством или пространством исходов, его элементы назы­ ваются исходами, множества ЗГ — событиями, а Р — вероят­ ностью.

Такие случайные испытания, как бросание монеты или извле­ чение шара из урны, могут быть математически представлены, с помощью соответствующих вероятностных пространств. Для примера рассмотрим испытание, заключающееся в извлечении шара из урны, содержащей 3 красных шара, 2 белых и 5 синих,, причем единственным различающим шары признаком является их цвет. Исходом испытания будет тогда только цвет извлечен­ ного шара, так что пространство исходов может быть представ­ лено как множество £2= {г, w, Ь), где исход г означает «былизвлечен красный шар», аналогично для w и Ь*2).

Если повторять это испытание очень долго, каждый раз от­ мечая цвет извлеченного шара и возвращая его после этогообратно в урну, то отношение числа извлечений шаров данногоцвета к общему числу извлечений будет приближаться к неко­ торому предельному значению. Это-значение и принимается за вероятность или правдоподобность получения при любом извле­ чении шара этого цвета. Для описанного выше испытания эти значения составят 0,3 для красного цвета, 0,2 для белого и 0,5- для синего. Иначе говоря, в конечном счете шар красного цвета будет извлечен в 30 % случаев, белого — в 20 % случаев и си­ него— в 50% случаев. Этого следовало ожидать, поскольку 30% шаров в урне— красные и т. д .3).

') В оригинале — a-field. Мы используем более привычный для русского* читателя термин „a-алгебра". — Прим, перев.

2)По первым буквам английских слов red, white и blue соответственно.—

Прим, перев.

3)То, что среднее число успехов в достаточно продолжительной сериинезависимых повторений некоторого испытания должно быть близко к доле-

24 Гл. 1. Сведения из теории вероятностей

Набор этих чисел определяет на пространстве Q = {г, w, Ь) •функцию /, называемую распределением. Используя ее, получим теперь вероятности событий.

Искомая вероятностная мера должна быть определена на подмножествах пространства исходов й, представляющих свя­ занные с испытанием события. В нашем примере, события за­ даются любыми осмысленными высказываниями о том, поя­ вится или нет красный, белый или синий шар. Всякое такое высказывание может быть представлено подмножеством про­ странства й. Например, высказыванию „извлечен красный или синий шар“ отвечает подмножество {г, Ь}. Осуществление не­ которого события Е a й равносильно тому, что исход извле­ чения лежит в множестве £. В нашем случае пространство исходов конечно, а потому совокупность событий будет совпа­ дать с совокупностью всевозможных объединений исходов, т. е.

Полученное значение Р({г, &}) должно совпадать с частотой

объединениями элементов пространства й', а мера Р' получена ограничением меры X на ЯГ'.

Легко видеть, что определенные так пространства с мерой (й, iF, Р) и (Й', ЯГ', Р') совпадают в том смысле, что сущест-

4>лагоприятных исходов в одном отдельно взятом испытании, составляет содер­ жание классического закона больших чисел, впервые доказанного Я. Бер­ нулли. Такая серия испытаний называется схемой Бернулли. Отсюда проис­ ходят используемые ниже термины «сдвиг Бернулли», «система Бернулли»

и т. д. — Прим, перев.

испытания имеет некоторые преимущества перед первым, по­ скольку оно вложено в пространство с хорошо изученной бога­ той математической структурой. Используемое в этом представ­ лении вероятностное пространство является, как мы увидим в. следующем разделе, факторпространством пространства Лебега.

1.2. ИЗМЕРИМЫЕ РАЗБИЕНИЯ И ПРОСТРАНСТВА ЛЕБЕГА

Разбиением вероятностного пространства (Й, !F, Р) назы­ вается совокупность непустых попарно непересекающихся под­ множеств пространства й, объединение которых есть все й. Эти подмножества называются элементами разбиения. Два разбие­ ния мы будем использовать особенно часто. Это точечное раз­ биение е, элементами которого являются одноточечные подмно­ жества пространства й, т. е.

вом называется всякое подмножество пространства й, полу­ ченное объединением элементов разбиения I 1). Например, е-множеством в пространстве й является любое подмножество й, а совокупность v-множеств состоит только из пустого мно­ жества 0 и самого й. Разбиение £ называется измеримым,. если существует счетное семейство 1-множеств {Вп: п — 1,2, ..

которые (F-измеримы (т. е. лежат в ЗГ) и обладают следую­ щим свойством отделимости:

S1. Для любых двух несовпадающих элементов С\ и С2 раз­ биения | найдется множество Вп, для которого или С{ а Вп и С2с: й — Вп, или наоборот.

-Можно показать, что элементы измеримого разбиения явля­ ются измеримыми множествами, но вовсе не верно,.что любое разбиение произвольного пространства с мерой на измеримые множества измеримо2).)*

!) В том числе и пустым. — Прим, перев.

*) Нетрудно убедиться в том, что измеримость разбиения равносильна тому, что оно является разбиением на множества уровня некоторой измери­ мой вещественнозначной функции [122]. Простейший пример неизмеримого разбиения. — разбиение на траектории любого апериодического автоморфизма (например, поворота окружности на иррациональный угол), все элементы ко­ торого — счетные множества. — Прим, перев.

служить математической моделью случайных испытаний. В этом примере в роли разбиваемого пространства Лебега выступал единичный отрезок, а элементы разбиения {/?, W, В) представ­ ляли исходы испытания.

В качестве еще одного примера рассмотрим два испытания: бросание правильной монеты и извлечение шара из урны, со­ держащей красные, белые и синие шары в соотношении 3 :2 :5 . Моделью второго испытания является описанное в разд. 1.1

получена из распределения на й2, сопоставляющего исходам h

Положим £ = {{г, до}, {6}} и отождествим множество {г, до} с А, а множество {{6} с t. Поскольку Р{{г, до} = Р2 {А} и Р{ {Ь} = Р2 {/}, легко видеть, что если в качестве пространства исходов взять

с (й2>3F2» Р2)- Таким образом, пространство отвечающее испыта­

жествами, а мера Р^ получена ограничением меры Р на д о ­

смысле факторпространством (Qh ЗГь Р{) по разбиению {{г, до}, {6}}. Оно тем не менее изоморфно этому факторпространству.2*

28 Гл. 1. Сведения из теории вероятностей

встречающиеся вероятностные пространства — это пространства Лебега.

Для того чтобы дать это определение, прежде всего необхо­ димо ввести понятия базиса и полного базиса пространства с мерой. (Следует помнить, что мы постоянно предполагаем все пространства с мерой полными в смысле теории меры, т. е. считаем, что все подмножества множеств нулевой меры изме­ римы1). К сожалению, в словосочетании «полный базис» пол­ нота имеет другое значение.)

Счетная совокупность Г = {В„} измеримых множеств назы­ вается базисом вероятностного пространства (£2, -ЯГ, Р), если выполнены следующие два условия:

В1. Семейство Г разделяет точки пространства £2, т. е. для любых двух различных точек со, со' из £2 существует такое мно­

последовательности a e { 0 , 1}Wотвечает множество Л, которое или пусто, или одноточечно. Кроме того, различным функ­

в смысле теории меры). Заметим, что авторы не всегда оговаривают необхо­ димость пополнения некоторых естественных а-алгебр (борелевской или <т-алгебры, порожденной цилиндрическими множествами) для получения про­ странств Лебега. — Прим, перев.

В этом можно убедиться, заметив, что если точка сое / имеет

где В' = {а>е£2: ю(п)=|0}. Сам базис Г не является полным, поскольку ("С.1 В“{п)== 0 , где а(1) = 0 и а(п) = 1 для п > 1.

Сформулированные выше идеи принадлежат Рохлину. Разви=_ вая их, он показал [122'], что если пространство полно (modO) относительно какого-то родного базиса, то оно полно (modO) и относительно любого базиса. Пространство Лебега определяется как пространство с конечной мерой, которое полно (modO) от­ носительно некоторого базиса. Мы всегда будем предполагать, что рассматриваемые пространства Лебега являются вероятност­ ными пространствами. Таким образом, всюду ниже под про­ странством Лебега понимается вероятностное пространство, пол­ ное (modO) относительно некоторого своего базиса. ,

Теперь мы перечислим ряд естественно возникающих при­ меров пространств Лебега. Некоторые из этих примеров свя­ заны с различными случайными процессами. Эта связь будет более подробно обсуждаться в разд. 1.7.

Пример 1.1. Дискретное пространство Лебега (S, 9>, pj). Пусть S'— конечное или счетно-бесконечное множество, f — рас­ пределение на S. (Напомним, что распределением называется

любая функция на S, для которой f ( s ) ^ 0 и 2 seS /( s ) = 1.) Обозначим через 9Р совокупность всех подмножеств S и опре­ делим на 9” меру p.f по формуле Pf(B) = ^,seE f(s). Получен­

ное дискретное вероятностное пространство является простран­ ством Лебега.

Полный (mod 0) байис пространства (S, 9 Pf) может быть построен следующим образом. Если множество S конечно, то

расширим его до множеств^ S' мощности 2*, где k — такое

целое число, что 2й-1 < | S |=< 2й. Не умаляя общности, можно считать, что S' = {1, 2, ... , |S '|} . Продолжим распределение f