книги / Математическая теория энтропии

Доказательство. Пусть Л е Г . Тогда

Используя свойство !транзитивности канонических семейств условных мер, получаем, что

5 Я (d©) 5 Я5 (d©, | NE(ш)) £ S (©„ ж) =

д“Г1 (Nt«*>)

АNj"* (Nt (®))

откуда

— ^ Я (d©) £ с (ю, ж) = ^ Я (d©) ж (©)

в силу того, что Л е Г с ^ . Таким образом, для любого мно­ жества Л е Г

откуда в силу единственности п. в.

|£ 5(Яс(ж)) = £*(ж).

1.7. с л у ч а й н ы е п р о ц е с с ы и д и н а м и ч е с к й е ^С'и с т е м ы

Случайный процесс — это абстрактное математическое поня­ тие, которое используется для описания случайных явлений, за­ висящих от некоторого параметра (как правило, времени) и подчиняющихся вероятностным законам. Например, повторяю­ щиеся извлечения шара из урны могут быть представлены не­ которым случайным процессом. Другие примеры ситуаций или явлений, описываемых случайными процессами, — это повторяю­ щиеся бросания монеты, положение капельки масла в опыте

-Милликена1), выигрыши в рулетку в серии последовательных игр, число людей в очереди в кассу кинотеатра и т. д.

Для наших целей обычно будет достаточно рассматривать •только случайные последовательности. Это такие случайные

.процессы, для которых параметрическое множество счетно, и поэтому можно считать, что оно является множеством всех це­ лых чисел или некоторым его подмножеством.

Определение 1.21. Случайной последовательностью в изме­ римом пространстве (Г, 5?) называется семейство случайных ве­ личин, которые заданы на одном и том же пространстве Лебега, принимают значения из Г и заиндексированы целыми числами, пробегающими некоторое подмножество множества всех целых чисел.

Рассмотрим, например, последовательные извлечения с воз­ вращением шаров из урны, содержащей красные, белые и •синие шары в отношении 3 : 2 : 5 , и не будем накладывать на количество извлечений никаких ограничений. Это испытание может быть представлено пространством Лебега (2(S), Ф , р), описанным в примере 1.3, где S = {r, w, b}. Определим для каждого положительного целого числа п функцию хп на про­ странстве 2(S), полагая

Хп(©) = ю (я),

где через а>(п) обозначена п-я координата последовательности ©. Семейство {хп: n s Z } — это случайная последовательность, п -й член которой представляет исход п-го извлечения.

Предположим теперь, что вы участвуете в следующей азарт­ ной игре с описанной выше урной. В случае извлечения крас­ ного или белого шара вы выигрываете один доллар, а в случае извлечения синего шара проигрываете один доллар. Будем счи­ тать, что ваши денежные ресурсы неограниченны и игра про­ должается бесконечно. Извлечения шаров из урны описываются с помощью пространства Лебега (2(5), Ф, р), и если опреде­ лить на множестве S функцию g, полагая

1 Имеется в виду опыт Милликена по определению заряда электрона путем измерения установившейся скорости движения заряженной капельки масла в вязкой среде (воздухе) под действием однородного электрического поля. В .отличие от движения броуновских частиц здесь скорость движения полностью определяется одной изменяющейся дискретно случайной величи­ ной — зарядом капельки. — Прим, перев.

64 Гл. 1. Сведения из теории вероятностей,[

то g о хп — случайная величина на пространстве 2(5). Ее зна­

Вероятностный закон, которому подчиняется развитие слу­ чайного процесса, задается совместными вероятностными рас­ пределениями случайных величин, образующих этот процесс. Если х — случайная величина на пространстве Лебега (Q, У , Р), то ее пространством распределения (distribution space) назы­ вается факторпространство пространства Q по разбиению «“'(е), где е — это точечное разбиение! пространства значений х. Во всех случаях, которые будут нами рассматриваться, это про­ странство значений является пространством Лебега (или по меньшей мере оно обладает счетным базисом), т. е. разбиение дН (е) измеримо. В разд. 1.4 д^я полученного таким образом факторпространства использовалось обозначение (Q*, STх, Рх). Вероятностная мера Рх называется распределением случайной величины х. Как отмечалось в разд. 1.4, событиями из простран­ ства распределения х являются в точности те множества из ст-алгебры ЗГ, которые определяются значением случайной ве­ личины х.

Предположим теперь, что {хп: п е /} — это некоторый конеч­ ный набор случайных величин, заданных на пространстве (Q, 3F, Р) и принимающих значения в пространстве (Г, 9), где ст-алгебра $ является счетно-порожденной. Пространством совместного распределения (joint distribution space) этого семей­ ства случайных величин называется факторпространство, отве­ чающее произведению всех разбиений х~1(г) для « е /. Совмест­

ным вероятностным распределением или просто совместным

где множества {/?„} выбираются из некоторого счетного семей­ ства множеств, порождающего а-алгебру Часто, когда гово­ рят о совместном вероятностной распределении случайных ве­ личин {х„: гае/}, имеют в виду'именно набор чисел (1.17).

В большинстве приложенийобычно заданы как раз сов­ местные вероятностные распределения и случайные процессы классифицируются в зависимости от свойств совместных распре­ делений всевозможных конечных наборов случайных величин, образующих процесс. Например, если случайная последователь­ ность {хп: га е Z) такова, что для любого конечного подмноже­

мейство, случайный процесс {*,,} называется независимым. Этим свойством обладает, например, описанный выше процесс извле­ чений шаров из урны с возвращением. Другой пример: случай­ ная последовательность {xn; n e Z } со значениями в R назы­ вается гауссовским процессом, если для каждого конечного подмножества- Z соответствующее совместное распределение является многомерным нормальным распределением.

Два случайных процесса со значениями из одного и того же множества называются эквивалентными, или тождественными, если они имеют одно и то же параметрическое множество Т и их пространства совместнбго распределения изоморфны для лю­ бого конечного подмножества Т.

Рассмотрим для примера два случайных процесса {g„: п е Z +) и {уп: п е Z +}. Здесь gn— g ° x n с определенными выше хп и g, а уп строятся следующим образом: положим Si = {+1, —1} и

рить, что эти две случайные последовательности эквивалентны. Заметим, что вторая последовательность может служить моделью последовательности бросаний монеты с выигрышем одного доллара, в случае если выпал орел, и проигрышем одного доллара при выпадении решки.

Пусть нам известны только совместные вероятностные рас­ пределения некоторой случайной последовательности с про­ странством значений (Г, $) и параметрическим множеством Т. Как правило, по этим совместным распределениям можно по­ строить пространство Лебега и заданные на этом пространстве случайные величины, представляющие этот процесс. Для этого в качестве Q надо взять декартово произведение стольких эк­ земпляров множества Г, сколько элементов содержится в Т. Вероятностная мера Р и о-алгебра^ строятся с использованием теоремы Колмогорова о продолжении, как это делалось в при­ мерах кЗ^-Ч.7. В этих примерах заданные согласованные се­ мейств мер как раз и являются совместными вероятностными распределениями случайной последовательности. Для получе­ ния последовательности случайных величин надо, как и выше, в качестве n-й случайной величины взять проекцию на п-ю ко­ ординату. Полученное таким образом пространство (Q, 9r, Р) иногда называют пространством реализаций или пррстранством траекторий случайного процесса. Заметим, что точками o e f i

Т — метрический эндоморфизм, х о Тя является случайной вели­ чиной для каждого n e Z +, и поэтому если положить

Хп (®) = х (Тп (<*>)),

то {х„: » 6 Z +) есть случайный процесс. Если динамическая система обратима (т. е. Т является метрическим автоморфиз­

мом), то определены также случайные величины х о Т~“, а потому задан процесс {хп: n e Z } .

обладают стационарными совместными распределениями, т. е. представляют собой примеры стационарных случайных процес­

Последнее равенство означает, что совместное вероятностное распределение набора случайных величин {Х|, ..., Xn+i} совпа­ дает с совместным вероятностным распределением набора слу­ чайных величин {хо, хи •••» хп). Как легко показать, отсюда следует, что для любого конечного множества I целых чисел совместное вероятностное распределение семейства случайных величин {хп: л е / ) совпадает с совместным распределением се­ мейства {х„+*: п е / } при любом k е Z+. Случайные процессы, удовлетворяющие этому условию, и называются стационарными.

это некоторое явление, протекающее с изменением параметра t (мы будем считать, что это время). Стационарность случайного процесса гарантирует неизменность его вероятностной струк­ туры при сдвиге во времени. Следовательно, можно считать, что такие процессы представляют «установившиеся» явления, т. е. такие, динамическая структура которых не зависит от времени.

таким образом каждое измеримое разбиение пространства состояний динамической системы определяет некоторую стацио­ нарную случайную последовательность.

Обратно, пусть {хп: п е Z) — стационарная случайная после­ довательность на пространстве (Q, SF, Р). Обозначим через измеримое разбиение х~1(е) пространства Q, где е — точечное

разбиение пространства значений случайных величин, и через £ обозначим разбиение V*_Почти всякая точка ю .фактор-

пространства (Qj, &~{, Р5) может быть однозначно представлена в виде

®= П Х п 1( г п)>

Л —— оо

где ( ..., r_j, г0, г(, ...) — некоторая бесконечная в обе стороны последовательность элементов из пространства значений слу­ чайных величин хп *). Определим преобразование Т простран­

ства

00*3

П» —оо

Всилу стационарности случайного процесса преобразование Т

измеримо, сохраняет меру и (£2г, Р{, Т) является обрати­ мой динамической системой. Стационарный случайный процесс

Как видно из последних двух [абзацев, стационарные случай­ ные последовательности эквивалентны измеримым разбиениям динамических систем, т. е. стационарные случайные процессы можно представлять в виде пары (Т, 5), где Т — некоторый метрический автоморфизм (или эндоморфизм), а | — измеримое разбиение того пространства Лебега, на котором действует Т. Вид случайного процесса определяется совместными распреде­ лениями составляющих его случайных величин, а совместные распределения в свою очередь задаются факторпространствами

2) В оригинале — independent process и independent partition соответ­ ственно. В русской литературе термин «бернуллиевский> используется приме­

нительно к случайным процессам, образованным независимыми одинаково распределенными случайными величинами (см. последнее примечание пере­ водчика к разд. 1.1).— Прим, перев.

70Гл. 1. Съедения из теории вероятностей

1.8.ЭРГОДИЧЕСКАЯ ТЕОРЕМА И ТЕОРЕМА

О СХОДИМОСТИ МАРТИНГАЛОВ

собой набор реализаций случайной величины х в последова­ тельные моменты времени. Среднее по времени значение х за N испытаний составляет

/-0 / - о

Если у последовательности

КО 1

существует предел, то он по определению равен среднему зна­ чению случайной величины х по всей последовательности испы­ таний. В частности, пусть *(© )= 1д(со), где А — некоторое со­ бытие из а-алгебры 5Г. Тогда

дящие в это семейство разбиения отвечают независимым повто­ рениям испытания с двумя исходами. Если основываться на на­ шем интуитивном представлении о вероятности, то в этом слу­ чае среднее число появлений события А должно сходиться к

Р{А). Действительно, усиленный закон больших чисел как раз и утверждает, что

таким образом, этот предел уже не является совпадающим почти всюду с постоянной величиной Р(Л). Ясно, что то же самое произойдет и для любого множества, которое инвариантно отно­ сительно преобразования Т.

Предположим все же, что нетривиальных (т. е. таких, вероят­ ность которых не равна 0 или 1) Т-инвариантных множеств нет. В этой ситуации справедлива очень важная теорема (эргоди­ ческая теорема), согласно которой для таких эндоморфизмов Т (они называются эргодическими) всегда происходит по существу то же самое, что и в случае, когда {Л, Q —А} — бернуллиевское разбиение для эндоморфизма Т.

Определение 1.23. Динамическая система (Q, , Р, Т) и мет­ рический эндоморфизм Т называются эргодическими, если из соотношения Р(Т-1Д АЛ) = 0 следует, что или Р{А) — 0 или

Р (А )= 1.

Перед тем как сформулировать эргодическую теорему, мы сформулируем и докажем (используя рассуждения Гарсиа) лем­ му, которая играет центральную роль в доказательстве эргодической теоремы.