книги / Математическая теория энтропии

Зафиксируем целое число р > 0. Для каждого целого п > р существуют такие целые k и i, что n = kp + i, O ^ t < р . В силу субаДдитивности

для любого р. Тем самым

Поскбльку

доказательство завершено.

Предел, существование которого только что было доказано, обозначается через h(Т, g) и представляет собой среднее коли­ чество неопределенности, приходящейся на одно испытание £ в бесконечной серии его повторений, или же скорость, с которой создается информация при многократном воспроизведении испы­ тания £ с помощью преобразования Т.

Определение 2.26. Скорость создания информации при повто­ рениях испытания, отвечающего разбиению £, с помощью пре­ образования Т, или энтропия g относительно Т, обозначается через А(Т, |) и определяется соотношением

Теорема 2.27. Пусть I — измеримое разбиение пространства Лебега (Q, , Р), такое, что Я (|) < оо, а Т — метрический эндо­ морфизм £2, тогда

h (Т, |) = я ( | / У 1Т -/1).

Дрказательство. Используя многократно теорему 2.21, полу­ чим, что

Я (V Т_/|) = Я (Т~п+11) + Я (Т~п+2|/Т " п+1|) +

+ Я (Т~п+%/Т~п+21 V T~n+l|) +

Применение теоремы 2.24 к слагаемым в правой части этого равенства дает соотношение

■Мй г'*)-±н®+±&н(г1£ т"'0'

Из конечности Я (|) следует, что (l/n) Я (1) -> 0. Более того,

я ( |/ у / - / т - /Ю < оо для всех k, откуда в силу теоремы 2.18 следует, что

Тем самым теорема доказана.

Если в формулировке доказанной теоремы опустить усло­

единичный интервал с мерой Лебега. Определим преобразова­

Заметим, что утверждение теоремы 2.27 можно переформу­ лировать так: если средняя неопределенность относительно ис­ хода испытания | конечна, то скорость, с которой создается информация при повторениях £ с помощью преобразования Т, совпадает с неопределенностью относительно исхода £ при.из­ вестных исходах всех будущих воспроизведений | с помощью Т.

Следствие 2.28. Если i — измеримое разбиение пространства состояний динамической системы (Q, SF, Р, Т), такое, что

# ( |/У /- 11Т~/Ю= Я(£), откуда следует, что, h (Т, £) = Я (£).

J) При переводе в описание этого примера внесены необходимые исправ­ ления. — Прим, перев.

2) Иногда h (Т, |) определяют непосредственно с помощью формулы из теоремы 2.27. При таком определении величина h (Т, £) имеет содержатель­ ный смысл не только для счетных разбиений с конечной энтропией, но и для произвольных измеримых разбиений £. — Прим, перев.

а из того, что Л(Т, Е) = Я (|/ VT-i Т-/|), получаем, что

я ( | / у Т - '|) = Я (|)

для всех я. По теореме 2.9 отсюда следует, что разбиения £ и V / —1 независимы для всех п. Тем самым | независимо от Т“ ‘|. Поскольку Я (|/Т -1|) — Я (Т _1|/Т~21), получаем, что Т- ,£ независимо от Т-2|. Но из того, что £ независимо от Т-1£ V Т-2|, а Т-1£ независимо от Т~2£, следует, что 1 незави­

симо от Т~2£. Таким образом, разбиения {£, Т_1£, Т~2|} неза­ висимы. Продолжая это рассуждение, можно показать, что

В том, что неопределенность бернуллиевского разбиения сов­ падает со скоростью создания информации при его повторениях с помощью преобразования Т, нет ничего удивительного, по­ скольку в этом случае действие Т отвечает независимым повто­ рениям исходного испытания, и тем самым знание исходов вос­ произведений этого испытания в будущем не уменьшает неопре­ деленности относительно его исхода в настоящем.

Заметим также, что и А(Т, |), и Я (l/V/^-i Т-/|) не превос­ ходят Я (£). Этого следовало ожидать, поскольку среднее зна­ чение информации, получаемой при одном повторении испыта­ ния, не может превосходить неопределенность этого испытания. Кроме того, если Я (|) < оо, то равенство достигается здесь тогда и только тогда, когда повторения испытания независимы, т. е. когда £— бернуллиевское разбиение для преобразования Т.

причем А (Г, |) = log К тогда и только тогда, когда разбиение £ бернуллиевское, а каждый его элемент имеет вероятность 1//С.

В разделе 1.7 мы показали, каким образом стационарным случайным последовательностям отвечают измеримые разбиения динамических систем (Q, ЯГ, Р, Т). Степени Тя преобразова­ ния Т определены |для всех п, что позволяет вычислить ско­ рость создания информации при повторениях задающего слу­ чайный процесс разбиения. Тем самым каждой случайной по­

следовательности сопоставляется некоторое число. Например, если {хп\ re е Z} — стационарная случайная последовательность с конечным множеством состояний Г, скорость создания инфор­

мации этим случайным процессом есть lim,(l/n) Я (V/-o х]' ‘(в))

или Я (дго 1(e)/V/^i х / 1(е)), где е —точечное разбиение Г. Заметим, что этот инвариант зависит только от совместных

распределений образующих стационарную последовательность случайных величин. Как мы позже увидим, он может быть ис­ пользован для установления неизоморфности преобразований сдвига случайных последовательностей.

В следующих ниже теоремах доказываются основные свой­ ства скорости создания информации.

А(Т, |)< А (Т , л) + Я(|/л). .

Применяя теорему 2.24 к слагаемым под знаком суммы, по­

После деления на Я и перехода к пределу получаем доказы­

Теорема 2.31. Если {!„} — такая последовательность измери­ мых разбиений, что g„ f I и Я (£/£„) < оо для некоторого п, то

А(Т, g„)fA(T, £).

поскольку УГ-оТ-/т)=е. Кроме того, h(Т, г|)= Я ("п/V/^-i Т~/rj) ===

Теорема 2.33. Пусть (Q, SF, Р, Т) — обратимая динамическая система, а I и ц — измеримые разбиения пространства Q. Если.

Я ( | V л / V /liT - ,ti) < оо, то

/ f ( I V T 1 l /Y i T " / ( I V T 1 ) ) ==

- H 4 F . , T" " ) + H i l / , Y , T ‘ ' S V , . Y . T ' \ ) -

Доказательство. Для любого разбиения а будем обозначать

Из обычной сходимости следует сходимость по Чезаро, поэтому,, переходя к пределу в равенстве (2.47), получаем, что

Переходя в равенстве (2.50) к пределу с использованием фор­ мул (2.48) и (2.51), получаем

я ( I V Л/Г V Л*”)= я (л/л“)+ Я(6/Г V Л00).

Следствие 2.34. £слы Я (£ V л) < 00 и Т — автоморфизм, го А(Т, 6УЛ) = Л(Т, л) + Я ( Г У л !

л, в частностиу

Н Т, '6 V4XMT, л) + Л(Т. 0-

:2.8. ЭНТРОПИЯ ДИНАМИЧЕСКИХ СИСТЕМ

Как уже отмечалось в разд. 1.7, динамическую систему можно считать математической моделью некоторого случайного мира, изменения состояния которого во времени описываются преобразованием Т. ,

Рассмотрим для примера устройство, печатающее буквы из некоторого конечного алфавита S. Предположим, что за каж­ дую единицу времени печатается одна буква, а вероятность появления любой заданной буквы s e S в момент времени п не зависит от п и определяется вероятностным распределением :{f(s): S G S}. Моделью этого устройства может служить дина­ мическая система (2(S), У 9 ц, Т), где Т — преобразование

-системы является пространство реализаций некоторой случай­ ной последовательности элементов S. Такие системы и близкие к ним известны в теории информации как дискретные источ­ ники. Более подробно о них говорится в гл. 3, которая посвя­ щена теории информации.

Другой пример динамической системы возникает при изуче­ нии свойств газов. Пусть имеется сосуд с газом, состоящим

(на микроскопическомуровне) из молекул, которые мы считаем материальными точками. Такие поддающиеся измерению макро­ скопические характеристики газа, как объем, температура и давление, определяются динамикой этих молекул. Теоретически,

молекулы и 3 компоненты ее импульса. Будем считать, что xf

нием которой в точке (х)( х2, .. . , xeN, t) является полная энер­ гия газа, находящегося в момент времени t в состоянии (xt, ...

... , x6N). Эта функция называется гамильтонианом системы,, и изменение системы во времени описывается гамильтоновыми;' уравнениями движения

Предположим, нам известно, что в начальный момент вре­ мени система находилась в состоянии (аи а2, ... , a^N), а гамиль­

тить зависимость функций £/ от начальной точки, будем обоз­ начать решения системы уравнений Гамильтона с начальными

определяющая состояние газа в любой момент времени t. Используя эту функцию, мы можем определить преобразо­

вание Т бЯ-мерного пространства, переводящее точку а в £„(1). Иначе говоря, Т (а) — это состояние газа через одну единицу времени после того, как он находился в состоянии а.

Предположим теперь, что гамильтониан системы не зависитявно от времени (в этом случае система называется консерва­ тивной), тогда ее полная энергия не меняется со временем. Если £ 0 — полная энергия системы в начальный момент вре­ мени, то в качестве начального состояния можно взять любоесостояние а — (аи ... , a6w), такое, что Я (а,, ... , а6Л,) = £0.

120 Гл. 2. Энтропия и информация

Поскольку с ходом времени полная энергия не меняется, ЦоТ(а) = Е0, т. е. Т (а) лежит в Н~1(Е0) для.любого а из

Таким образом, Т переводит в себя каждую поверх­ ность уровня энергии.

Для консервативного случая Лиувиллем была доказана фундаментальная теорема, утверждающая, что Т как отобра­ жение 6Л^-мерного пространства в себя сохраняет меру Лебега,

так что как отображение поверхности Я ”1(Е0) в себя оно сохра­ няет меру на этой поверхности, индуцированную мерой Лебега во всем 6Я-мерном пространстве. В приложениях Я, как пра­ вило, обладает достаточно «хорошими» свойствами (см. для

примера разд. 6.2), благодаря чему Я ”1(Е0) является ограни­ ченной поверхностью с конечной площадью. Таким образом

гими привело к развитию эргодической теории, о чем будет подробнее рассказано в гл. 4.

Большой интерес представляет задача отыскания средств для определения того, когда две динамические системы явля­ ются «одинаковыми». Предварительно надо установить, что следует понимать под «одинаковостью». Разумно будет считать, что !пространства состояний таких динамических систем должны быть связаны некоторым изоморфизмом (modO), переводящим отрезки траекторий одной системы в отрезки траекторий дру­ гой.! Это приводит к следующему определению.

Определение 2.35. Две динамические системы, (Qt, STХ,.РЬ Tj) и (О2, F 2>Р2, Т2), называются изоморфными, если существует

такбй, что S o T {=zT2°S.

Использование скорости создания информации h(Т, £) дает очень эффективный способ доказательства неизоморфности динамических систем, а в одном очень важном случае — и изоморфности. Он состоит в вычислении некоторой величины, свя­ занной с системой и не изменяющейся при изоморфизмах. Эта величина называется энтропией системы, или энтропией зада­ ющего эту систему преобразования, или инвариантом Колмо­ горова — Синая. Энтропия динамической системы (Q, F , Р, Т) обозначается через А(Т), а иногда через hP{Т), с тем чтобы подчеркнуть зависимость этого инварианта не только от преоб­ разования Т, но и от вероятностной меры Р.

Энтропия как метрический инвариант была введена и иссле.- дов^на Колмогоровым, Синаем и Рохлиным в ряде фундамен­

тальных работ [69, 142, 143, 123],). Ее появление, как мы уви­ дим в гл. 4, совершенно преобразило эргодическую теорию. В оставшейся части этого раздела будет дано определение энтропии динамических систем и установлены ее основные свой­ ства, а также доказаны некоторые теоремы, полезные при вычислениях.

Определение 2.36. Энтропия или инвариант Колмогорова — Синая динамической системы (Q, 9 , Р, Т) обозначается через; Л(Т) и определяется соотношением

A(T) = sup{A(T, |): £ — конечное измеримое разбиение}*2).

Энтропию А(Т) можно представлять себе как наибольшую возможную скорость создания информации преобразованием Т с помощью конечных разбиений пространства состояний. Как мы увидим, во многих случаях эта максимальная скорость действительно достигается. Но прежде всего докажем, что А (Т), является метрическим инвариантом.

Теорема 2.37. Пусть (Qlt 9 it Р,, ТО и (Q2, 9 2, Р2, Т2) —

две динамические системы. Если существует сохраняющее меру-

в пространство Q2, которое обладает теми же свойствами, что и отображение S из формулировки теоремы 2.37. Две системы называются слабо изоморфными, если каждая из них является

*) См. предисловие редактора перевода.

2)Значение h (Т) не изменится, если sup брать по всем измеримым раз­ биениям с конечной энтропией, а при расширенном определении h (Т, £) (см.

примечание перед следствием 2.28) — и по всем вообще измеримым разбие­ ниям пространства Q. Величину h (Т) часто также называют метрической эн­ тропией. — Прим. перев.

3)Хотя теорема 2.13 в тексте сформулирована только для эндоморфиз­ мов, ее доказательство дословно переносится и на случай гомоморфизмов, пространств с мерой. — Прим. перев.