книги / Математическая теория энтропии
..pdf122 |
Гл. 2. Энтропия и информация |
гомоморфным образом другой. Легко видеть, что из изоморфлости систем следует их слабая изоморфность.
Следствие 2.38. Если две динамические системы слабо изо морфны, то их энтропии равны.
Теперь мы покажем, что во многих важных случаях наи большая возможная скорость создания информации (которая равна энтропии динамической системы) действительно дости гается, благодаря чему энтропию в этих слу<йях можно легко вычислить
Теорема 2.39. Если (Q, Э~, Р, Т) — обратимая динамическая система, а ц — измеримое разбиение, такое, что Я (TJ) < оо и
V jl_ <x>T-/ri = |
8 (г. е. г\ — образующее разбиение для автомор |
||
физма Т), то |
/г(Т) — /г (Т, |
т]). Для |
необратимых систем то же |
утверждение справедливо, |
если |
= е- |
Доказательство. Пусть | — конечное измеримое разбиение. Тогда, поскольку К » и У^1_теТ- /т1 = е, из теоремы 2.32 сле
дует, что Л(Т, £)^А (Т, т)). Тем |
самым А(Т)^А(Т, т)). Обрат |
|||
ное неравенство следует из теоремы. 2.31. |
|
|||
Пример |
2.40. Рассмотрим |
динамическую систему |
(2(S), |
|
ST, ц, Т), |
где |
(2(S), , ц) — пространство Лебега описанное |
||
в примере |
1.3, |
а Т — преобразование сдвига. Напомним, |
что р |
является продакт-мерой, порожденной функцией распределе
ния f на конечном множестве |
S. |
Легко |
видеть, |
что |
если |
|||||||
"П— „начальное** |
(time |
zero) |
разбиение |
[т. |
е. |
элементами т) |
||||||
являются |
множества вида |
( ® е 2 (5): <о (0) = |
s) для s е S], то т) |
|||||||||
является |
бернуллиевским |
разбиением для |
автоморфизма |
Т и |
||||||||
V jl_ co Т_/т)= е. Таким |
образом, |
А(Т) = А(Т, т)) и |
|
|
||||||||
А(Т, -п)== lim - ^ - я ( V Т-7^ |
= — |
У |
f (s) log f (s). |
|
||||||||
|
|
OOn |
V/-0 |
|
/ |
|
S € о |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
В частности, |
если |
S = |
(0, |
1} |
и f (0) = |
f (1) = |
у , |
TO A(T) = |
= log2 . Энтропия сдвига, построенного по множеству 5 = { 0 ,1, 2,} и функции распределения /(0)= ./(1) — / (2) = у , составляет log3, откуда и следует, что эти две системы неизоморфны.
Следствие 2.41. Если (Q, $F, Р, Т) — обратимая динамическая система и существует разбиение |, такое, что Я (|) < оо и
VJ10 Т-/§= в, то А (Т) = 0
|
|
2.8. Энтропия динамических систем |
12& |
|||
Доказательство. Поскольку преобразование Т обратимо и; |
||||||
УГ—=оТ“^ > |
V“_0T_/I, |
из теоремы 2.39 |
следует, |
что h (Т) = |
||
= h (Т, 1). Но в |
силу того, что |
И (|) < оо, |
|
|
||
h (Т, |
|) = |
Я ( |/ V |
Т_/| ) |
= Я ( т |/ V |
Т_/| ) = |
0. |
Теорема 2.42. А(Т) = 0 тогда и только тогда, когда каждое конечное разбиение I измельчается разбиением V /liT - /£.
Доказательство. |
Из конечности |
разбиения |
| |
следует, что |
его энтропия тоже |
конечна, поэтому Л(Т, £) = |
Я ( l / V ^ Т-/£). |
||
Но правая часть этого равенства |
обращается в нуль тогда и |
|||
только тогда, когда |
V jl|T ~ ^ . |
Утверждение |
теоремы сле |
|
дует теперь из определения Л(Т). |
|
|
|
|
Напомним, что в разд. 1.3 мы объяснили, |
что соотношение |
£=^Т1 означает, что исходы испытания, отвечающего разбие
нию £, однозначно |
восстанавливаются по исходам |
испытания, |
отвечающего разбиению TJ. Если | — измеримое |
разбиение, |
|
а преобразование |
Т обратимо, то Т"| — тоже измеримое раз |
биение для любого положительного целого п. Элементы этой»
разбиения |
можно представлять |
себе как исходы испытания %. |
||||||||||
в |
прошлом, поскольку |
ю е Т М |
тогда |
и |
только тогда, |
когда |
||||||
Т-п© е |
А, |
т. е. событие А произошло п единиц времени |
на |
|||||||||
зад. С этой точки зрения разбиение |
|
полностью |
опи |
|||||||||
сывает |
прошлое нашего испытания. Поскольку Л(Т~1) = |
Л(Т)1), |
||||||||||
из теоремы |
2.42 следует, |
что |
|
Л(Т) = 0 тогда и только тогда, |
||||||||
когда исход любого |
конечного |
испытания 1 в настоящем |
пол |
|||||||||
ностью |
определяется |
его |
исходами |
в |
прошлом, |
т. . е. |
||||||
£ |
VT-i |
Поэтому обратимые динамические системы с ну |
||||||||||
левой энтропией называют детерминированными.2) . |
|
|
||||||||||
|
Теорема 2.43. Если |
(Q, У , |
Р, Т) — динамическая система', то |
|||||||||
|
|
|
|
|
Я (Т*) = |
| * | Л (Т) |
|
|
(2.53) |
|||
для k = 0, |
1,. 2, .... |
Если |
преобразование |
Т обратимо, |
то это |
равенство справедливо и для отрицательных значений k . [Здесь Тк обозначает композицию преобразования Т с самим собой k раз
*) Это следует из того, что в силу теоремы 2.13 h (Т, |)= »Л (Т “ 1, |) для
любого конечного измеримого разбиения |
— Прим. перев. |
2) Точнее, детерминированными называют стационарные случайные про |
|
цессы, для которых сдвиг в пространстве |
траекторий имеет нулевую энтро |
пию. — Прим. перев. |
|
124 |
Гл. 2. Энтропия и информация |
для положительных k , Т° — тождественное преобразование и Т* = (Т“1) для отрицательных &.]
Доказательство. На основании определения легко получить,
ЧТО !А (Т°) = 0 и А(Т"1) = Л(Т) для обратимых Т. Тем самым •формулу (2.53) необходимо доказать только для положитель ных значений А.
Пусть I — конечное измеримое разбиение. Для |
любого по |
|||
ложительного целого п |
|
|
||
|
|
|
1 |
|
|
|
|
kn |
|
где 11= |
V/_o Т |
Следовательно, |
|
|
|
Л(Т, I) = 4 * h |
4 ) > T h (т ‘>& |
(2.54) |
|
поскольку Ц т ) , |
откуда А • Л(Т)^Л(Т*). |
|
||
Используя равенство из формулы (2.54), получаем |
||||
Л (Т) = |
sup | а ^Tft, V Т_/1^ : | — конечное разбиение | ^ |
что; завершает доказательство.
2.9. ФАКТОРАВТОМОРФИЗМЫ И ФАКТОРСИСТЕМЫ
Пусть |
(Q, |
Р, Т) — |
обратимая динамическая система. |
В разд. |
1.7 мы показали, |
каким образом каждому измеримому |
разбиению | пространства состояний этой системы можно со поставить стационарный случайный процесс (Т, |). Напомним,
что если £°°= V/1_TOТ-/|, то факторпространство Р
является „естественным** для изучения этого процесса, по скольку все связанные с процессом события лежат в этом пространстве. Мы также показали, каким образом по преоб разованию Т можно определить преобразование Т^оо простран
ства Q5°°, для которого (Qj~, |
°°, Т|~) является динами |
ческой системой. Эта динамическая система называется факторсистемой исходной системы. Покажем теперь, как можно оп ределить факторсистемы и в более общей ситуации.
Заметим, что Т-1| то= ^|” . Это в действительности единствен ное условие на измеримое разбиение, которое необходимо для задания факторсистемы.
2.9. Факторавтоморфизмы и факторсистемы |
125 |
Определение 2.44. Если £ — измеримое разбиение простран |
|
ства состояний динамической системы (Q, Ф, Р, Т), |
такое, что |
Т~1£ < £, то факторэндоморфизмом Тс, отвечающим разбиению £, называется метрический эндоморфизм, заданный на факторпро• странстве (Qc, ЗГ^, Рс) соотношением
Тс (с) = d
тогда и только тогда, когда Т-1 (N f1(d)) — тот единственный элемент разбиения Т-1£, который содержит множество Nf'(c).
Нетрудно видеть, что Тс является метрическим автомор
физмом тогда и только тогда, когда Т_1£= £. Динамическая система (Qc, Рс, Тс) называется факторсистемой, отвечаю щей разбиению £. Заметим, что для упомянутого выше раз
биения £“ выполняется условие Т-1£00 = £00, так что Т5«,— это метрический автоморфизм. Факторсистема (Ojo», #*£<», Р^», Т5<х>)
полностью описывает случайный процесс (Т, |). |
пространства |
||||||||||||
Предположим, |
что |
£ — измеримое |
разбиение |
||||||||||
состояний системы |
(Q, |
|
Р, Т), такое, что Т“ ‘£ < |
£. Легко ви |
|||||||||
деть, |
|
что |
факторсистема |
(Qc. &~t> Рс. Тс) |
является гомоморф |
||||||||
ным |
образом системы |
(Q, Ф , Р, Т) |
при |
канонической |
проек |
||||||||
ции |
Nc. |
Обратно, |
если |
(Q', Ф ', Р', Т') — гомоморфный |
образ |
||||||||
системы |
(Q, 3F, Р, |
Т), |
то |
существует |
измеримое |
разбиение £, |
|||||||
такое, |
что Т-1£ ^ £ и система (Qc, ЗГ\, Рс, Тс) |
изоморфна |
си |
||||||||||
стеме |
(Q', 9r>, Р', |
ТО- |
Достаточно |
в |
качестве |
£ взять |
разбие |
||||||
ние S-1 (еО, где S — метрический гомоморфизм |
пространства Q |
||||||||||||
на пространство Q', а в — точечное разбиение |
Q'. |
|
|
||||||||||
Поскольку факторсистемы являются гомоморфными образами |
|||||||||||||
исходной системы, из теоремы 2.37 |
следует, |
что А(Тс)*^/г(Т) |
|||||||||||
для любого измеримого разбиения £, |
такого, что Т-1£ ^ £ . |
|
|||||||||||
Лемма 2.45. Если £ — измеримое разбиение пространства со |
|||||||||||||
стояний |
динамической |
системы |
(Q, ?Г, |
Р, |
Т), |
такое, |
что |
||||||
Т "'£ < £ , |
го |
Л (Тс Г) = Л(Т, Nc1!') |
|
|
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|||||
для любого измеримого разбиения |
|
пространства Qc. |
|
|
|||||||||
Доказательство. Поскольку Nc ° Т = |
Тс®Nc, из теоремы 2.131) |
||||||||||||
следует, |
что |
|
|
|
|
= я (V Тс"7! ') . |
|
||||||
|
|
я (V T- /N f 'r ) = я (V Nc“ 'Tc |
|
!) См. примечание к доказательству теоремы 2.37. — Прим. перев.
126 |
Гл. 2. Энтропия и информация |
Утверждение леммы вытекает теперь из определения скорости создания информации.
Теорема 2.46. Если £ — измеримое разбиение пространства состояний динамической системы (£2, 2Г, Р, Т), такое, что
то |
|
|
|
|
Л (Тс) == sup {А (Т, £): I конечно, |
£<£}. |
|
Доказательство. Прежде всего заметим, что если | — любре |
|||
измеримое |
разбиение |
пространства £2, такое, что £ ^ £ , то |
|
Nf*(NtC) = |
C п. в. для |
каждого элемента |
С е £ . Таким обра |
зом, |
|
|
|
ft(Tt) = sup {/i(Tt, I'): i' —конечное разбиение £2t}
=sup{ft(T, Nt~‘(£')): N^(S') конечно}
=sup{A(T, I): l конечно и £<£}.
Теорема доказана.
Предположим теперь, что | — конечное разбиение простран ства состояний обратимой динамической системы (£2, Ф", Р, Т),
и положим £= VJl.oo Т_/|. Тогда разбиение N;(£) {является
образующим для факторсистемы (£2t, |
Pt, Tt) |
и A(Tt) = |
||
= h (Т, |), |
как следует из |
теоремы Колмогорова — Синая и |
||
леммы 2.45. |
разбиения |
пространства |
состояний |
|
Если | |
и т] — конечные |
системы (£2, 9", Р, Т), то возникающим из этих разбиений слу
чайным процессам отвечают факторсистемы (Ц», |
Р ^ , Т^~) |
|
и (Q^oo, ^ с о , Р^со, Тчоо) соответственно. Если |
процессы (Т, |) и |
|
(Т, л) эквивалентны в смысле определения из |
разд. 1.7, то эти |
факторсистемы изоморфны. (Обратное утверждение неверно.) Вычисление энтропии факторсистем дает возможность дока зывать их неизоморфность, но не позволяет различать неэкви валентные случайные процессы, которым отвечают изоморфные динамические системы.
Теперь мы докажем несколько теорем о предельном пере ходе для энтропии факторавтоморфизмов и используем ихЦдля вычисления энтропии произведения двух эндоморфизмов.
Теорема 2.47. Если {£„} и £ — измеримые разбиения про странства состояний динамической системы (£2, 3~, Р, Т), такие,
что £„ f £ и T-1£„ < £„ для всех п *), то
h{ T g t M T c ) .
') Отсюда следует, что и Т |
£• — Прим, перев. |
2.9. Факторавтоморфизмы и факторсистемы |
127 |
Доказательство. Переходя к факторпространству (Qt, |
Р^), |
мы можем считать разбиение £ точечным. Тогда Н (|/£„) | 0 для
любого |
конечного разбиения |
£, поскольку £„ f е. |
большим, |
что |
||||||||
Зафиксируем |
б > 0 и выберем |
N |
настолько |
|||||||||
ШШп ) < Ь для |
всех n ^ N . В силу |
измеримости |
разбиений $„ |
|||||||||
для любого заданного /г ^ Я |
существует такая |
последователь |
||||||||||
ность конечных измеримых разбиений {im}, что |
f |
и тем |
||||||||||
самым |
Я (!/im) I Н (Шп)> т. |
е. |
существует |
такое |
М, |
что |
||||||
Н(Шм)<6. |
2.29 |
|
|
|
|
|
|
|
|
|
||
• По лемме |
|
|
|
|
|
|
|
|
|
|||
|
А (Т, I) < |
Л (Т, | м) + |
Я (|/Ы |
< |
А (Т, U |
-Ь б. |
|
|
||||
Кроме того, 1м < |
поэтому |
в силу |
теоремы |
2.46 Л (Т, 1М) ^ |
||||||||
< Л (Т 5п), откуда |
Л(Т, g)<A(TtJ |
+ |
6. |
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|||||
Таким образом, |
A(T)^A(Tjn) + б для |
всех n ^ N . Поскольку |
||||||||||
Л(Т:п)<А (Т), |
теорема доказана. |
|
|
|
|
|
|
|
||||
Следствие |
2.48. |
Если |
^ |
... — измеримые |
разбиения |
|||||||
пространства состояний обратимой динамической системы (Q, |
, |
|||||||||||
Р, Т), такие, что Я (|„) < оо для всех п и V “_, VJ1-« |
= е, то |
|||||||||||
|
|
|
|
Л(Т, 1„)-*Л(Т). |
|
|
|
|
|
В случае когда преобразование Т необратимо, то же утверждение справедливо, если
Доказательство. |
Через |
будем |
обозначать |
разбиение |
|
V j l _ roT~1%п, если |
преобразование |
Т |
обратимо, и |
разбиение |
|
V ^.0T-/£„, если Т необратимо. Тогда |
по теореме 2.39 |
||||
|
Л(Т*п) = |
Л(Т’ *»)’ |
|
||
и доказываемый результат следует из теоремы 2.47. |
|
||||
Следствие 2.49. |
Если h ^ |
£2 ^ |
. • • — измеримые |
разбиения |
с конечной, энтропией, такие, что \ п t е> то А(Т, |„)-»-Л(Т).
В качестве приложения последнего следствия мы сейчас вычислим энтропию произведения двух метрических эндомор
физмов. |
(Q,, &"i, Pi, Т,) и (Ог. У ъ ?2>Т2) — две динамические |
||
Пусть |
|||
системы. |
Их произведением называется |
система |
(Q, X Ог> |
|
Р\У,Р2. Т, X Т2), пространством |
состояний |
которой |
является обычное произведение пространств с мерой, а пре
образование Т, X Т2 |
определяется формулой |
Т , Х |
Т 2(соь <D2) = (Т1 (<»i), Т2 (со2)). |
12$ |
Г л. 2. Энтропия и информация |
Теорема 2.50. Если (Qb &~и Рь Ti) и (Q2, & ъ Ръ Т2) — ди намические системы, то
Л (Т,Х Т2) = :А(Т,) + Л(Т2).
Доказательство. Если и | 2 — разбиения пространств £2( и Q2 соответственно, через li X £2 будем обозначать разбиение
{Ci X С2: Ci е I,, С2 е |
£2} пространства Qt X й2Простая вы |
||
кладка показывает, что если разбиения £1 |
и | 2 конечны, |
то |
|
Л (Т, X Т2, |
X У = Л (Т„ g,) + |
h (Т2, У . |
(2.55) |
Пусть теперь {I"} и {£?} — последовательности конечных из |
|||
меримых разбиений пространств £2] и Q2 соответственно, |
такие, |
||
чт'о f е, и g£ f е2, где |
et и е2 — точечные |
разбиения соответ |
|
ствующих пространств. |
Тогда 1" X f в и в силу следствия 2.49 |
л ( т , х т 2, | ; х 12п) - ^ л (т 1 х т 2).
Используя формулу (2.55) и вновь применяя следствие 2.49, приходим к нужному результату.
Приведем теперь оценку сверху энтропии динамической си стемы, для получения которой не требуется никаких предполо жений о вероятностной структуре системы, а только лишь на личие у нее конечного образующего разбиения.
Теорема 2.51. Если £ — образующее разбиение динамической сйстемы (Q, 5F, Р, Т), состоящее из . К элементов, то
А (Т )^ log К.
Доказательство. Поскольку | — конечное образующее разбие- • ние, в силу теоремы 2.39 А(Т) = Л(Т, £). Из определения, след ствия 2.12 и теоремы 2.13 немедленно следует, что Л(Т, |)<Г ^ Н (£). По теореме 2.3 Н {%) ^ log К, что и завершает дока зательство.
Заключительный результат этого раздела относится к факторавтоморфизмам с нулевой энтропией. Мы покажем, что для любой динамической системы среди таких факторавто'морфизмЬв имеется максимальный. Этот результат был получен Пин чером [117].
Теорема 2.52 (Пинскер). Если (Q, , Р, Т) — обратимая ди намическая система, то существует инвариантное измеримое раз биение п, такое, что Л(Т„) = 0, и для произвольного инвариант ного измеримого разбиения равенство A(Tt) = 0 выполнено тогда
и только тогда, |
когда £ ^ п !).)* |
|
|
*) Разбиение £ |
называется инвариантным относительно эндоморфизма Т, |
если |
Можно доказать, что всякий эндоморфизм с нулевой энтро- |
2.9. Факторавтоморфизмы и факторсистемы |
129 |
Доказательство. Обозначим через Z0 совокупность всех конеч ных измеримых разбиений | пространства Q, таких, что Л-(Т, I) — 0- Обозначим через 3 семейство множеств
^ = { i 4 e f : Л е Г для некоторого | е Zo}.
Мы докажем, что 3 является а-алгеброй, и возьмем в ка честве я соответствующее разбиение пространства Q.
Заметим прежде всего, что
^ = { Л е Г : h(Т, а) = 0; а = {А, Q - A }}.
Из этого описания 3 немедленно следует, что семейство 3 замкнуто относительно операции дополнения. Пусть А, В г 3 . Положим а = {A, Q — А), р = {В, Q — В), у = {Л U В, Q — A U Я}. Тогда, поскольку a V P ^ Y . из следствия 2.34 получаем
А(Т, у)<Л(Т, o V P) < A (T , о) + Л(Т, Р) = 0.
Поэтому 3* замкнуто относительно конечных объединений и, следовательно, является алгеброй множеств.
Пусть {Л„} — последовательность множеств |
из 3 , такая, что |
Л „ | Л. Положим ап= {Ап, Q — Ап), а = {А, Q |
— А). Поскольку |
/>[ЛпП(£2-Л)] = |
0 и Р [(Q — Л„)n(Q — -4)] = я (£2 — А), |
|
|
|||||||
Я (a/an) =» — { Р (А — Ап) log рР % ~ |
+ |
|
|
|
|
|||||
+ P ( Q - ^ ) l o g / ^ |
~ £ -} ------P { A - A n) \ o g P ( A - A n) - |
|
||||||||
|
|
- Р (Q - |
A) log Р (Q - А) + |
Р (Q - Ап) log Р (Q - |
Ап). |
|||||
Отсюда |
следует, что Я (a/a„) = 0, так как P(Q — Аа) -> Р (Q — А) |
|||||||||
и Р (А — Л„) -*• 0. |
По |
лемме |
2.29 |
|
|
|
|
|
||
|
|
|
А(Т, а)<Л(Т, а„) + Я (а/а„), |
|
|
|
||||
откуда |
А(Т, а) = |
0. |
Таким |
образом, |
|
А<=3 |
и 3 |
является |
||
a-алгеброй |
множеств. |
|
3 |
инвариантна |
относи |
|||||
Покажем теперь, |
что a-алгебра |
|||||||||
тельно |
Т. |
Отсюда |
будет |
следовать, |
что если ax'4 = 3 , |
то |
||||
Т-1я=^я. Пусть |
А & З и а = {Л, Q — А). Тогда |
|
|
|||||||
0 = |
h (Т, а) = |
Я ( а / j/ Т_,а) = Я ( т _1а /V |
Т_/ (Т"‘а ) ) , |
|
так что А(Т, Т- ,а) = 0. Поскольку Т-1а = {т-1Л, Q — Т- |Л), отсюда следует, что Т-1Л е 3 .
пией является в действительности автоморфизмом, поэтому разбиение я (равно как и все его инвариантные укрупнения) даже вполне инвариантно,
т. е. Т“ 1я = я. Теорема 2.52 справедлива и для необратимых динамических систем. — Прим. перев.
130 |
|
|
|
|
|
Га. 2. Энтропия и информация |
|
|
|
|
|||
|
Пусть |
| — конечное измеримое разбиение пространства |
Q, |
||||||||||
такое, |
что 1 ^ я . |
Тогда каждый элемент А е |
£ |
лежит в |
|
||||||||
т. |
е. |
А(Т, а) = |
0, |
где а=={Л, Q — Л}. |
Поскольку |
S = V ^ s5«. |
|||||||
получаем, |
что |
A(T, i ) ^ 2 X sjA(T, а) = |
0. |
Следовательно, |
по |
||||||||
теореме 2.46 |
h (Т„) == 0. |
|
|
|
|
|
|
|
|||||
|
Наконец, |
пусть £ — инвариантное измеримое разбиение про |
|||||||||||
странства |
Q, укрупняющее я. Поскольку |
каждое |
конечное |
из |
|||||||||
меримое укрупнение £ является |
также укрупнением |
я, из тео |
|||||||||||
ремы |
2.46 |
следует, что Л(Т£) = |
0. Наоборот, если |
Л(Т£) = |
0 и |
||||||||
£ — любое конечное укрупнение |
£, то А(Т, £) = |
0. |
В частности, |
||||||||||
если |
А е |
|
то |
а = {Л, Q — Л} ^ £, так |
что |
А(Т, а) = 0. .Но |
|||||||
это |
означает, что |
Л е ? . Следовательно, |
£~ S & и £ ^ я . |
|
2.10. ТЕОРЕМА ШЕННОНА. И СВОЙСТВО РАВНОМЕРНОЙ РАСПРЕДЕЛЕННОСТИ
В этом разделе мы докажем теорему Шеннона — Макййллана — Бреймана, которая была впервые сформулирована Шен ноном в его классической работе [138] по теории информации
идоказана для различных видов сходимости Макмилланом [87]
иБрейманом [26].
Для |
обоснования формулировки этой теоремы рассмотрим |
|
динамическую систему (2(S), SF, ц, Т), где Т — сдвиг, а ц - про- |
||
дакт-мера, |
полученная из распределения / на конечном мно |
|
жестве |
S |
(см. пример 1.3 и разд. 1.7). Эта система отвечает |
случайной последовательности независимых случайных величин из (S, 9>) с распределением f.
Определим |
функцию |
г: 2(S)-»-S |
соотношением 2 (ю) = |
ю(0) |
||||||||
и заметим, |
что |
(г о Т;) (©) = |
со (/), так |
что |
образующие последо |
|||||||
вательность |
случайные |
величины |
могут |
быть |
представлены |
|||||||
в виде |
{2 ° Т ^ ._ то. Если | = 2 -1(е), |
где |
е — точечное разбие |
|||||||||
ние S, |
то |
разбиение 1 является |
образующим |
для рассматри |
||||||||
ваемой |
динамическрй |
системы |
и |
А(Т) = А(Т, |) = Я(£) |
по |
|||||||
следствию 2.28. |
величину |
h(Т, |) |
скоростью создания инфор |
|||||||||
Мы |
назвали |
|||||||||||
мации, |
но |
в |
действительности |
это |
средняя скорость создания |
|||||||
информации, |
поскольку |
|
|
|
|
е { /(V T'V)}, |
|
|||||
|
lim i -Я (V T-V)= lim ± |
|
||||||||||
|
л->ю |
П |
м*0 |
J |
П-*00 |
п |
' |
\/—0 |
/ ' |
|
где Е обозначает операцию взятия математического ожидания. Попытаемся вычислить «настоящую» скорость создания инфор мации, т. е.
lim 1 / ( V Т-/| ) (со)
t-»oo п V /-0 |
J |
для i o e S (S).
|
|
|
2.10. Теорема Шеннона |
|
|
131 |
|||||
Из определения информационной функции [формула (2.5)] |
|||||||||||
следует; что |
|
|
|
|
|
|
|
|
|
|
|
/ ( V |
r t ) |
(c o ) = |
|
|
|
|
|
|
|
|
|
|
|
= |
— log р {б е= S (S): б (/) — о (/), 0 < j < п) = |
||||||||
|
|
= |
— log | П |
Р {б <= S (S)r б (/) — о (/)} | = |
|
||||||
|
|
= |
- % |
lQg f .(® (Л) = - |
§ |
(1ое / 0 *)0 т / («О- |
|||||
Следовательно,, |
|
|
|
|
|
|
|
|
|
||
|
lim -i- / Г V |
Т- /| ) |
(ю) = |
Нт ■- У |
(— log f <>г) о Т7 (о). |
|
|||||
Если |
обозначить — logf°z |
через |
Jti то предел в правой |
части |
|||||||
этого |
равенства |
приобретает в |
точности |
тот же |
вид, |
что й |
|||||
в формулировке эргодической теоремы. |
|
Пусть |
” |
||||||||
Докажем, |
что |
преобразование Т |
эргодично. |
С — |
|||||||
= {со: со (У)= |
Sj, j'e G ) й |
D = |
{© : со (k) = |
tk, |
k s H} — цилиндри- |
||||||
ческие множества. Если i > max Я — min G, то |
|
|
|||||||||
T~lC П D = |
{со: со (t + /) = |
s,, |
j e |
G} П {©: со (6) = **,. .*€= Я}, - |
|||||||
так что |
|
|
|
|
|
|
|
|
|
|
|
|
р(т_<с п я )= |
П |
f(s/)II У(У = р(С)р(Д) |
|
|||||||
|
|
|
|
/еО |
*€3# |
|
|
|
|
И
HmpOr'CnZ>) = p(C)p(D).
<-> оо
Поскольку цилиндрические множества порождают [всю cr-алгебру можно доказать, что из последнего равенства следует, что для любых измеримых множеств Л и В
lim р(Т - ,ЛПВ) = р(Л)р(В).
Преобразования Т, для которых выполняется это соотноше ние, называются сильно перемешивающими *). Легко видеть, что сильно -перемешивающие преобразования эргодичны. Дей
ствительно, если Т-1Л = А и Т — сильно перемешивающее, то
р (Л)2 = Л т р (Т-<Л Л Л) = р (Л). <->ОО
и р(Л) есть нуль или единица.
') Чаше это свойство называют просто перемешиванием. — Ярил, перев.