книги / Математическая теория энтропии
..pdf102 Гл. 2. Энтропия и информация
и, следовательно, |
|
|
|
|
|
|
|
|
||
|
|
|
- P ^ O l o g P ^ X e 2. |
|
|
(2.29) |
||||
Вновь воспользовавшись монотонностью Р р (С ,|й ), |
получим, |
|||||||||
ЧТО Рр-П. в. |
|
|
|
|
|
|
|
|
|
|
|
|
1 > £ ,Р * (С 1\Ь)>пР>(Ся.\Ь), |
|
|
|
|||||
откуда |
— log Рр (С„ | b) ^ log п. |
Таким |
образом, |
|
|
|
||||
б2 = J Рр (db) Г |
- £ |
р р (С* | b) log Pp (Cu16)1 > |
|
|
|
|||||
ар |
L |
* - i 1 |
|
|
. |
J |
|
|
|
|
K |
|
|
I |
|
|
|
|
|
|
|
|
Lfe-i |
|
|
J |
^-1 |
|
|
|
|
|
Так как P{C ^)^^\jks для |
k €= Lt TO |
|
|
|
|
|||||
|
- £ P ^ |
l°S P (Ck) < Z |
P (Ck) [Slog k] < |
s62. |
|
(2.30) |
||||
Для |
получения |
последней |
оценки |
заметим, |
что |
k~s ^ ё~х |
||||
для s ^ |
2 и 6!>2, |
а функция |
— / logf возрастает на |
проме |
||||||
жутке [0, е-1]. Поскольку |
P(Ck)< k ~ s для k ^ K , |
то |
|
|
||||||
— 21 ^ (С*) 1°8 Р (с *) ^ |
sk~SIog k ^ |
|
|
|
|
|||||
л |
|
|
к |
|
|
|
|
|
|
|
00 |
|
|
|
|
|
|
|
|
|
|
< 5 «Г* log t dt + |
s2~s log 2 < |
s (1 - |
s)~2-f s~' < 5s"‘. |
(2.31) |
||||||
1 |
|
|
|
|
|
|
|
|
|
|
Подставляя неравенства (2.29), (2.30) и (2.31) в формулу (2.28), получим
Н (у) < 6 2 + s62 + 5s-1 < оо.
Если б2 = Н (а/Р) < I, возьмем s = 6-1 V5. Тогда
Н (у) < |
б + |
бл/5 + |
бл/5 < 6 4 н Щ ) - |
|
||
Лемма 2.16. Если |
I, |
т) и |
£ — измеримые разбиения |
прост |
||
ранства Лебега (Q, |
Р) |
и |
|
(modO), то |
|
|
и |
|
н т |
< |
н ш |
(2.32) |
|
н ш ) > н (SAi). |
(2.33) |
|||||
|
||||||
|
2.6. Энтропия произвольных измеримых разбиений |
103 |
||
Доказательство. Из неравенства (2.23) и определения 2.14 |
||||
следует, |
что Я (| П D) ^ Я (ti П Щ |
для Р^-почти |
всех |
D е £, |
откуда неравенство (2.32) получается интегрированием. |
|
|||
Для |
доказательства соотношения (2.33) предположим, что |
|||
Я(£/I) < |
°°- Тогда по теореме 2.15 |
существует |
такое |
счетное |
разбиение у пространства (Q, |
, Р), что Я (у) < оо |
и y V l = |
|||
= |
I V $. Тем самым |
у V i V “П= |
£ V I V л> а |
поскольку I ^ "П, |
|
то |
и y V '4 ==SV'n- |
Используя |
замечание, |
сделанное перед |
|
формулировкой теоремы 2.15, получаем |
|
|
|||
|
я № = я (s v Ш = я(у v №= я (у/|). |
|
|||
Аналогичным образом |
|
|
|
||
|
|
' Я (С/л) = Я (у/т|). |
|
|
|
Поскольку Я (у) < 00, |
то Я (уД) ^ |
Я (у/ц) по |
теореме |
2.11. |
|
Для того чтобы продолжить обобщение результатов из разд. 2.5, мы должны будем использовать аппроксимацию про извольных измеримых разбиений конечными. Для этого необ ходимо иметь соответствующие теоремы о предельном переходе (т. е. о непрерывности) для энтропии и информации, к дока зательству которых мы сейчас перейдем. Эти теоремы будут также использоваться и в последующих разделах; на них осно вано применение энтропии в эргодической теории и теории ин формации.
Первый |
результат |
является техническим и принадлежит |
Невё [92] |
и Чжуну [31]. Приводимое ниже доказательство сле |
|
дует изложению Перри |
[116]. |
|
Лемма |
2.17. Пусть |
| — измеримое разбиение, такое, что |
Я (|) < оо. Если {£„} — возрастающая последовательность изме римых разбиений пространства (Q, F , Р ), то
\ Р (rfco) {sup /(!/£„)}< Я (0 + 1 .
а
Доказательство. Пусть f (со) = sup„ I (£/£„) (со). Положим
F(y) = P{coeQ: f(<»)>y}.
Тогда, как известно из элементарной теории меры,
|
оо |
f d P = |
$ F (у) dy, |
Q |
О |
и~ нужный результат будет получен, если мы сможем найти хорошую оценку сверху для F(y).
104 |
Гл. 2. Энтропия и информация |
|
|
Для любого у > 0 |
|
|
|
F(y) = P^x: supj^— |
lA(x)logPl*(x, 4 ) J > y j = |
|
|
= |
V P { jte A |
sup (— log Ptn (x, Л)) > y} = |
|
|
Aet |
П |
|
= |
V P [А П {x: |
inf Ptrt (x, A) < e~v} ]. |
(2.34) |
|
*' |
n |
|
|
AeE |
|
|
Для фиксированных у > 0 и Л е £ положим
Л„ = {х: Ptn (х, Л) < е~И, Ptft (х, Л) ^ ё~9, 0 < k < п)
для « = 1 , 2, 3........ Поскольку £*<£„ при А < п, то Л".е£*д
ина основании свойств условных вероятностей
Р(А П Л„) = J Р (dm) РС" (о, Л) < е-уР (Л„).
Таким образом, поскольку
оо
Р {х <= Л: inf Ptn (х, Л) < е- *} = £ |
Р (Л П Л„), |
|
П |
/1—1 |
|
получаем, что |
|
|
оо |
|
|
Z Р (Л п л„) < |
е-ур (и л„) < |
е-У. |
п-1
Всилу соотношения (2.34) отсюда следует, что
‘ |
Р ( у Х |
Е min {Р (Л), е"1'}. |
|
||
|
А<=1 |
|
|
|
|
Таким образом, |
|
оо |
|
|
|
|
|
|
|
|
|
- 1 [ |
— log Р (А) |
|
оо |
|
_ |
5 |
р(л)<**+ |
$ |
е-У dy = |
||
|
|
?Р(Л) |
J |
||
|
|
-logPCA) |
|
|
|
= - £ |
р (Л )logР(Л) + |
2 |
Р(Л) = Я (£ )+ 1 . |
||
|
/let |
|
Ле5 |
|
|
Теорема 2.18. Пусть %— измеримое разбиение пространства Лебега (Q, , Р), такое, что Я (£ )< оо, а {£„} — последователь ность измеримых разбиений, такая, что £„f$. Тогда
n t / u ^ n m |
(2.35) |
2.6. Энтропия произвольных измеримых разбиений |
105 |
|
Р-п. в. и в L\. Если | — произвольное |
измеримое разбиение и |
|
Я (£/£*) < оо для некоторого k, то |
|
(2.36) |
н Ш т П н т . |
|
|
Доказательство. Предположим сначала, что Я (£ )< оо. Тогда |
||
разбиение I счетно, так что / (£/£„) (со)=— |
е 5 1А(со)log Ptn (со, Л). |
|
Из следствия 1.27 вытекает, что РСп(ю, Л) —>-Рс(со, Л) |
п. в. по |
|
мере Р для каждого Л е £. Поскольку функция — log t непре
рывна, {— log Ptn (со, Л)} сходится Р-п. в. на Л, откуда следует сходимость п. в. в формуле (2.35). Сходимость в Ц вытекает из леммы 2.17 и теоремы Лебега о мажорируемой сходимости.
В случае когда Я (£)<«>, соотношение (2.36) получается из (2.35) интегрированием. Предположим, что Я (£/£*) < оо для некоторого k. По теореме 2.15 тогда существует измеримое
разбиение |
у, такое, что Я (у )< оо |
и £V £A= YV£*. Из нали |
||||
чия |
монотонной |
сходимости £д |£ |
следует, |
что t v C n — У V £» |
||
для |
всех n ^ k |
и S V £= У V £. Как и в доказательстве леммы |
||||
2.16, |
Я (£/£„) = Я(у/£д) для |
« > £ и Я (£/£) = |
Я(у/£). Поскольку |
|||
Я (у) < оо, |
получаем, что |
Я (у/£д) |
Я (у/£), |
откуда и следует |
||
утверждение теоремы. |
|
|
|
|||
Теорема 2.19. Пусть £ — произвольное измеримое разбиение пространства Лебега, а {£„} — последовательность счетных из меримых разбиений, такая, что £„ f £, где £ счетно. Тогда п. в.
Щ п Ю и Ш - |
(2.37) |
Если {£„} — последовательность произвольных измеримых раз биений и £„f£, то
|
Я (£п|$) t Я (£|£). |
|
|
|
|
(2.38) |
|
Доказательство. Предположим |
сначала, |
что |
разбиения £д |
||||
и £ счетны. Поскольку £„ f £, для |
каждого элемента |
Л е |
£ су |
||||
ществует |
последовательность {Л„} |
элементов Лд е |
£д, |
таких, |
|||
Что Л„гэЛп+1 и П“_( Л„ = Л. Для |
почти всех о е |
Л выполнено |
|||||
равенство |
/(£„/£) (ю) = — log РЧ®, Лд). Из |
того, |
что |
Рс (со, •) |
|||
является |
вероятностной мерой для почти |
всех о е |
Л, |
а лога |
|||
рифмическая функция непрерывна, получаем, что /(£„/£) |7 (|/£) п. в. на Л. В силу счетности разбиения £ отсюда следует фор мула (2.37).
Пусть теперь £д — произвольные |
измеримые |
разбиения и |
|||||
£д f £. Если |
Я (IJQ = |
оо для |
некоторого п, соотношение (2.38) |
||||
справедливо в силу |
леммы |
2.16. |
Поэтому мы можем предпо |
||||
лагать, что |
Я (£„/£)< оо |
для |
всех |
п ^ 1, откуда |
следует, что |
||
для Р^-почти всех элементов |
D е £ разбиение £д f) D совпадает |
||||||
(Pt-modO) |
со счетным |
разбиением |
£д слоя (D, ЗГ (D), Рс). |
||||
106 Гл. 2. Энтропия и информация
Поскольку Я (£„/£) — ^ Pt (dD) Я (!„ f) D), нам достаточно показать,
что для последовательности счетных разбиений {£'} из моно тонной сходимости ¥п f t' следует, что Я (£') f Я (£'), тогда до
казываемое утверждение будет следовать из теоремы о моно тонной сходимости., Переходя к факторпространству по раз биению £', можно считать, что | ' = е.
Итак, |
предположим, что {£'} — последовательность счетных |
|||
измеримых разбиений пространства Лебега (£2', |
Р'), такая, |
|||
что £' t в. Если разбиение |
е счетно *), то из |
соотношения (2.37) |
||
следует, |
что I (£') f / (е), |
откуда нужный |
результат вытекает |
|
на основании теоремы о монотонной сходимости.
В случле когда разбиение е несчетно, Я(е) = оо. Поскольку (Q', У ', Р') — пространство Лебега, оно изоморфно простран ству (X , si, р), где X — это сегмент J единичного отрезка с мерой Лебега вместе с не более чем счетным числом точечных нагрузок. Из несчетности разбиения е следует, что сегмент I должен иметь положительную меру в X, а его образ В в про странстве Q' должен иметь положительную Р'-меру. При этом Р' {со} = 0 для каждого со е В.
Зафиксируем целое число N. Для достаточно больших k все элементы разбиений \'к, пересекающиеся с множеством В,
должны иметь меру, не превосходящую 1/N. Действительно, если это не так, то существует подпоследовательность Ск- эле
ментов |
£*', такая, |
что Ск' ( ] В Ф 0 |
и P'(Ck')>l/N . По |
|||||
скольку |
множества i Ск' |
являются |
элементами |
возрастающей |
||||
последовательности разбиений, а |
£ |
Р' (Ск') = |
°о, |
существует |
||||
подпоследовательность |
{к]}, такая, |
|
что множества Ск- моно |
|||||
тонно убывают. В силу того что |
|
\'кЛ В f е Л В, |
пересечение |
|||||
(\/Ск' может содержать не более |
одной точки, |
а |
потому |
|||||
P(Cft') |0 . Получаем противоречие с тем, |
что Р(Ск’^ > |
1/N для |
||||||
всех j.
Таким образом, при достаточно больших k мера любого элемента разбиения 1^, пересекающегося с В, не превосходит 1/Я. Для каждого такого k положим
^ = { C s ? ': С [\ В Ф 0 }
и
В„= и С.
*) То есть пространство (Q', SF', Р') дискретно. — Прим, перев.
|
|
|
2.6. Энтропия произвольных измеримых разбиений |
107 |
|
Из |
того, |
что %'k f е, вытекает, что Вы | В (при k -*■оо) и Р (Bw) ^ |
|||
^ |
Р (В) > 0 для |
всех N. Тогда |
|
||
Я(Г*) = |
- |
Z |
P(C )logP(C )> £ P(C )logP(C )> P (B )logtf, |
||
|
|
|
С е ** |
C e * N |
|
откуда |
следует, что Н (££) f оо. |
|
|||
Теорема 2.20. Пусть £ — измеримое разбиение пространства Лебега, а {£„} — последовательность измеримых разбиений, такая, что | £, тогда
Н(№п)\Н(№).
Доказательство. Предположим сначала, что £— конечное из меримое разбиение. Из следствия 1.27 и непрерывности функ ции — t log t получаем, что для всех А е £ п. в.
- Р |
с»(со, Л) log Рс»(со, Л ) - > - Р с(©, A) log Р1 {а, Л). |
|
||
Поскольку |P tn(©, Л) log Р^п(©, Л ) |^ е -1 |
для всех п, |
эта |
||
сходимость имеет место также и в L|. Из |
конечности числа |
|||
элементов £ следует, что |
|
|
|
|
- £ |
Р;"(ю, Л) log Рс" (ю, Л)-* — £ |
Рс(©, Л) logPc(©, Л) |
||
Д G ^ |
Д € |
^ |
|
|
в L\, откуда нужный результат получается интегрированием. |
||||
Пусть теперь £ — бесконечное счетное разбиение, такое, |
что |
|||
Я (£) < оо.Считая, что |= {C i,C 2, С3, ...} , положим £„={Ct, С2, ...
. . . . С„_!, Вп}, где B„ = |
U“_„C/. |
Тогда разбиения |
£„ конечны |
|
и £„ 1 £• |
Зафиксируем |
б > 0. |
По теореме 2.19 |
существует |
такое К, |
что |
|
|
|
Я ( ! /? ) - Я (£*/£)< 6/2.
Поскольку разбиение £* конечно, из первой части доказатель ства следует, что найдется достаточно большое N, такое, что
Я (£*/£)- Я (£*/£„) <6/2
для всех п ^ N. Тогда
о< я m - я(Шп)= [яm - я а м +
+ [Я ( Ш - я (£*/£„)] < 6/2 + 6/2,
откуда следует утверждение теоремы для всех разбиений £ с ко нечной энтропией.
Предположим теперь, что £ — такое произвольное измери
мое, разбиение, что Я (£/£)< оо. Тогда по теореме |
2.15 сущест |
|||
вует |
счетное разбиение |
у, такое, что Н (у) <оо H £ V $= Y V£. |
||
Как |
и в доказательстве |
теоремы |
2.18, получим, |
что | у ? п — |
= Y V in для всех п, |
так что |
Я (£/$„) = Я (Y/S J |
и Я (£/£> = |
|
108 |
Гл. 2. Энтропиями информация |
|
= Я(у/£). Из |
второй части iдоказательства следует, что |
|
Н (уtin) t Я (у/Q, |
откуда и вытекает нужный результат. |
|
Наконец, предположим, что Я (£/£) — |
но Н (!/£„)<<*> |
|
для| всех п. Поскольку разбиение | измеримо, существует счет ное семейство {Л„} измеримых ;|-множеств, разделяющее эле
менты |. |
Для каждого п обозначим через л» |
разбиение |
{Ап, Лп}, |
и. положим t m — til V % V ... V ЛтТогда |
£т 11» и из |
теоремы 2.19 следует, что для любого К существует такое М„
что! H(lM/Q> К +1 . |
|
Н (1М) < оо, и из |
первой |
|||
Разбиение |
конечно, поэтому |
|||||
час!ги |
доказательства |
следует, что |
Я (£л1/£„) Т Я (|м/£). |
В силу |
||
конечности |
Я (|м/£) существует такое Я, что для всех n ^ N |
|||||
> |
1 |
|
|
= |
|
|
|
= |
[Н (IM/S) - |
Я (£/£„)] + [Я №п) - Я (£*/£„)]. |
|
||
Из того, что |
|
следует, что |
Я (£/£„) — Я (|M/£„) > |
0, так |
||
что, |
|
|
Н(Шп)>Н(1м/ 0 - I Ж , |
|
||
I |
|
|
|
|||
откуда получаем, что lim„->oo Я (£/£„) == оо.
]Цля первого применения доказанных теорем о предельном
переходе |
рассмотрим динамическую систему |
(см. разд. 1.7) |
(fi, ЗГ, Р, |
Т) и конечное измеримое разбиение | |
пространства Я. |
БуДем интерпретировать разбиения как испытания, а преобра зование Т как сдвиг во времени. Теперь если £ — произвольное
измеримое , разбиение пространства Я, TO ^ (|/V " _ J T -/S) |
есть |
средняя неопределенность относительно исхода испытания | |
при |
известных исходах п повторений испытания £. Из теоремы 2.18 следует, что
Jim Я ( I /V t Т~'$) = Я ^ i/V ( Т_/с ) , |
(2.39) |
т. е. средняя неопределенность относительно исхода £ |
при из |
вестных исходах всех будущих повторений £ может быть най дена с помощью предельного перехода. В случае когда
Тметрический автоморфизм, предыстория испытания £ до мо
мента времени — п определяется разбиением |
Тогда |
Я(|/У7Г_ооТ-/£) является средней неопределенностью относи
тельно исхода | при известной предыстории испытания £ до момента — п. Из теоремы 2.20 следует, что
lim Я |
V Т |
(2.401 |
П->оо |
/ - - о о |
|
2.6. Энтропия произвольных измеримых разбиений |
109 |
что дает способ вычисления средней неопределенности относи тельно исхода | при известных предопределенных событиях про цесса (Т, £).
Наконец, заметим, что если Т — автоморфизм, то |
|
Иш н(%/ V T"V) = # (V V T -V ), |
(2.41) |
и этот предел дает неопределенность относительно исхода £ при полностью известной истории (как прошлой, так и будущей) испытания £.
Используем теперь доказанные только что теоремы о пре дельном переходе для переноса других результатов из разд. 2.5 на энтропию и условную энтропию произвольных измеримых' разбиений. Мы также докажем одно утверждение об обратимых динамических системах (лемма 2.25), которое будет применено
вследующем разделе. Эта лемма будет также использоваться
вгл. 4 при изучении хвостовых разбиений случайных процессов.
Теорема 2.21. |
Если |
£, т| ы £ — измериные |
разбиения |
про |
|||
странства Лебега |
(Q, SF, Р), то |
|
|
|
|||
|
я(| v vs)= яш + я(ti/iv а |
|
|
||||
Доказательство. Поскольку |
разбиения | и •»] |
измеримы, |
су |
||||
ществуют последовательности |
{£„} и {т)„} конечных измеримых |
||||||
разбиений, |
такие, что |
£„ 11 |
и т)д f ц. |
Разбиения r\m Конечны |
|||
для всех |
т, а потому |
Я (лтЯп V £) < |
°° при всех п ^ 1 и из |
||||
теоремы 2.18 следует, что Я (ИтДп V £) \ |
Я (t\Jl V £) при л-*- оо. |
||||||
Поскольку разбиения £д |
и |
конечны, |
|
|
|
||
я (In V У]J 0 = Я (IJ0 + Я (лт/1„ V О-
Переходя здесь к пределу сначала по п, а потом по т и ис пользуя теоремы 2.18 и 2.19, получим доказываемое равенство.
Следствие 2.22. Если £, т), £— измеримые разбиения простран ства Лебега, то
НЦЧ г\Ю<Н (Ц0+ Н Ш -
Теорема 2.23. Если | |
и £ — измеримые разбиения простран |
|||||||
ства Лебега, то |
|
Я (Е/v) = Я (|), |
|
(2.42) |
||||
|
|
|
|
|||||
|
|
Я(|/£) = |
0 ^ | < |
£ . |
|
(2.43) |
||
Доказательство. Формула (2.42) немедленно следует |
из |
оп |
||||||
ределения. |
Если |
£ < £, |
то |
Я (НО — Я (| V НО = Я (£/£), |
но |
|||
Я (£ПЩ = |
0 для |
каждого элемента |
D e £ |
поскольку разбие |
||||
ние £Г)Я |
тривиально. Тем |
самым |
Я (£/£) = |
0. Пусть |
теперь |
|||
по |
|
|
|
|
Гл\ 2. Энтропия и информация |
|
|
||
Я (|/£) — 0. |
Поскольку |
|
существует |
разбиение у. |
|||||
такое, |
что |
Я (у) < оо, £ V £ = y V £ |
и Я(у/£) = 0. |
По |
теореме |
||||
2.7 |
у < £ , |
откуда |
= |
£ и |
|
|
|
||
а |
Теорема |
2.24. |
Пурть |
(Q, ЗГ, Р, Т) — динамическая |
система, |
||||
| |
и |
т) — измеримые |
разбиения |
пространства Q, тогда |
|||||
Я ( Г 1|/Т - 1т1)= Я(|/т,).
Доказательство. Поскольку разбиение | измеримо, сущест вует последовательность {£„} конечных разбиений, такая, что
Тогда Т_1| д f Т_1£, а в силу теоремы 2.13 H(ljr\) —
— Я (Т- || п/Т_1'п). Применение теоремы 2.19 завершает доказа тельство.
Лемма 2.25. Если (Q, Р, Т) — обратимая динамическая система, а а и р — измеримые разбиения пространства Q, такие, что
или а ^ р и Я (a/VjLt Т- /р)<оо, и л « а < р и Я (p/V ^ljТа-/)<оо,
то |
|
|
|
: |
|
|
|
|
|
|
Доказательство. Для любого разбиения £ через 1" будем |
||||||||||
обозначать разбиение |
V"~o Т;| и через |
|
— разбиение V J^ T ^ i. |
|||||||
Предположим |
сначала, |
что |
а^*р |
и Я (а/р~) < оо. Много |
||||||
кратно применяя |
теоремы 2.21 и 2.24, получим |
|
||||||||
Т |
Я («VP") = |
Я (а/р~) + 4- £ Я (a/T-ft (а* V Р~)). |
(2.44) |
|||||||
Для любого k > О |
|
|
Л-1 |
|
|
|
|
|||
|
|
|
|
|
|
|
||||
|
V r ' a < V r ' a V |
V |
T_/p = |
T“ k(aft V P - ). |
|
|||||
|
/ - i |
|
l-i < |
i-k+i |
|
|
|
|
||
Поскольку |
a ^ p , |
последовательность |
разбиений T- *(a*!V P - ) |
|||||||
возрастает |
и T~ft(aft V Р- ) ^ с Г |
для |
всех k. |
Отсюда |
следует, |
|||||
что |
T~ft (a* V р~) t а~- Кроме |
того, |
Т"*1(а V Р- ) = |
T- la V |
||||||
V VJL2T_/P ^ Р~ |
в |
силу |
того, |
что |
а > р . |
Таким образом, |
||||
Я (a/T~l (a V Р- )) ^ Я (а/Р~) < оо и по теореме 2.18
Я (a/T~* (а* V Р~)) i Я (а/сГ).
Используя то, что из обычной сходимости следует сходимость по Чезаро, получаем из формулы (2.44), что
Urn — Я (an/p~) = Я (a/a~).
П - > оо П
2.7. Скорость создания информации |
111 |
Предположим теперь, что а |
< |
р и Я(Р/а~) < оо. Подставляя |
в тождество (2.44) а вместо р, |
получаем |
|
4" Я (ап(а~) = |
Я (а/а~). |
|
Из того, что р“ ^ о- , следует, что (1/л) Я (а"/р~) ^ (1 /л) Я (ап/а~), так что
Нш sup 4- Я (ап/р- ) ^ Я (а/а~).
П-+09 п
Из того, что а" ^ р“, вытекает, что а" V Р" == Рл, откуда в силу теоремы 2.21
4- я (ап/р~) — 4- Н (Р*/Р~) - 4 - Н (ря/о" V р-) >
> Я ( р /Р ') - 4 - Я ( р 7 а п У а -).
Из первой 4acfидоказательства видно, что Ншп->оо (1/л)Я.(р7а“) -
= Я (р/р ), поэтому для любого |
е > 0 |
найдется такое Я, |
что |
|
Я (р /р -)> (1 /л )Я (р л/а“) - е для |
всех |
n ^ N . Тем самым |
для |
|
всех таких п |
|
|
|
|
|
i - Я (а"/Р~) > 4 'И (РП/а~) ~ ~ Н |
(рл/а” V в") - в- |
|
|
|
==—-Я (ап/а~) — е = Я (а/а~) — е, |
|
||
откуда Нш infrt->oo (1/п) Я (ал/р~) ^ |
Я (а/сГ). Этим доказана вто |
|||
рая |
половина леммы. |
|
|
|
2.7. |
СКОРОСТЬ СОЗДАНИЯ ИНФОРМАЦИИ |
|
|
|
Пусть (Q, Sf, Р, Т) — динамическая система, а £ — измери мое разбиение пространства Q. Разбиение V”~o Т Г изм ерим о
и отвечает л-кратному повторению испытания £.' (Повторения не обязательно независимы. Их зависимость друг от друга определяется преобразованием Т.) Таким образом, (1/л )Я Х
X (V ”~oT-/£) —это среднее количество неопределенности, при ходящейся на одно повторение испытания.
Будем временно обозначать энтропии Я (V/-o Т_/£) через Я„.
Из следствия 2.22 и теоремы 2.24 вытекает, что последова тельность {Я„} является субаддитивной, т. е. Нп+т^ Я„ + Нт. Докажем, что этого достаточно для существования предела lim„^.oo (1/л) Я„ = inf„>0 {(1/л) Я„).