книги / Математическая теория энтропии
..pdfИ 2 |
Гл. 2. Энтропия и информация |
также следует, что любой ..поток {S ,}, для которого преобра зование Sj бернуллиевское, является потоком Бернулли.
2.12.5. Производные эндоморфизмы
Пусть (Q, iF, Р, Т) — динамическая система и А — множе ство из Зг, имеющее положительную вероятность. Для каждой точки ю е А через пА(со) обозначим такое наименьшее положи
тельное целое k, что Тл(со)еА. Тогда (щ е Л : пЛ((£>) = k} =
= |
{ со <= А: |
ф А, |
. . . . Т*-« (со) ф А, |
Т*(©) е Л } . |
|
Если такого k |
не существует, |
положим пА(®) = оо. |
Опреде |
||
ленная так функция пА с. целыми значениями называется вре |
|||||
менем первого |
возвращения*- Согласно теореме Каца о воз |
||||
вратности [59], |
если преобразование Т эргодично, |
то |
^ Р'Х |
||
X (d<a) пА(со) = |
1 *). |
|
|
|
|
Производное |
преобразование |
ТА определено на |
простран |
|
стве |
Лебега {A, |
РА), где |
РА(Е) = Р (Е)/Р (Л) |
для всех |
Е е |
Л Г) ^F, формулой |
|
|
Тл (со) = Т ^ (а,(со).
Эти эндоморфизмы были введены Какутани [60] и возникают при изучении эргодических потоков. Мы обсудим эту связь в разд. 4.9. Для эргодических Т энтропия производных эндо морфизмов была вычислена Абрамовым [1] и составляет
й(т л) = 7Щ)А(Т).
Доказательство этой формулы можно найти у Брауна [27]. Ниже приводится несколько примеров конкретных динами
ческих систем.
2.12.6. Периодические автоморфизмы
Из определения энтропии очевидным образом следует, что тождественное преобразование I любого пространства Лебега имеет нулевую энтропию. Предположим, что для динамической
системы |
(Q, |
Р, Т) |
существует |
такое целое число N, |
что |
|||
T^co = |
(o |
для |
почти |
всех |
© eQ . |
Такая |
система называется |
|
периодической*2), и в силу |
того, что Т^ = |
1, из формул |
разд. |
|||||
2.12.3 |
сразу же следует, что периодические автоморфизмы |
|||||||
имеют нулевую энтропию. |
|
|
|
|
*) Иными словами, среднее значение времени первого возвращения со ставляет 1/Р (Л). Доказательство этой формулы см. на стр. 258. — Прим, перев.
2) Используется и другое определение периодичности, в котором период N Может зависеть от точки со. — Прим, перев.
|
|
|
|
|
2.12. Примеры |
|
|
143 |
|
2.12.7. Повороты окружности |
|
|
|
||||||
Пусть Тх— окружность |
единичного радиуса |
в двумерном |
|||||||
евклидовом |
пространстве, Жх— (пополненная) сг-алгебра под |
||||||||
множеств Ти |
порожденная |
открытыми дугами Tit a Yi — мера, |
|||||||
на Жи полученная |
продолжением; функции множеств, сопостав |
||||||||
ляющей |
каждой открытой |
дуге' ее |
длину, деленную |
на 2п. |
|||||
Можно |
|
отождествить |
Тх с |
множеством комплексных |
чисел |
||||
{е2Шх: |
0 < х < 1}, |
тогда функция /, |
определенная на |
интер |
|||||
вале 1 |
формулой f (х) = |
е2"'*, задает взаимно однозначное соот |
|||||||
ветствие |
I й Г,. Легко |
видеть, что f~l (Жх) = 9 ? и Yi = |
|
||||||
так что |
пространство |
(Г|, |
Жи Yi) |
изоморфно |
пространству |
||||
(/, 2 , А.). |
|
|
|
|
отображение Тх в себя, |
||||
Для |
|
любого числа а рассмотрим |
заключающееся в повороте единичной окружности на угол 2яа. Иначе говоря, для любого вещественного числа а преобразо вание Ra определено на Тх формулой Ra (e2nix) — е2л1<х+а\ Ясно,
что |
Ra является |
метрическим |
|
автоморфизмом пространства |
||
(Ти Жи Yi) Для каждого а. |
|
|
|
|||
|
В случае когда а — рациональное число, Re — периодический |
|||||
автоморфизм, |
поэтому A(Ra) = |
0. |
Если число а иррационально, |
|||
то |
разбиение |
1, состоящее |
из |
элементов {е2***: O ^ x C y j- и |
||
|е 2яг*: |
l j , |
обладает |
тем |
свойством, что У Т-оКа^ — ъ- |
Поскольку Re — метрический автоморфизм, из следствия 2.41 вытекает, что A(Ra) = 0.
2.12.8. Эргодические автоморфизмы компактных абелевых групп
Пусть G — компактная абелева группа, a m — мера Хаара на (пополненной) о-алгебре ЗВ борелевских подмножеств G. Поскольку группа G компактна, мера Хаара конечна, и мы можем считать, что она является вёроятностнЬЙ мерой *). Если А — произвольный (алгебраический) автоморфизм группы G, то А является метрическим автоморфизмом пространства (G, 38, т).
Для того чтобы |
убедиться в |
этом, определим |
на 32 меру |
т' = т о А. Если |
В е й и f e G , |
то |
|
т' (В + g) — m (А (В + g)) — m (А (В) +.А (g)) = |
т (А (В)), |
поскольку мера т инвариантна относительно 'сдвигов. Тем самым
m'(B + g) = m'(B)
■) Для того чтобы пространство (G, 3), т) было пространством Лебега, группа G должна быть сепарабельной. — Прим, перев.
144 |
Гл. 2. Энтропиям информация |
|
|
и мера пг' |
должна быть кратна мере пг1). Поскольку обе эти |
||
меры являются вероятностными, m = |
= |
А, т. е. преоб |
|
разование |
А сохраняет меру. |
|
|
Примером компактной абелевой группы с мерой Хаара |
|||
является пространство (rlt Ж\, Yi) из |
разд. |
2.12.7. Имеются |
только два измеримых групповых автоморфизма Г,: тождест венный и автоморфизм комплексного сопряжения. Оба этих автоморфизма имеют нулевую энтропию и неэргодичны.
Другие примеры доставляются многомерными торами с их мерами Хаара. Пусть (Г„, Жп, уп) — прямое произведение п экземпляров пространства (Г,, Жи Yi). Групповые эндоморфизмы
группы Тп могут быть представлены матрицами |
размера |
|||
с целыми |
элементами. |
Матрице |
М отвечает |
эндоморфизм |
А(М), определяемый формулой |
|
|
||
|
2nix. |
е 2л1хп ) = |
|
•). |
А (М) (ё |
|
|
||
где \у/ — Jlk-iM jkxk для |
/ = 1,2, . .. |
, п. Если определитель М |
||
равен ±1, |
то А(М) — метрический |
автоморфизм |
пространства |
(Тп,[Ж„ у„).
Автоморфизмы, отвечающие матрицам, ни одно из собст венных значений которых не является корнем из единицы, эргбдичны. Энтропия таких автоморфизмов определяется фор мулой
h (А (М)) = X log I ai I,
I- 1
где { at: i= 1, 2, ... , к } — множество собственных значений М, абсолютная величина которых больше единицы.
Этот результат был доказан для п = 2 Синаем [142], а в об щем) случае Бергом [17].
Кацнельсон [63] показал, что автоморфизмы конечномерных
торбв являются бернуллиевскими (см. |
разд. 2.12.9 и определе |
||||
ние! 4.9), |
а |
вскоре после |
этого Аоки |
и Тотоки [13], Чжу [30] |
|
и Линд |
[78] |
независимо |
перенесли этот |
результат и на авто |
|
морфизмы бесконечномерных торов. |
В |
1977 г. Линд [80] до |
казал, что эргодические (алгебраические) автоморфизмы ком пактных абелевых групп — бернуллиевские, и отметил, что его методы могут быть применены и в неабелевом случае. С по мощью других средств этот же результат был независимо получен Майлсом и Томасом [83—85]. В работе [80] Линд также показал, что множество значений, которые может при нимать энтропия групповых автоморфизмов, или совпадает
') т ак как мера Хаара единственна с точностью до постоянного множителя.|— Прим, перев.
2.12. Примеры |
145 |
с множеством всех неотрицательных вещественных чисел, или счетно в зависимости от решения стоящей уже около 40 лет проблемы Лемера из алгебраической теории чисел. А именно,
если р (*)-IL (* — ^t) ~ многочлен с целыми коэффициентами без кратных корней и со свободным членом ±1, то может ли
сумма |
Z i ^ . l o g l M |
быть |
сколь угодно малой? |
|
2.12.9. |
Сдвиги Бернулли |
|
|
|
Пусть 5 = {1, 2..........k }, |
а |
{((/): t е S } — дискретное ве |
||
роятностное распределение |
на |
S. Динамическая система (2(5), |
||
(х, В), где (2(S), |
SF, р.) — пространство Лебега бесконечных |
|||
в обе |
стороны последовательностей элементов 5 с продакт- |
|||
мерой, |
определенное в примере |
1.3, а В —сдвиг [т. е. (В (©)),= |
= ©/+i], называется сдвигом Бернулли. Мы показали в при
мере 2AQ, что энтропия сдвига Бернулли |
составляет Л(В) = |
|
= — |
log f(i). Большая частЪ гл. 4 посвящена изучению |
|
этих систем. |
|
|
2.12.10. Сдвиги Маркова |
|
|
Эти динамические системы строятся так |
же, как и сдвиги |
Бернулли, с той лишь разницей, что вместо продакт-меры используется марковская мера. Эта мера определяется по на чальному вероятностному распределению f и матрице А пере
ходных |
вероятностей |
с помощью |
конструкции, |
намеченной |
в примере 1.5. Итак, |
пусть S = { 1 ,2 ..........k } и Л — матрица |
|||
размера |
k X k с неотрицательными |
членами а1{, |
такими, что |
X /-i а*/— 1 для t = l, 2, ... , k. Кроме того, пусть {/(i): i е S } — дискретное вероятностное распределение на S, такое,
что Z i - if (»')<*// = / (/) для /= 1 , 2.......... |
k 1). |
Пусть G = {go < gt < ... < gfi} — конечное множество целых чисел. Определим на цилиндрических множествах вида
Са (i0, *i......... |
iN) — {to <==2 (5): ©go = /0, . . . . <oeN= Ц , |
где /0, tj, ... , iN выбраны из 5, функцию Ра формулой
(Со (1о> |
a ( t N - S N - 1) |
У ) - и У < ; Г г")< Г ' 1 |
где через dfj обозначены элементы матрицы AL , I-й степени матрицы А. Функция Ра обычным образом продолжается на
') То есть А — матрица переходных вероятностей марковской цепи с мно
жеством состояний S, а f — стационарное распределение этой цепи.— Ярил.
перев.
146 Гл, 2. Энтропия и информация
<х-алгебру, порожденную цилиндрическими множествами с осно
ванием |
G, |
так что PG можно считать вероятностной мерой |
|
на этой |
а-алгебре. Семейство мер {PG: G —конечное |
подмно |
|
жество Z } |
удовлетворяет колмогоровским условиям |
согласо |
вания, поэтому в силу теоремы Колмогорова на <г-алгебре, по рожденной всеми цилиндрическими множествами с конечным основанием, существует единственная вероятностная мера р, которая совпадает с PG на любом цилиндрическом множестве с основанием G. Эта мера р называется марковской мерой, построенной по начальному распределению f и переходной
матрице |
А. |
М |
сдвиг |
в пространстве |
2(S), |
т. е. |
|
Обозначим через |
|||||||
(М (со)) (у) ■= со (/ + 1). |
Поскольку |
/ (0 аа = f(i)> |
легко |
пока |
|||
зать, что |
р(М _1С0) = р (CQ) для |
любого цилиндрического мно |
|||||
жества, |
поэтому М |
сохраняет |
меру. |
Динамическая систеиц |
|||
(2(5), iT, |
р, М) называется сдвигом Маркова. |
|
' |
||||
Легко |
увидеть, что |
Ео = ({со: со (0) = |
г}: / = 1 ,2 ......... k) — |
образующее разбиение этой системы. Так же легко можно убедиться в том, что р ({ со (0) = / } | {ю(— 1) = /, со (—2) = = i- ...........© (— N) = i . N» = аи = р ({ to (0) «= / } | { © (— 1) = /})
для любого N > 1. |
Таким образом, |
для |
всех N = 1, 2, . . . |
|
откуда |
|
|
|
|
|
|
|
k |
к |
|
|
= |
— Е |
£ / (0 Яг/ log % . |
2.12.11. S -автоморфизмы |
|
|
|
|
Пусть 5 — конечное множество, |
а { р{: i s |
5 } — вероятност |
||
ное распределение |
на 5. Для любой перестановки а множества |
целых чисел метрический автоморфизм Т0 пространства (2(5),
5Г, р) |
бесконечных в обе стороны |
последовательностей эле |
ментов |
S с продакт-мерой определим формулой |
|
|
(Т0со)/ = (о0(/), |
/e=Z . |
Динамическая система (2(S), 9~, р, Т0) эргодична тогда и только тогда, когда в разложении перестановки а на непересекаюшиеся циклы участвуют только бесконечные циклы (см. Стэндиш [149]). Энтропия преобразования Т0 составляет
h{Ta) = — k(a) 2 PilogPi, fsS
2J2. Примеры |
147 |
где через k (а) обозначено число (возможно, бесконечное) непересекающихся бесконечных циклов, входящих в о. Более того, эти системы эргодичны тогда и только тогда, когда они являются бернуллиевскими (Мартин [82]) *).
В приводимых далее примерах описываются необратимые динамические системы.
2.12.12. Односторонние сдвиги
Для каждого целого г > 0 определим преобразование Тг единичного интервала с мерой Лебега (/, SB, X) формулой
Тгх — (гх),
где (у) обозначает дробную часть числа у.
Разбивая единичный интервал на интервалы длины 1/г, нетрудно убедиться в том, что Тг — метрический эндоморфизм.
Разбиение £, состоящее из интервалов [j/r, |
( /+ 1)/г) для j — |
||||||
= 0, 1, |
. . . , г — 1, обладает |
тем |
свойством, |
что Ул-оТГ/| = е |
|||
(mod 0), откуда в силу теоремы |
Колмогорова — Синая следует, |
||||||
что А (Тг) = А (Тг, 5). Прямое |
вычисление показывает, что I — |
||||||
бернуллиевское разбиение, т. е. |
разбиение |
не зависит от |
|||||
разбиения V<-оТГ^ для |
всех /, |
и тем самым А(ТГ, £) = |
#(£). |
||||
Таким образом, . |
п- 1 |
|
|
|
|
||
|
|
|
|
|
|
||
|
h (Тг) = - |
£ |
Т |
1°* Т “ 1°в г- |
|
||
|
|
<-0 |
|
|
|
|
|
Энтропию А(ТГ) можно вычислить и другим способом, если |
|||||||
заметить, что динамическая |
система (/, SB, X, Тг) изоморфна |
||||||
системе |
(2'(0..........г — !), |
SF, |
pf, |
S), где |
2' |
обозначает |
мно |
жество |
всех бесконечных в одну |
сторону |
последовательностей |
©'= (а0, С|, а2, ...), 0 ^ а 7^ г — 1, мера p.f является продактмерой, полученной из распределения / (/) == 1/г для 0 ^ i ^ г — 1, а преобразование S, действующее по формуле (Sco')* — ю'+1, —
это сдвиг*2). Связующий изоморфизм ставит в соответствие числу х последовательность (а0, а,, ...) тогда и только тогда,
когда x = £/_oa//r/+I. Иначе говоря, 0, а^аха2 ... — г-ичное разложение числа х.
') Названные свойства динамической системы (2 (S), ЯГ, ц, Т0) легко по* лучить, если заметить, что она раскладывается в прямое произведение си* стем, отвечающих непересекающимся циклам из разложения перестановки а. Бесконечным циклам отвечают сдвиги Бернулли с распределением р, а конечным — периодические системы, период которых равен порядку цикла.—
Прим. перев.
2) Такие системы называют односторонними сдвигами Бернулли. — Прим, перев.
148 Гл. 2. Энтропия и информация
2.1$.13. Преобразования непрерывных дробей
Определим на интервале / преобразование G формулой
G(x) = |
(l/x). Ясно, |
что G — измеримое преобразование, отоб |
||||
ражающее пространство (/, SB) в себя, но G |
не сохраняет |
|||||
мерУ Лебега. Тем |
не менее на а-алгебре SB существует веро- |
|||||
ятнрстная мера |
ц, которая абсолютно непрерывна относительно |
|||||
А, и сохраняется |
преобразованием |
G (см. [20]). |
Эта |
мера за |
||
дается |
формулой |
р (£) = J (1 + |
х)-1 (log 2)-1 dx |
для |
любого |
подмножества Е e S ’. |
Энтропия динамической системы (/, SB, |
р, р) была вычислена |
Рохлиным [125] и составляет |
Подобно тому Как системы (/, SB, X, Тг) изоморфны одно сторонним сдвигам Бернулли, Система (/, SB, р, G) изоморфна одностороннему сдвигу в пространстве последовательностей целых чисел. Связующий изоморфизм ставит в соответствие числу х е / последовательность (а0, at, а2, ...) целых чисел, возникающую при разложении х в непрерывную дробь, т. е. хн4э"(ао, ах, ...) тогда и только тогда, когда х — lim хп, где
х„ — (°о + (й| + • • • + (яп + I)- *. • - ) 1)-1 (в этом выражении ra-f; 1 пара скобок). Первым преобразование G изучал Гаусс1).
См, также статьи Хартмана [58] и Перри [ПО].
2.12.14. f -преобразования
Описываемые здесь системы обобщают примеры из разд. 2.12.12 и 2.12.13. Эргодические (свойства этих систем изучались Рецьи [120] и Хартманом [58], а их энтропия была вычислена Рохлиным [125] и Перри [111].
Пусть f — положительная монотонная функция с вещест венными значениями. Для каждого положительного вещественHorjo числа х индуктивно определим две последовательности (а^(х)} и {г„(х)} следующим образом:
«о (*) = |
М, |
г0(х) — (х), |
an+i (*) = |
[/-1 (гп(*))], |
г„+., (х) = (ГЧ гп(х))), |
где [х] — целая часть числа х, |
а (х) — его дробная часть. |
Реньи [120] показал, что при некоторых условиях на / каж
1) Поэтому G часто называют преобразованием Гаусса. — Прим, перев.
2.12. Примеры |
149 |
дое |
вещественное число х е / |
обладает разложением вида |
||||
|
х — lim / (а0(х) + f (а, (дс) + f (а2(х) + ...))) |
(2.60) |
||||
|
П - > о о |
|
|
|
|
|
(в это выражение |
входит n + |
1 пара скобок). Заметим, что |
||||
если |
f (х) — 1 /JC, |
то |
формула |
(2.60) |
определяет |
разложение |
числа х в непрерывную дробь, |
а если f(x) = xr~1, |
где г — це |
||||
лое, |
то (2.60) — это |
г-ичное разложение х. |
|
|||
Кроме того, Реньи доказал, что при сформулированных им |
||||||
условиях на / в |
пространстве |
(/, 2 ) |
существует мера р, ко |
торая абсолютно непрерывна относительно |
меры Лебега и ин |
|||
вариантна относительно преобразования Tf, |
определенного на / |
|||
формулой |
TfX = (f~l (х)). При |
этом динамическая система |
||
(/, 2 , |
ц, |
Tf) эргодична. |
изоморфна одностороннему |
|
Эта |
динамическая система |
сдвигу в пространстве последовательностей целых чисел. Свя- 'зующий изоморфизм сопоставляет числу х последовательность
(®0 W, • • • * &п (х). • • •)•
Энтропия динамических систем (/, 2 , р, Tf) была вычис лена Рохлиным [125]. Перри.получил формулу для вычисления энтропии некоторых случайных процессов, которая применима и к этим динамическим системам. Пусть разбиение 1— ( { х ^ 1 : ао(х) = п), r t e Z +) — образующее для эндоморфизма Tf, а сам эндоморфизм Tf является сильно эргодическим, т. е. если
Tf'EczE, |
то А,(£) = 0 или |
Л (£ )= 1 |
(А. — мера Лебега) *), тогда |
||
у Tf имеется инвариантная |
мера |
|
|
||
и |
И (£ )= \ Bg(x)dx |
|
|||
|
|
|
|
|
|
|
h (Tf>= |
Solog 1 4 зГ |8 |
dx' |
||
Использование этой |
формулы |
для |
функций f ( x ) = l / x и |
||
f(x) — x/r |
при целых г соответственно |
позволяет найти энтро |
пию одностороннего сдвига и преобразования Гаусса из разд. 2.12.12 и 2.12.13. Частным случаем /-преобразований являются и так называемые ^-преобразования, отвечающие функциям
fi(x) — x/$ |
для Р > 1 , |
f2(x) — x — а для |
иррациональных а и |
||
/з(х) — */Р — а/Р для Р > 1 , |
0 < а < 1 . Для этих функций |
||||
|
Tfl (х) = |
(Рх), |
|
A(Tfl) = |
logP, |
|
Tf, (х) = |
(х + |
а), |
A(T,J = |
0, |
_________ |
Тf, (х) = |
(Р* + а), |
А (Тf>) = |
log р. |
‘) Здесь Tf рассматривается как эндоморфизм с квазиинвариантной мерой пространства (/, 2 , А), поэтому эргодичность Tf (отсутствие инвариантных множеств) не равносильна сильной эргодичности (несжимаемости) в отличие от случая преобразований с инвариантной мерой. — Прим, перев.
150 |
Гл. 2. Энтропия и информация |
Приведенные значения энтропии получаются по формуле Перри. [Формула для ft (Tf,) справедлива только для тех значений а й Р, при которых эндоморфизм Tf, сильно эргодичен.] Подроб ности см. в [ПО], [111].
2.13.Л-ЭНТРОПИЯ и г-ЭНТРОПИЯ
Вэтом разделе бписываются обобщения инварианта Кол могорова — Синая и : скорости создания информации, которые иногда оказываются полезными. Мы не будем изучать их под робно, а ограничимся лишь определениями и указанием при менений. ;
Первое обобщение было предложено Кушниренко [73]
сиспользованием принадлежащего Кириллову [67] определения
иназвано им Л-энтропией *)• Оно состоит в вычислении ско рости создания информации вдоль некоторой подпоследовгр тельности моментов времени.
Определение 2.62. Пусть (Q, tF, Р, Т)—динамическая система и A — {nj} — последовательность целых положительных чисел.
А-энтропия преобразования Т, или энтропия Т вдоль последо вательности А, обозначается через АЛ(Т) и определяется как
hA(Т) = sup {ft.4(Т, 1): ё — конечное разбиение}
где
Нетрудно видеть, что hA(Т) является метрическим инва риантом динамической системы и что ЛЛ(Т)^Л (Г) для любой последовательности А. Именно это свойство делает Л-энтропию полезной, позволяя различать неизоморфные динамические системы с нулевой энтропией. Кушниренко [73] использовал
энтропию вдоль последовательности {21} для доказательства того, что поток орициклов на компактном двумерном ориенти руемом многообразии постоянной отрицательной кривизны не изоморфен своему дёкартовому квадрату. Как сам этот поток (т. е. автоморфизм, возникающий при t — 1), так и его квадрат имеют нулевую энтропию и непрерывные спектры. В той же работе показано, что динамическая система имеет дискретный спектр (см. гл. 4) тогда и только тогда, когда ее Л-энтропия равна нулю для любой последовательности Л. Салески [135, 136] использовал Л-энтропию для изучения различных видов перемешивания, а Уолтерс [161] применил ее для построения
•) В оригинале также используется термин sequence entropy. — Прим,
перев.
2 .13. Л-энтропия и г-энтропия |
151 |
инвариантных о-подалгебр динамической системы. См. также Ньютон [89, 90].
Второе обобщение понятия энтропии связано с задачей о кодировании при наличии некоторого критерия точности воспроизведения сообщений. Предположим, что исходами, состав ляющими вероятностное пространство Qw, являются последо вательности длины N элементов некоторого конечного мно
жества |
{й!, Ог, ... , |
о*}. Каждую точку <о = (а^........ можно |
|
||||||||
представлять |
себе |
как |
некоторое |
сообщение. Определим |
рас |
||||||
стояние |
d |
на |
множестве {а^ ... , |
а*) |
как |
d(x, у ) = |
1, |
если |
|||
х Ф у , |
и |
d(x, у) — 0 в |
противном |
случае. |
Зададим |
теперь |
|||||
функцию d на |
QNX йдг, |
полагая d (©, ©) = |
£ |
?li d (®i» ©f)» где |
|||||||
через toj обозначена i-я координата |
© |
*). Ясно, |
что d |
показы |
|||||||
вает, в скольких местах сообщения |
ю |
и © |
имеют^ различные |
буквы, т. е. сколько ошибок будет сделано, 'ёсли^ вместо © взять сообщение ©. Критерий точности должен требовать, чтобы доля ошибок не превосходила некоторой заданной величины. (См. разд. 3.6.)
Познер, Родемич и Рамсей [119] ввели понятие е, г-энтропии вероятностного пространства, снабженного метрикой, используя разбиения подмножеств меры 1 ^ 8 на элементы, диаметр которых не превосходит г. Фельдман [39] использовал это понятие для определения энтропийного инварианта автомор физмов, оказавшегося полезным при изучении сохраняющих меру действий непрерывных групп. Его основная идея состоит в использовании е, r-энтропии факторпространств, отвечающих
разбиениям V.f-oT-/£, при стремлении N к бесконечности.
Определение 2.63. Пусть (Q, |
Р, Т) — динамическая система, |
||||||||
а %= |
{|(1), 1(2), ... , I(k)} — конечное измеримое |
разбиение ее |
|||||||
пространства состояний. Обозначим разбиение |
VjJo Т-/| через |
||||||||
l N и рассмотрим факторпространство (Qjw, |
|
P\N). Для каж |
|||||||
дого © е Q\N существует |
единственная последовательность (/0, |
||||||||
t„ . . .. /дг-i), такая, |
что |
|
|
|
|
|
|
||
|
N“*‘ (©) = |
| (i0) П T -’l (/,) П •. • П T -"+1£ (tV-i). |
|
||||||
Будем эту последовательность обозначать через |
|
(©). |
|||||||
Пусть заданы е > 0 и г > 0. Для каждого |
N |
будем назы |
|||||||
вать |
(1, N, г)-разбиением |
любой |
конечный |
набор |
TJ= { T)(1), |
||||
TJ(2), ... , т](/)} |
непересекающихся |
подмножеств |
Qgtf, |
таких, что |
|||||
|
s u p | |
j j - d ( M w (©), М д ,(© )) : f f l , a e |
i i ( i ) | < r |
|
*) To есть d является метрикой Хемминга в Q^ — см. стр. 239. — Прим* перев.