книги / Математическая теория энтропии

12 Предисловие редактора перевода

размерностью носителя инвариантной меры или, как принято говорить, с размерностью меры (см. Бунимович, Лесин, Синай, Якобсон [1985]).

Упомянем теперь несколько обобщений понятия энтропии для общих динамических систем и близких объектов. Понятие энтропии группы, действующей с инвариантной мерой, парал­ лельное определению Синая для групп Z и R, было введено Кирилловым [67]. Содержательным оно оказалось лишь для аменабельных групп; для более общих групп инвариантом яв­ ляется не энтропия, а факт ее равенства нулю, ненулевому поло­ жительному числу или бесконечности. Для аменабельных групп имеется ряд результатов — см. Kieifer [1975], Пицкель, Стёпин [1971], Пицкель [1975], Сафонов | [1983]. Общее определение Кириллова привело Кушниренко ![73] к понятию Л-энтропии для действия группы Z («последовательностная энтропия») — см. разд. 2.13. В последние годы эт^от инвариант интенсивно ис­ пользуется для изучения автоморфизмов, близких к автомор­ физмам с дискретным спектром, типа знаменитого примера Морса (см. Dekking [1980], Lemanczyk [1985]). Заметим по­ путно, что анализ примера Морса привел к развитию теории так называемых подстановочных систем, которая нашла применения в теории автоматов, статистическбй физике, теории квазикри­

симо иным способом Стёпин [1971] определили энтропию убы­ вающих последовательностей однородных измеримых разбиений, которая является метрическим инвариантом последовательности и используется в траекторной и ограниченной траекторной тео­

тесно связанную с теорией границ марковских процессов. В этих работах энтропия измеряет экспоненциальную скорость роста числахостояний (слов), которые может достичь типичная траек­ тория за данное время, а равенство! энтропии нулю равносильно тривиальности границы-выход мар'ковского процесса, т. е. от­ сутствию нетривиальных ограниченных гармонических функций

менима ко всем «достаточно однородным» марковским процес­ сам, например, к броуновскому движению на накрывающих многообразиях или на слоениях компактных многообразий (Кайманович [1986, 1988]). Энтропия броуновского движения на уни­ версальном накрывающем пространстве компактных многообра­

ОТ РЕДАКТОРА ЭНЦИКЛОПЕДИИ

Математика состоит главным образом из фактов, которые мож­ но представить и описать подобно любому явлению природы. Эти факты, сформулированные явно в виде теорем или упоми­ наемые по ходу доказательств, составляют основную часть при­ ложений математики и будут существовать всегда, несмотря на изменчивость направлений и интересов в данной науке.

Цель настоящей энциклопедии — постараться осветить все области математики. Непременным требованием к автору яв­ ляются ясность и четкость изложения материала, доступность для широкого круга .читателей, а *также наличие подробной библиографии. Тома энциклопедии объединяются в серии, кото­ рые соответствуют различным областям современной матема­ тики; порядок выхода книг в отдельных сериях не устанавли­ вается. Число томов и серий время от времени будет пересма­ триваться и корректироваться.

Мы надеемся, что наше смелое предприятие будет способ­ ствовать еще более широкому применению математики не толь­ ко там, где без нее нельзя обойтись, но даже в тех областях, где ее следовало бы применять и где из-за недостатка информации это пока не делается.

Джан-Карло Рота

ПРЕДИСЛОВИЕ РЕДАКТОРА СЕРИИ

Энтропия — понятие, сыгравшее центральную роль в ряде об­ ластей науки, в частности в статистической механике и теории информации. Использование аппарата теории вероятностей по­ зволило в последние годы прояснить связи между различными применениями энтропии. Сейчас стало возможным увидеть в казавшихся ранее изолированными результатах из различных дисциплин элементы более общей математической теории эн­ тропии.

Настоящая книга содержит замкнутое изложение математи­ ческой теории энтропии. В нее включены сведения из теории вероятностей, необходимые для понимания основных вопросов,, связанных с энтропией. Кроме того, тщательно отобранные при­ меры расположены так, что читатель, опустив доказательства некоторых теорем, тем не менее сможет получить представление об этих теоремах из разбора примеров.

В последних четырех главах дается описание тех разделов теории информации, эргодической теории, статистической меха­ ники и топологической динамики, на которые понятие эйтропии оказало наиболее сильное влияние. Эти главы можно читать не­ зависимо друг от друга. Примеры показывают, как идеи, возник­ шие в одной области, воздействовали на другие области. Гла­ ва 3 содержит краткое описание роли энтропии в теории инфор­ мации как меры потока информации и служит дополнением к первой части «Теории информации и кодирования» Р. Дж. Макелиса (том 3 настоящей энциклопедии). Недавние применения энтропии в статистической механике и топологической динамике приводятся в гл. 5 и 6. Эти две главы представляют собой хоро­ шее введение к «Термодинамическому формализму» Д. Рюэля (том ^5 энциклопедии). В главе 4, посвященной эргодической теории, описывается развитие принадлежащей Колмогорову идеи применения энтропии Шеннона к изучению автоморфизмов пространств с конечной мерой. Кульминацией этой деятельности явилось приведенное в этой главе доказательство теоремы Кол­ могорова — Орнстейна об изоморфизме.

Представленное в книге математическое изложение основ­ ных свойств энтропии и приведенные разнообразные приложения делают этот том ценным вкладом в энциклопедию.

Джеймс К. Брукс, Главный редактор серии

«Теория функций вещественной переменной»

Нашим женам:

Джо Мартин и Мери Ингленд

ПРЕДИСЛОВИЕ АВТОРОВ

Тридцать лет назад Клод Шеннон опубликовал статью под названием «Математическая теория связи». В ней он ввел ко­ личественную меру неопределенности, связанной со случайными событиями, и назвал ее энтропией. Влияние этой работы на состояние как теории, так и практики связи все еще ощущается; сама же энтропия Шеннона была с большим успехом использо­ вана в ряде областей математики. В частности, применение ее к динамическим системам А. Н. Колмогоровым и Я. Г. Синаем привело к полному решению долгое время остававшейся откры­ той проблемы эргодической теории, к введению нового инва­ рианта гладких динамических систем и к уточнению некоторых положений классической статистической механики.

В этой книге мы стремились дать достаточно полное и замк­ нутое изложение теории энтропии и ее обобщений, доступное читателю, знакомому со стандартным курсом абстрактной тео­ рии меры, и хотели показать применения энтропии в теории ин­ формации, эргодической теории и топологической динамике. Мы не делали попытки описать современное состояние этих дисцип­ лин; напротив, скорее ограничились лишь теми областями, на которые оказали влияние понятие энтропии Шеннона и ее раз­ витие Колмогоровым и Синаем. Таким образом, наша цель двояка: во-первых, дать замкнутое изложение всех основных свойств энтропии и ее модификаций с достаточно подробными доказательствами; во-вторых, представить картину применений энтропии в тех областях математики, где она успешно исполь­ зовалась. Основное внимание мы уделяем эргодической теории, поскольку именно здесь были получены наиболее впечатляющие результаты.

Слово «энтропия» было впервые использовано в 1864 г. Ру­ дольфом Клаузиусом в его книге «Abhandlungen fiber die Warmetheorie» («Сочинения по теории теплоты») для названия ве­ личины, характеризующей процессы перехода тепловой энергии в механическую, и в термодинамике оно сохранило именно это значение. Связь между энтропией как мерой неопределенности

18 Предисловие авторов

и термодинамической энтропией оставалась неясной на протя­ жении ряда лет. С введением мер на бесконечных системах, названных гиббсовскими состояниями, эта связь прояснилась. Мы обсуждаем ее в последней главе на примере классических решетчатых систем.

По этому поводу трудно удержаться от повторения замеча­ ния, сделанного Шенноном Майрону Трибусу и приведенного в статье Трибуса и Эдварда Макирвина «Энергия и информа­ ция» (Scientific American, 1971). В беседе о введенной им мере неопределенности Шеннон сказал: «Меня больше всего беспо­ коило, как назвать эту величину. Я думал назвать ее «информа­ цией», но это слово слишком перегружено, поэтому я решил остановиться на «неопределенности». Когда я обсуждал все это с Джоном фон Нейманом, тот предложил лучшую идею. Фон Нейман сказал мне: «Вам следует назвать ее энтропией по двук причинам. Во-первых, ваша функция неопределенности исполь­ зовалась в статистической механике под этим названием, так. что у нее уже есть имя. Во-вторых, и это важнее, никто не знает, что же такое эта энтропия на самом деле, поэтому в споре преимущество всегда будет на вашей стороне». Мы на­ деемся, что читатель также сможет пользоваться этим преиму­ ществом, после того как прочитает нашу книгу.

Подготовка рукописи была бы куда более трудной без щед­ рой поддержки отделений математики университета Виргинии и колледжа Суортмор, а также без точной и аккуратной маши­ нописи Беверли Уотсон. Мы с особой благодарностью отмечаем ее внимание и терпение при перепечатке основной части ру­ кописи, равно как и её способность к правильному пониманию крошечных, часто неразборчивых каракулей первого автора. Мы благодарим также Дженис Бэббит, Барбару Смит и Джо Филдс, печатавших отрывки из первой главы, и Мэри Браун, печатав­ шую исправления. Наконец, мы признательны Алану Салески за внимательное прочтение первых трех глав.

Натаниель Ф. Дж. Мартин Джеймс У. Ингленд