книги / Математическая теория энтропии

Поскольку в силу равенства (2.25) I (£<,п); !£>)=# (£}?))+ #(1)}',))—

— Н (%{а V 1^)» на основании соотношения (2.45) можно заклю­ чить, что R{ii, Р) существует и

3.5. ТЕОРЕМА КОДИРОВАНИЯ ДЛЯ КАНАЛА С ШУМОМ

Теперь мы располагаем всеми понятиями, которые необходи­ мы для того, чтобы сформулировать теорему о кодировании для канала с шумом и понять ее доказательство. Эта теоре­ ма придает операциональное значение понятию пропускной способности канала.

Теорема 3.1. Пусть [2(Л),Р(со, •), 2 (£)] — дискретный ка­ нал без памяти с пропускной способностью С, а [2 (5), р] — эргодический источник с энтропией А. Если А < С, то для лю­ бого е > 0 существует код qp: 2(5)-*2(Л), такой, что скорость передачи информации из этого источника по данному каналу

Имеется ряд различных формулировок этой теоремы. Их вид обычно зависит от того, в каких терминах выражается эффективность канала — через его ненадежность или через ве­ роятность ошибки. Кроме того, в формулировку теоремы часто включается указание на вид кодов, используемых при дока­ зательстве. Для случая так называемых блоковых кодов до­ казательство можно найти у Шеннона [138], Галлагера [43] или Биллингсли [20]. Доказательство, использующее скользя­ щие блоковые кодь!, приведено у Грея и Орнстейна [53].

Мы завершим этот раздел кратким обсуждением доказа­ тельства сформулированной фундаментальной теоремы. Пер­ вым этапом доказательства является построение решающей схемы, с помощью которой можно затем определить код. Для этого достаточно рассматривать только канал без привязки к какому-либо конкретному источнику, поскольку для канала без

от С. Это наблюдение подсказывает нам следующий способ передачи сообщений по каналу. Пусть k — большое целое чис­ ло. Если мы передадим кодовое слово, состоящее из k единиц, за которыми следует k двоек (предполагается, что А = {1,2, ... , /г}), то частотное распределение первых k символов принятого сообщения должно быть очень близко к первому столбцу мат­ рицы С, а частотное распределение последних k принятых символов должно быть близко ко второму столбцу С. Напро­ тив, если передавать кодовое слово, в котором за k двойками следует k единиц, то соответствующее частотное распределение будет сначала мало отличаться от второго столбца С, а затем

— от первого. Если эти два столбца матрицы С различны, то при достаточно больших А два переданных сообщения можно

будет различить по символам, полученным на выходе канала. Пропускная способность канала определяется тем, насколько столбцы матрицы С отличаются друг от друга. Иначе говоря, все столбцы С одинаковы тогда и только тогда, когда пропуск­ ная способность канала равна нулю. Таким образом, нам оста­ ется лишь связать длины кодовых слов с пропускной способ­ ностью канала. Файнстейн [37] формализовал эту процедуру в виде следующей теоремы.

Теорема 3.2. Пусть [2 (Л), Р(©, •). 2(B)] — дискретный канал без памяти с пропускной способностью С. Если 0 < е < С, то существует положительное целое число К, такое, что для вся­

кого k > К множество Л* (произведение к экземпляров Л) со­ держит N слов (0[, ©2, .... <йц, обладающих тем свойством, что

множество Вк (произведение к экземпляров В) может быть раз­ бито на N соответствующих подмножеств Uit U2, . . . , UN та­ ким образом, что

Р (©,, Ut) > 1 — е, г = 1, 2, ... , N,

и N > e kic~e).

Эта теорема позволяет построить решающую схему следую­ щим образом. То, какое из кодовых слов ©( было передано, определяется по тому, какое из множеств С/( содержит при­ нятое слово и (длины к). Если источник может быть закоди­ рован в алфавите А таким образом, чтобы использовались только кодовые слова из нашего списка ©lf ..., ©„, то вероят­ ность ошибки для этого источника при использовании указан­ ной решающей схемы будет меньше е. Итак, теперь нам надо показать, что если энтропия данного источника меньше С, то он может быть закодирован в 2 (Л) так, чтобы возникающая

мера на Ак при правильно выбранном k была сосредоточена только на множестве {©j, ..., <s>N}. Это требование приводит к классу кодов, называемых к-блоковыми кодами. Каждый такой код <р: 2(5)-*-2 (Л) определяется . некоторым (супер)кодом

ф': 2(5*)->2(Л*) с использованием естественного соответствия

шить следующим образом. Выберем к достаточно большим, так чтобы можно было применить теорему Файнстейна и тео­ рему о равномерном распределении (следствие 2.54). Тогда по теореме о равномерном распределении существует множество

переводит все слова из Sk — Ек в одно слово. Эта функция определяет A-блоковый код из 2(5) в 2 (Л). Тщательный ана­ лиз ненадежности, в основном с использованием теоремы Фано [14], позволяет доказать, что ненадежность в нашем случае м^ла.

Намеченное дсжазательство теоремы кодирования для ка­ нала с шумом является неудовлетворительным с практической, ики конструктивной, точки зрения. Используемые в нем бло­ ковые коды трудно строить и, как правило, трудно исследо­ вать. Поэтому теорему кодирования для канала с шумом сле­ дует рассматривать как теорему существования с неконструктив­ ным доказательством. Задача построения таких кодов, которые действительно могут быть использованы и эффективность кото­ рых может быть оценена, представляется невероятно трудной. Макелис [86] посвящает теории кодирования всю вторую половину своего тома, входящего в состав настоящей энци­ клопедии, и читателю, заинтересовавшемуся этими проблемами, следует обратиться к его книге.

3.6.КОДИРОВАНИЕ ИСТОЧНИКА

Вразд. 3.1 было отмечено, если -источник Создает инфор­ мацию со скоростью, превосходящей пропускную способность канала, то вся процедура кодирования создаваемых источни­ ком сообщений для передачи по каналу разбивается на две, осуществляемые кодером источника и кодером канала соот­ ветственно. Целью первой из них (кодирования источника) является такое преобразование источника, чтобы полученный новый источник был достаточно близок к исходному и обла­ дал скоростью создания информации, не превосходящей про­ пускную способность канала.

; Большая часть теории кодирования источника [86] исполь­ зует блоковые коды. В этом разделе мы обсудим другой тип кодов, скользящие блоковые коды. Они возникают на основе соображений, использованных Орнстейном при доказательстве теоремы об изоморфизме (теорема 4.38). Будет приведена тео­ рема о кодировании источника в отсутствие шума для этого

ледней теоремы включает в себя конструкцию, которая близка к построениям из доказательства теоремы 4.38, но здесь дока­ зательство проще, и оно может служить пояснением теоремы об изоморфизме в части необходимости. В заключение этого раздела приводится пример очень простого скользящего блоко­ вого кода. Коды такого вида весьма часто используются в современной эргодической теории. То, что понятия, связан­ ные со скользящими блоковыми кодами, возникли из работ по проблеме изоморфизма, наглядно продемонстрировало глу­ бокую связь между теорией кодирования и теорией аппрокси­ мации случайных процессов.

В конце разд. 3.3 было отмечено, что коды, возникающие из изоморфизмов между динамическими системами, обычно непригодны с практической точки зрения, поскольку для этих кодов, прежде чем начать кодирование, мы должны полностью знать передаваемое сообщение ')• При доказательстве теоремы

коды нестационарны и обычно чувствительны к ошибкам, воз­ никающим в канале. Кроме того, теория блоковых кодов не покрывает ряд методов, используемых на практике. Понятие скользящих блоковых кодов и его обобщение на финитарные коды имеют, по-видимому, некоторое значение и для практи­ ческих применений.

У нас уже есть большинство понятий и результатов из теории меры, которые необходимы для понимания содержа­ ния этого раздела. Еще одно понятие, которое не вводилось ранее и будет нами использоваться, — это функция расстояния

между источниками d. Она служит мерой того, насколько мо­ гут • быть близки в некоторый момент времени два случайных процесса, если они связаны стационарным каналом. Точнее, пусть заданы два источника (т. е. два стационарных процесса) [2(S), ц] и [E(S), v] с одним и тем же алфавитом S. Как от­ мечалось выше, стационарный канал, соединяющий эти два источника, можно рассматривать как инвариантную относите­ льно сдвига меру р на множестве E(S)XS(S), такую, что для

') В работе [65] устанавливается так называемый финитарный изомор­ физм сдвигов Бернулли с равной энтропией. С вероятностью единица он имеет «конечное запаздывание», т. е. кодирование п. в. сообщения требует в каждый момент времени знания лишь конечного числа (зависящего от сообщения) символов этого сообщения. — Прим, перев.