l/k

Величина //(S^) случайно меняется в зависимости от состояния источника, поэтому только среднее значение H(Sk) может характеризо­ вать энтропию источника

т т

Я(Х) = £ P(.s„mst)= -Z I ,n S k)P(S,/S^ogP^/S,) =

где значок 1/к у суммы означает, что производится суммирование по всем переходам из состояния Skв Sr

6.3. Связь между энтропией и числом различных последовательностей сообщений

Характер последовательностей, формируемых реальным ис­ точником сообщений, зависит от существующих ограничений на выбор знаков. Они выражаются в том, что вероятности реализации знаков различны и между ними существуют корреляционные свя­ зи. Эти ограничения приводят к тому, что вероятности формируе­ мых последовательностей существенно различаются.

Пусть, например, эргодический источник без памяти последо­ вательно выдает знаки z,, z2, z3 в соответствии с вероятностями 0,1; 0,3; 0,6. Тогда в образованной им достаточно длинной последова­ тельности знаков мы ожидаем встретить в среднем на один знак z, три знака z2 и шесть знаков z3. Однако при ограниченном числе знаков в последовательности существуют вероятности того, что она будет содержать;

только знаки z[ (либо z2, либо z3); только знаки z( и один знак z2 или z3; только знаки z2 и один знак z, или z3; только знаки z3 и один знак z, или z2 ;

только знаки z, и два знака z2 или z3 и т. д.

С увеличением числа знаков вероятности появления таких после­ довательностей уменьшаются.

Фундаментальные свойства длинных последовательностей зна­ ков, создаваемых эргодическим источником сообщений, отражает следующая теорема, имеющая фундаментальное значение в теории информации.

Теорема 1. Как бы ни малы были два числа £ > 0 и 8 > 0 при достаточно большом М, все последовательности могут быть разбиты на две группы.

Одну группу составляет подавляющее большинство последователь­ ностей, каждая из которых имеет настолько ничтожную вероятность, что даже суммарная вероятность всех таких последовательностей очень мала и при достаточно большом Л/будет меньше сколь угодно малого числа е. Эти последовательности называют нетипичными. Говорят, также, что такие последовательности относятся к «маловероятной» группе реализаций.

Вторая группа включает типичные последовательности («высоко­ вероятная» группа реализаций), которые при достаточно большом М отличаются тем, что вероятности их появления практически одинако­ вы, причем вероятность р любой такой последовательности удовлет­ воряет неравенству

ще ЩХ) - энтропия эргодического источника, определяемая по (6.10). Соотношение (6.11) называют также свойством асимптотическойрав­

номерности длинных последовательностей. Рассмотрим его подробнее. Из данной теоремы следует, что для всех типичных последова­

тельностей

2-ми*®<р(с)< 2 W(W+S).

При М —►оо 8 —> 0. Поэтому при достаточно большом М можно положить

Поскольку при М —> оо источник сообщений с вероятностью, сколь угодно близкой к единице, выдает только типичные последовательнос­ ти, неопределенность создания каждой такой последовательности с

учетом их равновероятности составляет log(l/p). Тогда величина log(l/ р)/М представляет собой неопределенность, приходящуюся в среднем на один знак. Конечно, эта величина практически не должна отличать­ ся от энтропии источника, что и констатируется соотношением (6.11).

Ограничимся доказательством теоремы для простейшего случая эргодического источника без памяти. Оно непосредственно вытекает из закона больших чисел, в соответствии с которым в длинной после­ довательности из М элементов алфавита I (zp z2,...z,), имеющих вероят­ ности появления р рр2,...,рп содержится Мрхэлементов zp Мр2элемен­ тов z2 ит.д.

Тогда вероятность р реализации любой типичной последователь­

Логарифмируя правую и левую части выражения (6.13), получаем

м

lo g Р = М ^ р , log р, ы\

откуда (при очень больших М)

log( 1/р)/М+Н(Х).

Для общего случая теорема доказывается с привлечением цепей Маркова.

Покажем теперь, что за исключением случая равновероятного и независимого выбора букв источником, когда нетипичные последова­ тельности отсутствуют, типичные последовательности при достаточ­ но большом N составляют незначительную долю от общего числа воз­ можных последовательностей.

Общее число всевозможных последовательностей длины М, вы­

рабатываемых источником,

= пМ= 2 Aflogn^

N T _ 9 « | t f W - l o g / i |

N

откуда при М —►оо NJN —►0, так как Н(Х) - log п < 0. Однако хотя типичных последовательностей мало, но только они в основном выра­ батываются источником, как то следует из теоремы.

Пусть, например,

а = 2, п = 100, Н= 2,75, т = 8. Тоща N = Sm =2300,7У2 = 2100 2,75 = 2275.

То есть к высоковероятной группе относится лишь одна тридцати­ миллионная доля всех реализаций.

К. Шеннон показал, что рассмотренные свойства длинных после­ довательностей могут служить основанием для осуществления эффек­ тивного кодирования информации.

Целесообразно отметить, что в простейшем случае отсутствия статистической зависимости между элементами процесса свойство Е является простым следствием закона больших чисел [7].

6.4. Кодирование дискретных источников

Рассмотрим идеализированный случай, когда источник дискретных сообщений с мощностью алфавита К и избыточностью х подключен к каналу без помех. При этом естественно возникает вопрос, связанный с поиском такого способа кодирования состояний источника, при котором в целях передачи по каналу максимально возможного количества информа­ ции в единицу времени избыточность источника была бы сокращена.

Поскольку избыточность источника является следствием неравновероятности состояний и их взаимной зависимости, для наиболее эффек­ тивного использования канала необходимо стремиться к тому, чтобы в последовательности кодовых слов на выходе кодирующего устройства по возможности отсутствовала бы их взаимная зависимость и неравновероятносгь. Процесс сокращения избыточности источника получил название эффективного кодирования сообщений, а коды, обеспечивающие решение этой задачи, называют статистическими кодами. Универсальным спосо­ бом уменьшения избыточности источника, обусловленной взаимной за­ висимостью состояний источника, является укрупнение, смысл которого заключается в кодировании не каждого состояния, а последовательности состояний определенной длительности. Длительность кодируемых блоков определяется степенью их взаимной зависимости. Как правило, зависи­ мость блоков с увеличением их длительности уменьшается.

Так, например, при кодировании текста, где элементарными сооб­ щениями являются буквы, в целях сокращения избыточности текста, порожденной взаимной зависимостью букв, можно кодировать не от­

дельные буквы, а целые слова. Можно показать, что при таком кодиро­ вании текстов русской художественной прозы удается достигнуть со­ кращения избыточности до значения 2 двоичных символов на букву.

Далее сформулируем предельные возможности статистических кодов.

Рассмотрим вначале последовательность 2?я=(6(1),...,6(п)) следующих друг за другом п элементов дискретного источника {В,р(Ь)}. Каждый элемент выбирается из алфавита {Ы, ...,Ьк}, и, таким образом, имеются К* последовательностей различной длины и, которые могут появляться на выходе источника. Поставим задачу кодирования этих последова­ тельностей в слова кода с фиксированной длиной. Если кодовый алфа­ вит состоит из т символов и если длина каждого кодового слова равна /, то существуют т1различных кодовых слов. Следовательно, если нуж­ но сопоставить различные кодовые слова разным последовательнос­ тям источника (если необходимо взаимно однозначное отображение),

длиной при декодировании необходимо иметь по меньшей мере log К/ log М кодовых символов на одну букву источника.

Если мы хотим в целях эффективного кодирования использовать меньше, чем log К/ log М символов на одну букву источника, то, оче­ видно, нужно ослабить требование того, чтобы всегда была возмож­ ность полного однозначного соответствия.

В подтверждение сказанному рассмотрим пример [1]. Предполо­ жим, что на телеграфе введена автоматическая обработка телеграмм, записанных в алфавите объемом 64 буквы (количество букв, содержа­ щееся в двух регистрах телетайпа). Пусть эффективность обработки информации определяется количеством телеграмм, которые можно ввести в запоминающее устройство (ЗУ). Объем ЗУ равен У двоичным ячейкам. Необходимо закодировать телеграммы двоичным кодом.

Рассмотрим вначале побуквенное кодирование. В этом случае ис­ пользуется код, содержащий 26 = 64 кодовых слова, и каждой букве телеграммы сопоставляется некоторое кодовое слово. Пусть исполь­ зуется равномерный код со словами в 6 двоичных символов. При этом в ЗУ можно поместить N/6 букв. Если считать, что средняя длина теле­ граммы - 20 слов, а средняя длина слова 8 букв, то в ЗУ можно помес­ тить примерно N/960 телеграмм.

Второй способ кодирования состоит в том, что выделяется специ­ альный словарь, например, из 213 = 8192 слова (достаточно практичес­ ки для любой телеграммы). Каждое слово может быть закодировано с помощью двоичной последовательности длиной 13 символов. В этом случае в ЗУ можно записать N/260 телеграмм, т.е. в 3—4 раза больше, чем в первом случае. (При кодировании и декодировании можно счи­ тать слово, отсутствующее в словаре, «ошибкой».)

Таким образом, второй способ является значительно более эф­ фективным с точки зрения сложности ЗУ. Эта эффективность явля­ ется следствием устранения избыточности, хотя при кодировании по второму способу возможны ошибки, поскольку существует опасность появления слова, не входящего в кодовый словарь. При побуквенном кодировании обеспечивается безошибочное декодирование.

Из этого примера видно, что для сокращения избыточности мы должны приписывать кодовые слова только некоторому подмножеству последовательностей источника длины и.

Постановка задачи равномерного кодирования источника. Пусть А = {о,,..., ат} - алфавит кода источника - некоторое множество, со­ стоящее из т элементов; а. - кодовые символы. Последовательность кодовых символов задает кодовое слово, любое семейство кодовых слов - это код над алфавитом А. (Примеры: множество букв русского алфавита, множество цифр и т.д.) Код называется равномерным, если все его слова имеют одинаковую длину /, называемую длиной (значностью) кода. В противном случае код называется неравномерным. Ко­ личество различных слов равномерного кода длины / не превосходит т1- числа различных /м-ичных последовательностей длины /.

Определение. Кодированием сообщений ансамбля В посредством кода А называется отображение множества сообщений В" в мно­ жество кодовых слов.

Предлагается следующий способ равномерного кодирования [1]: множество всех последовательностей сообщений источника длиной и делится на два подмножества, одно из которых создается всеми пос­ ледовательностями —блоками длины п, однозначно отображаемыми кодовыми словами. Это подмножество называется множеством одно­ значно кодируемых и декодируемых блоков. Остальные блоки образу­ ют второе подмножество, которому соответствует одно единственное

кодовое слово. Длина / всех кодовых слов одинакова; она определяется числом М кодовых слов: / - наименьшее целое, удовлетворяющее нет равенству т! > М. Процесс кодирования и декодирования заключается в разбиении последовательности сообщений на выходе источника на блоки длиной п и сопоставлении каждому блоку соответствующего кодового слова длины /. Ошибкой процедуры декодирования при этом является событие, состоящее в появлении неоднозначно кодируемого блока. Количество /и-ичных кодовых символов, приходящихся на одно сообщение, определяется соотношением Un > log Ml log т. Число log Min = R для заданных значений М и п называется скоростью равно­ мерного кодирования источника. Скорость- R измеряется в двоичных символах на сообщение. Таким образом, существо равномерного ко­ дирования заключается в выборе множества однозначно кодируемых «-последовательностей сообщений.

Основная задача при кодировании равномерными кодами заклю­ чается в определении наименьшей возможной скорости кодирования, при которой вероятность ошибочного декодирования может быть сде­ лана сколь угодно малой. Наименьшая достижимая скорость R являет­ ся характеристикой кодируемого источника. Она носит название ско­ рости создания информации.

Величина Н может рассматриваться как скорость создания инфор­ мации, если может быть доказано следующее важное утверждение.

Для любого R > Н и произвольного положительного д найдется значение п и код со скоростью R, для которого вероятность ошибки не превосходит д. (Прямая теорема кодирования источника.)

6.5. Энтропия источника без памяти как скорость создания информации

Факт существования высоковероятных множеств дискретного ис­ точника без памяти играет фундаментальную роль в формулировании и доказательствах прямых теорем кодирования теории информации. В случае эффективного кодирования источника это представляется особенно наглядным. Прямая теорема кодирования источника без па­ мяти является следствием теоремы о высоковероятных множествах такого источника.

4.Каковы причины наличия избыточности в сообщении?

5.Определите производительность источника дискретных сооб­ щений и укажите пути ее повышения.

6.Что понимают под e-производительностью источника непре­ рывных сообщений?

7.Как определить избыточность дискретного источника и чем она вызывается? Какой источник имеет нулевую избыточность?

8.Каковы вероятностные характеристики достаточно длинных типичных и нетипичных последовательностей символов дискретного источника?