единице младшего разряда ошибку неоднозначности при считывании. Комбинации кода Грея, соответствующие десятичным числам от 0 до 15, приведены в табл. 7.3.

Правила перевода числа из кода Грея в обычный двоичный сво­ дятся к следующему: первая единица со стороны старших разрядов остается без изменения, последующие цифры (0 и 1) остаются без из­ менения, если число единиц, им предшествующих, четно, инвертиру­ ются, если число единиц нечетно.

7.4. Кодирование как средство криптографического закрытия информации

В последние годы все большее развитие получают интегрированные информационно-вычислительные системы, в частности автоматизиро­ ванные системы управления и вычислительные сети коллективного поль­ зования. В таких системах концентрируются большие объемы данных, хранимые на машинных носителях, и осуществляется автоматический межмашинный обмен данными, в том числе и на больших расстояниях.

Во многих случаях хранимая и передаваемая информация может пред­ ставлять интерес для лиц, желающих использовать ее в корыстных целях. Последствия от такого несанкционированного использования информации могут быть весьма серьезными. Поэтому уже в настоящее время возникла

проблема защиты информации от несанкционированного доступа.

Существует комплекс технических средств защиты информации, вклю­ чающий системы охраны территории и помещений, регулирования доступа в помещения, устройств идентификации пользователей и др. Ограничимся рассмотрением методов защиты информации от несанкционированного до­ ступа при передаче ее по каналам связи. Рассматриваемые методы защиты обеспечивают такое преобразование сообщений (данных), при котором их исходное содержание становится доступным лишь при наличии у получа­ теля некоторой специфической информации (ключа) и осуществления с ее помощью обратного преобразования. Эти методы называют методами криптографического закрытия информации. Они применяются как для за­ щиты информации в каналах передачи, так и для защиты ее в каналах хра­ нения, в основном в накопителях со сменными носителями (магнитными лентами, дисками), которые легко могут быть похищены.

Преобразования, выполняемые в системах, где используются методы криптографического закрытия информации, можно считать разновидност тями процессов кодирования и декодирования, которые получили специ­ фические названия шифрования и дешифрования. Зашифрованное сооб­ щение называют криптограммой.

Современные методы криптографического закрытия информа­ ции должны обеспечивать секретность при условии, что против­ ник обладает любым специальным оборудованием, необходимым для перехвата и записи криптограмм, а также в случае, когда ему стал известен не только алгоритм шифрования, но и некоторые фрагменты криптограмм и соответствующего им открытого текс­ та сообщений. Иначе говоря, метод должен предусматривать такое множество возможных ключей, чтобы вероятность определения использованного даже при наличии указанных фрагментов была близка к нулю. Последнее требование является весьма жестким, но его можно удовлетворить.

Методы криптографического закрытия могут бьпъ реализованы как программно, так и аппаратно. При программной реализации в месте шифрования (дешифрования) предполагается наличие процессора. В тех случаях, когда процессор отсутствует или его загрузка нецелесообразна, используется аппаратное закрытие с помощью специальной серийно вы­ пускаемой аппаратуры.

Известно значительное число различных методов криптографическо­ го закрытия информации. Рассмотрим некоторые из них в порядке возрас­ тания сложности и надежности закрытия.

Ш ифр простой подстановки. Буквы кодируемого сообщения прямо заменяются другими буквами того же или другого алфавита. Если сообщения составляются из к различных букв, то существует к\ способов выражения сообщения к буквами этого алфавита, т. е. сущес­ твует к\ различных ключей.

Метод шифрования прост, но не позволяет обеспечить высокой степе­ ни защиты информации. Это связано с тем, что буквы английского языка (как, впрочем, и других языков) имеют вполне определенные и различные вероятности появления. Так как в зашифрованном тексте статистические свойства исходного сообщения сохраняются, то при наличии криптограм­ мы достаточной длины можно с большой достоверностью определить ве­ роятности отдельных букв, а по ним и буквы исходного сообщения.

Шифр Вижинера. Этот шифр является одним из наиболее распро­ страненных. Степень надежности закрытия информации повышается за счет того, что метод шифрования предусматривает нарушение статисти­ ческих закономерностей появления букв алфавита.

Каждая буква алфавита нумеруется. Например, буквам английского алфавита ставятся в соответствие цифры от О (А = 0) до 25 (Z = 25):

Ключ представляет собой некоторое слово или просто последователь­ ность букв, которая подписывается с повторением под сообщением. Циф­ ровой эквивалент каждой буквы криптограммы определяется в результате

А В С D Е F G Н 1 J К L М N О Р Q R S Т и V W X Y Z

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

сложения с приведением по модулю 26 цифровых эквивалентов буквы со­ общения и лежащей под ней буквы ключа.

Шифр Вижинера обладает достаточно высокой надежностью закры­ тия только при использовании весьма длинных ключей, что сопряжено с определенными трудностями.

Шифр Вижинера с ключом, состоящим из одной буквы, известен как шифр Цезаря, а с неограниченным неповторяющимся ключом как шифр Вернама.

Ш ифрование гаммированием. В процессе шифрования цифро­ вые эквиваленты знаков криптографически закрываемого сообщения складываются с псевдослучайной последовательностью чисел, имену­ емой гаммой, и приводятся по модулю к, где к - объем алфавита зна­ ков. Таким образом, псевдослучайная последовательность выполняет здесь роль ключа.

Наиболее широко гаммирование используется для криптографичес­ кого закрытия сообщений, уже выраженных в двоичном коде.

В этом случае особенно просто реализуется устройство, выраба­ тывающее ключ. Оно представляет собой регистр сдвига с обратными связями. Соответствующим выбором обратных связей можно добить­ ся генерирования двоичных последовательностей, период повторения которых составляет 2"-1 символов, где п —число разрядов регистра. Такие последовательности называют псевдослучайными. С одной сто­ роны, они удовлетворяют ряду основных тестов на случайность, что существенно затрудняет раскрытие такого ключа, а с другой - явля­ ются детерминированными, что позволяет обеспечить однозначность дешифрования сообщения.

Надежность криптографического закрытия методом гаммирования определяется главным образом длиной неповторяющейся части гаммы.. Если она превышает длину закрываемого текста, то раскрыть криптограм­ му, опираясь только на результаты статистической обработки этого текста, теоретически невозможно.

Однако если удастся получить некоторое число двоичных символов исходного текста и соответствующих им двоичных символов криптограм­ мы, то сообщение нетрудно раскрыть, так как преобразование, осущест­ вляемое при гаммировании, является линейным. Для полного раскрытия достаточно всего 2п двоичных символов зашифрованного и соответству­ ющего ему исходного текста.

Современный стандартный метод шифрования данных. Рассмот­ рим теперь метод криптографического закрытия данных, удовлетворяю­ щий всем указанным ранее требованиям. Он является действующим стан­ дартом шифрования данных в США и удобен для защиты информации как при передаче данных, так и при их хранении в запоминающих уст­ ройствах.

В процессе шифрования последовательность символов определенной длины (64 бит) преобразуется в шифрованный блок той же длины. Опе­ рации шифрования и дешифрования осуществляется по схеме, предсгавленной на рис. 7.2.

Перед началом шиф­ рования в специализиро-' ванный регистр устройс­ тва через входной регистр вводится ключ, содержа­ щий 64 бит, из которых 56 используются для ге­ нерации субключей, а 8 являются проверочными.

Ключ из устройства вывести нельзя. Предусмотрена возможность формирования нового ключа внутри устройства. При этом ключ, вво­ димый в устройство, шифруется ранее использовавшимся ключом и затем через выходной регистр вводится в специальный регистр в ка­ честве нового ключа.

16 субключей по 48 бит каждый, сформированных в генерато­ ре субключей, используются для шифрования блока из 64 симво-

i = 7, M, вероятности которых {р(х.)| заданы. Обычно M> m, поэтому каж­ дый из сигналов, подлежащих передаче, невозможно обозначить только одним символом и приходится ставить им в соответствие некоторые пос­ ледовательности символов; назовем их кодовыми словами. Так как воз­ можна последовательная передача разных кодовых слов, то они не только должны различаться для разных хр но и не должны быть продолжением других, более коротких. Пусть сигналу х. соответствует кодовое слово дли­ ной pi символов.

Операция кодирования тем более экономична, чем меньшей длины кодовые слова сопоставляются сообщениям. Поэтому за характеристику экономичности кода примем среднюю длину кодового слова

Общие положения теории информации позволяют указать оптималь­ ные границы для средней длины L кодовых слов, которые ни при каком кодировании не могут быть уменьшены. Установим эти оптимальные границы для L из следующих соображений. Во-первых, количество ин­ формации, несомое кодовым словом, не должно быть меньше количества информации, содержащегося в соответствующем сообщении, иначе при кодировании будут происходить потери в передаваемой информации. Во-вторых, кодирование тем более экономично, чем большее количество информации содержит в себе каждый кодовый символ; это количество информации максимально, когда все кодовые символы равновероятны, и равно log т. При этом г-е кодовое слово будет нести количество информа­ ции, равное ц. log/и.

Таким образом,

- log Р(х,) < ц,- logm,

откуда

> -logP(x,.)

(7 .1 2 )

' logm

Умножив обе части последнего равенства на Р(х) и просуммировав по всем i от 1 до п, получим

Ш 1 logт

Так как правая часть неравенства (7.12), как правило, не является це­ лым числом, для достижения знака равенства в нем (с учетом экономности кода) необходимо, чтобы

log Р (Х '.)

где квадратными скобками обозначена целая часть числа, стоящего в них. Усредняя (7.13), получаем

~ЩХ)'

4пп < logт + 1.

Таким образом,

Так, из общих соображений находим нижние границы для L и р,

В теории информации доказываются теоремы об условиях достижи­ мости этих границ.

Соотношения (7.13) и (7.14) полностью отвечают на вопросы о при­ нципиальных возможностях оптимального кодирования при отсутствии шума и являются выражением основной теоремы для дискретных систем без шума.

Приведем без доказательства ^фундаментальную теорему Шеннона о кодировании при отсутствии шума.

При кодировании множества сигналов с энтропией Н{Х) в алфавите, насчитывающем т символов, при условии отсутствия шумов, средняя дли­ на кодового слова не может быть меньше чем Н{A)/log т. Если вероят­ ности сигналов не являются целочисленными отрицательными степенями числа т, то точное достижение указанной нижней границы невозможно; но при кодировании достаточно длинными блоками к этой границе можно сколь угодно приблизиться.

Фундаментальная теорема о кодировании при отсутствии шума яв­ ляется теоремой существования: она доказывает, что оптимальные коды существуют, но не дает никаких указаний на то как построить такой код.

Из теоремы однако вытекает, что для достижения минимальной средней длины кодового слова необходимо стремиться к тому, чтобы кодовые символы были равновероятными и статистически независи­ мыми друг от друга. То есть для обеспечения минимальности средней

длины кодового слова избыточность в кодовых словах должна быть сведена к минимуму (желательно - к нулю). Если требования неза­ висимости и равновероятности символов почему-либо невыполнимы, то, чем лучше они выполняются, тем ближе к оптимальному код.

Приведем два известных способа построения кодов, которые позволяют приблизиться к равновероятности и независимости кодо­ вых символов.

1. Код Шеннона - Фано. Для составления этого кода все сообще­ ния х. (r = 1, 2,..., п) выписываются в порядке убывания их вероятнос­

тей (табл. 7.4).

Записанные так сообщения затем разбиваются на две по возмож­ ности равновероятные подгруппы. Всем сообщениям, входящим в первую подгруппу, приписывают цифру 1 в качестве первого кодового символа, а сообщениям, входящим во вторую подгруппу, - цифру 0. Аналогичное деление на подгруппы продолжается до тех пор, пока в каждую подгруппу не попадет по одному сообщению.

Убедимся, что таким образом найденный код весьма близок к опти­ мальному. В самом деле, энтропия сообщений

а д = - £ а д 1оёа д « 2 ,7 5 , /=|

а средняя длина кодового слова

L = £ ц,.Р(*) = 2,84,

/=1 что находится в соответствии с оптимальным характером этого кода.

Заметим, что описанный метод построения эффективного кода Шеннона-Фано может быть распространен и на коды с основанием больше двух.

вероятностные связи между блоками меньше, чем между отдельны­ ми элементами сообщения. При этом вероятностные зависимости тем меньше, чем длиннее блоки.

7.6. Основная теорема Шеннона для дискретного канала без шумов

Основная теорема Шеннона для дискретного канала без шумов дает ответ на вопрос о том, в какой мере скорость передачи информа­ ции может быть приближена к пропускной способности информаци­ онного канала. Она может быть сформулирована в следующем виде.

Теорема 2. Если поток информации, вырабатываемой источником,

(7.15)

где е может быть как угодно малым, то всегда можно найти такой спо­ соб кодирования, который обеспечит передачу всех сообщений, выра­ батываемых источником, причем скорость передачи информации

1=Сс - 8. (7.16)

Обратное утверждение заключается в том, что невозможно обес­ печить длительную передачу всех сообщений источника, у которого

Н (Х) > Сс.

Приведемнекоторые рассуждения, которые позволят лучше уяснить ее суть. Если Хи - средняя длительность одного сообщения, то при доста­ точно большом Т возможна передача М= 7Ут( различных сообщений.

Из (6.12а) следует, что число типичных последовательностей хТ сооб­ щений длительностью Т

В то же время на основании (7.7) можно утверждать, что число раз­ личных последовательностей кодированных сигналов у тдлительностью Т при большом Т равно NJ{T) ~ 2сстили, учитывая (7.15),

Последнее означает, что эти последовательности сигналов обеспечи­ вают кодирование всех типичных последовательностей сообщений при скорости передачи информации, близкой к С., ибо для каждой типичной

последовательности сообщений хтможет быть выбран некоторый сигнал ути остается еще небольшой резерв сигналов длительностью Т. Что ка­ сается нетипичных последовательностей сообщений, то суммарная веро­ ятность их очень мала и на скорость передачи информации они влияния не оказывают. Эти последовательности могут кодироваться сигналами с большой длительностью (с большим числом символов).

Нетрудно убедиться в справедливости обратного утверждения теоремы. Если Н(Х) > С, то число различных последовательностей сигналов оказывается недостаточным для кодирования типичных пос­ ледовательностей сообщений.

Существенно обратить внимание на то обстоятельство, что для прибли­ жения скорости передачи информации к пропускной способности в общем случае требуется кодировать последовательность сообщений с большой дли­ тельностью - Т. Кодирование длинных последовательностей сообщений вы­ зывает: значительное усложнение кодирующих и декодирующих устройств, задержку во времени передачи. Величина этой задержки может достигать 2Т.

Контрольные вопросы

1.Назовите основные характеристики дискретного канала.

2.Что называется пропускной способностью канала? Чему она равна для двоичного канала без помех?

3.Какие требования предъявляются к современным методам криптог­ рафического закрытия информации?

4.В чем суть эффективного статистического кодирования?

5.Сформулируйте и поясните основную теорему Шеннона о кодиро­ вании для канала без помех.

6.За счет чего при эффективном кодировании уменьшается средняя длина кодовой комбинации?

7.До какого предела может быть уменьшена средняя длина кодовой комбинации при эффективном кодировании?

8.В чем преимущество методики построения эффективного кода, предложенной Хаффманом, по сравнению с методикой Шеннона-Фано?

9.Каким основным условиям должны удовлетворять эффектив­ ные коды?

10.Перечислите сложности, возникающие при использовании эф­ фективных кодов.

8.ДИСКРЕТНЫЕ КАНАЛЫ С ШУМАМИ

8.1.Модель канала связи, в котором действуют шумы

Ввиду наличия шумов в канале передачи информации нарушает­ ся соответствие между переданными и принятыми сообщениями. Чем выше уровень шумов, тем сильнее нарушается это соответствие. На­ иболее интересные и важные результаты теории информации были по­ лучены при рассмотрении передачи информации по каналам связи с шумами. В этом случае безызбыточное кодирование приведет к безвоз­ вратным потерям информации: искаженный символ нельзя ни обнару­ жить, ни исправить. Для борьбы с влиянием помех необходимо ввести избыточность в сигнал. Основываясь на интуитивных соображениях (например, на опыте многократного повторения), легко прийти к выво­ ду, что при неограниченном повышении требований к малости вероят­ ности ошибки избыточность при любом способе кодирования должна неограниченно возрастать, а скорость передачи - стремиться к нулю. Здесь мы имеем яркий пример того, как сильно интуиция может при­ вести к заблуждению. Шеннон показал, что существуют такие способы введения избыточности, при которых обеспечиваются одновременно и сколь угодно малая вероятность ошибки, и конечная (отличная от нуля) скорость передачи информации, причем эта скорость может быть сколь угодно близкой к пропускной способности канала.

Воздействие различного рода помех и собственных шумов (в об­ щем случае будем говорить о шумах) на всякий реальный канал связи приводит к искажению передаваемых сигналов, в результате чего, по­ лучив сигнал на приемной стороне, мы не можем с полной достовер­ ностью утверждать, какое сообщение было передано, ибо искажение сигнала шумами может привести к тому, что при передаче сообщения

на приемной стороне будет зарегистрировано некоторое другое со­ общение х., гдеj не совпадает с /.

Пусть, например, множество возможных значений входного сиг­ нала дискретного канала, образующие внешний алфавит системы, рав­

При отсутствии помех в канале связи ошибок не происходит, что позволяет по принятому символу у. точно (безошибочно) восстановить символ Хг Действие помех разрушает однозначность отображения ф. Переданный символ х. в принципе при наличии помех может быть принят в виде любого символа алфавита Y (рис. 8.1 б). В то же время если получен символ у., то достоверно это означает лишь тот факт, что был передан один из возможных символов алфавита X (рис. 8.1 в).

??

Ут

Рис. 8.1. П ередача сигналов по дискретному каналу

Если нам известны априорные статистические характеристики ис­ точника сообщений, а также характеристики помех, воздействующих на канал, то, получив сообщение, мы можем лишь узнать новое апос­ териорное распределение вероятности передачи различных сообщений, с помощью которого можно вычислить вероятность правильного реше­ ния о том, какое из возможных сообщений было передано. Таким обра­ зом, работа информационного канала с математической точки зрения, в конечном счете, сводится к изменению на приемной стороне распре­ деления вероятностей передачи различных сообщений.

Ясно, что на практике мы не можем довольствоваться лишь вычисле­ нием апостериорного распределения, а аппаратура всегда строится таким образом, что в ней с тем или иным риском (вероятностью ошибки) прини­ мается решение о том, какое сообщение было передано.

В схеме рис. 7.1 в случае воздействия помех нет однозначного соот­ ветствия между сигналами на входе канала связи (у) и сигналами на его выходе (z). При передаче сигнала yi выходные сигналы (z) могут прини­ мать различные значения в зависимости от того, каков был шум в момент приема. В общем случае сигнал z может принимать непрерывное (беско­ нечно большое число) множество различных значений.

Для ослабления действия шумов в информационную систему вводятдва дополнительных устройства - кодер П и декодер I (рис. 8.2). Назначение второ­ го кодера состоит в реализации помехоустойчивого кодирования сигналов.

Назначение декодера I состоит в том, чтобы восстанавливать по принятому сигналу соответствующий сигнал на выходе кодера I.

Рис. 8.2. Блок-схема дискретного канала связи с шумами

Функции, выполняемые кодером I и декодером И, такие же, как в схеме на рис. 7.1.

Рассмотрим передачу дискретных сообщений по каналу с шумом более подробно. Для этого воспользуемся представлениемсигналовв линейномпро­ странстве. Ранее была определена математическая модель сигнала в виде абс­ трактного математического пространства (пространства сигналов).

Естественно, что в пространстве сигнала точек должно быть не мень­ ше, чем возможных сообщений источника информации. При равенстве числа точек и числа возможных сообщений между элементами пространс­ тва сигналов и элементами множества возможных сообщений устанавли­ вается одно из возможных взаимно однозначных соответствий - некоторое отображение множества возможных сообщений в пространство сигнала. Это отображение реализуется в передатчике системы связи в форме со­ ответствующего правила преобразования сообщения в сигнал. Сигналы, представляемые в пространствах, число элементов которых равно числу возможных сообщений, обладают низкой устойчивостью к помехам.

Для повышения помехоустойчивости процесса передачи информации в системах связи используют сигналы с большим числом состояний, чем это необходимо для кодирования всех возможных сообщений, и, следова­ тельно, число точек соответствующих пространств превышает число воз­ можных сообщений. Тоща возникает вопрос: какие точки пространства сигнала сопоставлять возможным сообщениям источника информации?

На данный вопрос нельзя ответить однозначно. Ответ зависит от мно­ гих факторов: от статистических свойств потока сообщений, соотношения энергетических характеристик сигнала и помехи, статистических свойств помехи и др. Тем не менее имеются некоторые общие предпосылки.

Кодер вносит в сигналы избыточность, увеличивая длительность кодовых слов.

Число возможных последовательностей сразу резко увеличивает­ ся, но избыточность и состоит в том, что к отправке предназначаются не все из них, а лишь разрешенные. Число всевозможных последо­

вательностей длины п равно 2"Н(Х), а число разрешенных к отправке 2"н < 2"',{Х) (считаем, что энтропия исчисляется в битах); Н - энтропия на символ во множестве разрешенных к отправке последовательнос­ тей («энтропия источника», или «скорость создания информации»), Н(Х) - энтропия на символ во множестве всевозможных последова­ тельностей. В результате воздействия шумов какие-то из символов отправленной последовательности подменяются другими и на прием­ ный конец поступает другая, отличная от отправленной, последова­ тельность. Поскольку р(х\у) считается известным, каждой принятой последовательности соответствует 2яЯ(Л,У) возможно отправленных.

Декодирование (т.е. принятие решения о том, какая последова­ тельность была отправлена) можно выразить как разбиение всего множества У принимаемых последовательностей на 2"н подмножеств, сопоставляемых с разрешенными к отправке: если, например, принят сигнал г-й группы, то считается, что был послан г-й разрешенный сиг­ нал, который тут же выдается в «чистом» виде получателю.

Рассмотрим вопрос о введении избыточности вторым кодирую­ щим устройством на примере равномерного кода.

Пусть на выходе кодера I появляются двоичные кодовые слова одинаковой длины р, соответствующие передаваемым сообщениям. Чтобы декодер I имел возможность обнаруживать и исправлять ошиб­ ки, 2-е кодирующее устройство по некоторому правилу добавляет рк корректирующих двоичных символов к каждому кодовому слову, поступающему на его вход. В результате получаются кодовые слова длиной р + рА: символов, которые затем передаются по линии связи с шумами, где некоторые символы искажаются (символ «1» подменя­ ется символом «О», а символ «О» - символом «1»).

При этом число различных передаваемых кодовых слов меньше числа всех возможных кодовых слов, получаемых на выходе линии связи, т. е.

слова, a NQ- N кодовых слов - запрещенные. Если в результате ошибок переданное (разрешенное) кодовое слово перейдет в одно из запрещенных, ошибка будет обнаружена декодером I при усло­ вии, что в его запоминающем устройстве хранятся все разрсшен-

ные кодовые слова. Если же в результате ошибок переданная ком­ бинация превращается в одну из разрешенных, ошибка декодером I не обнаруживается.

Таким образом, корректирующий код, удовлетворяющий усло­ вию (8.1), способен в N(N0- N) случаях обнаруживать ошибки из об­ щего числа NJV. Однако если N « Nn, разрешенные комбинации могут быть выбраны с учетом вероятностных свойств шума так, чтобы веро­ ятность получения ошибочной разрешенной комбинации была очень мала. Другими словами, при N « N 0B результате ошибочного приема отдельных символов принятое кодовое слово, как правило, окажется запрещенным, что и укажет на ошибку.

Для принятия однозначного решения о том, какое кодовое слово было отправлено, в общем случае все множество принимаемых кодо­ вых слов N0 разбивается по некоторому правилу на N подмножеств. Каждое подмножество отождествляется с одним из разрешенных кодо­ вых слов. Если, например, принятое кодовое слово попало в i-e подмно­ жество, считается, что было передано /-е кодовое слово. Задача состоит в том, чтобы выяснить, существуют ли такие правила введения кор­ ректирующих символов в передаваемые кодовые слова и разбиения на подмножества всех возможных принимаемых кодовых слов, при кото­ рых вероятность ошибочного приема будет как угодно мала, а скорость передачи как угодно близка к пропускной способности линии связи.

Эта задача в общем виде разрешается теоремами Шеннона о коди­ ровании в присутствии шумов.

8.2. Количество информации, передаваемой по каналу связи. Взаимная информация и ее свойства

Количество информации, передаваемое по дискретному кана­ лу связи, может быть определено через информационные характе­ ристики ансамблей сообщений на входе и выходе канала, условные и совместные энтропии этих ансамблей. Свойства энтропии, ус­ ловной энтропии кладутся в основу при введении важной теоре­ тико-информационной характеристики канала - взаимной инфор­ мации между сообщениями на его входе и выходе. Действительно, поскольку при наличии статистической связи между элементами

а и Ь ансамбля {АВ,р(а,Ь)} значение условной энтропии Н(А \ В) в общем случае меньше безусловной и не превосходит ее, т.е. пос­

можно полагал., что наличие сведений о значении Ьснижает в среднем перво­ начальную неопределенность относительно ансамбля А. Назовем величину

количеством информации в сообщении Ъ £ В о сообщении а £ А. (Предполагается, что в ансамбле {АВ,р(а;Ъ)} не существует элементов с нулевыми вероятностями.)

Поскольку

р(а,Ь) =р{а) р(Ь\а) =р(Ъ)р(а\Ь),

т.е. количество информации в сообщении а о сообщении b равно ко­ личеству информации в сообщении b о сообщении а. Введенное этим определением количество информации является симметрической функцией пары сообщений. Поэтому величину i(a; Ъ) называют коли­ чеством взаимной информации между сообщениями a u b или просто взаимной информацией между этими сообщениями.

Формулам (8.3) и (8.4) можно придать симметрическую форму

i(a;b)log-р(а)р{Ь)'р{а,ь)

(8.5) Определенная таким образом взаимная информация между сооб­

щениями а и Ъявляется случайной величиной на ансамбле АВ. Введем в рассмотрение ее математическое ожидание (см. § 5.7).

Математическое ожидание случайной величины i(a, b) называет­ ся средним количеством взаимной информации или просто взаимной информацией между ансамблями А и В и обознчается через 1{А, В):

/(/4,fi)= A/[i(<j;i)] = ^ /> (a .;* )lo g ^ ip .

*Р{°) (8.6)

Поскольку взаимная информация между сообщениями была опре­ делена как разность собственных информации (безусловной и услов­ ной), а математическое ожидание собственной информации является по определению энтропией ансамбля, то можно записать:

Основные свойства средней взаимной информации между дис­ кретными ансамблями. Наряду с уже отмеченным свойством симмет­ рии 1{А;В) = 1(В;А), сформулируем следующие свойства, вытекающие из определения (8.6) и свойств 2 и 3 условной энтропии (см. гл. 5):

-средняя взаимная информация неотрицательна: 1(А; В) > О, причем равенство имеет место тогда и только тогда, когда элементы ансамблей а е А и b е В статистически независимы. Доказательство этого утверждения можно провести, используя свойство (In* < .г-1 ) натурального логарифма;

-средняя взаимная информация между ансамблями^ и В не пре­ восходит значений энтропии этих ансамблей:

I (А;В) < Н(А); I (А;В) < Н(А) (8.8) причем равенства в (8.8) имеют место, когда каждому фиксированно­ му значению а е А с вероятностью 1 соответствует определенное зна­ чение b е В и наоборот.

Одно из важнейших свойств средней взаимной информации за­ ключается в том, что в процессе преобразований сигналов в различных блоках канала она не может увеличиваться [1]. Это свойство может быть истолковано следующим образом. Пусть В — множество воз­ можных сигналов на выходе некоторого блока канала, а А — множес­ тво различных передаваемых сообщений. Доказывается, что никакая обработка наблюдаемых сигналов, при которой производится детер­ минированное или случайное их преобразование, не может увеличить средней информации об интересующем нас объекте. Количество ин­ формации сохраняется, если преобразование обратимо.

8.3. Пропускная способность дискретного канала связи с шумами

Соотношения (7.1) - (7.3), определяющие скорость передачи и пропускную способность канала и линии связи, являются общими, и поэтому они применимы как для дискретных, так и для непрерыв­ ных каналов, как для каналов без шумов, так и для каналов с шумами. Разница заключается в способе вычисления количества информации, содержащейся в последовательности выходных сигналов Zp о вход­ ных сигналах Yp т.е. 7(Zr Уг).

При определении скорости передачи информации по (7.3’) учтем,

что Mml— ] = х ,; при этом, как и ранее, тг - средняя длительность сиг­

нала одного сообщения. Тогда получим

где

„ ( г у г у . а Ш .

и

Тс

Повторяя рассуждения, аналогично найдем

В последнем равенстве H (Y ) - поток информации на выходе ко­

дирующего устройства, Н (У |Z ) характеризует потерю информации, обусловленную действием помех.

Из найденных соотношений и (7.3) следует, что пропускная спо­ собность канала связи при наличии помех может быть определена из условия

Оба определения равноправны и дают одно и то же значение Сс. Использование того или иного определения диктуется удобством ана­ лиза. При отыскании оптимальных статистических характеристик пе­ редаваемых сигналов (у) необходимо иметь в виду следующее.

Характерные состояния выхода канала связи (Qk, Q) могут опре­ деляться двумя обстоятельствами:

а) наличием фиксированных ограничений, т.е. запретов, накладывае­ мых на допустимую последовательность передачи различных сигналов;

б) коррелятивными связями между символами, вызываемыми действием шумов.

Каналы, у которых на каждый передаваемый сигнал (символ) шум воздействует независимо от того, какие сигналы передавались ранее, называются каналами без памяти. В этих каналах шумы не вызывают дополнительных коррелятивных связей между сигналами. В настоя­ щее время основные выводы теории информации получены примени­ тельно к каналам без памяти.

Проиллюстрируем вычисление пропускной способности канала на следующем примере.

Пусть требуется определить пропускную способность канала свя­ зи, по которому передаются двоичные сигналы со скоростью v , если вероятность превращения в результате действия помех каждого из этих сигналов в противоположный равна р (вероятность правильного приема, следовательно, 1 -р ). Передаваемые сигналы предполагаются

Средняя условная энтропия

H(Y X ) =- Z Р(x i )£ РO '/ Iх /) |о8 Р(V/Iх / )=

м

= -р (х, )[(1 - p)\0g(1 - р)+ р log/>] - р (х2)[/• log р + (1 - p)\og(1 - //)] =

=-[p(xi)+P(х2>] [р 1о8 Р +0 - /0 |о80 - /*)]•

Но/>(*,) +р(х2) = 1.

Поэтому

H(Y\X) = - р \о %р - (1 - р ) log (1 -р).

Отсюда видно, что H(Y\X) не зависит от характеристик источ­ ника, т.е. от р(х) и р(х}), и определятся только помехами в канале передачи.

Максимальное количество информации на один символ получа­ ется, следовательно, при таком распределении вероятностей p(xi), при котором оказывается максимальным член Я(У). Но Я(У) не может пре­ восходить величины

При р = 1 также имеем детерминированный случай, когда сигналы х, переводятся в сигналы х2 и наоборот с вероятностью, равной едини­ це. При этом пропускная способность канала также максимальна.

Минимальное значение пропускная способность имеет при /7= 1/2

(С4 max = 0 )' .

Если на вход канала подаются сигналы от всех возможных источ­ ников дискретных сообщений с одинаковым количеством символов в единицу времени и = 1/Г и числом элементарных символов т, то вы­ ражение для С и, соответственно, для пропускной способности канала в расчете на единицу времени выглядит так:

Отсюда при т = 2 имеем (8.19).

8.4. Теоремы о кодировании в присутствии шумов

Результаты исследований, проведенных К. Шенноном и сфор­ мулированные им в виде теорем, показали, что во-первых, как бы ни были сильны шумы, можно создать условия, при которых воз­ можна передача информации при сколь угодно малой вероятности ошибки (Первая и обратная теоремы); и, во-вторых, при этом не

потребуется прогрессивно понижать среднюю скорость передачи информации при повышении требований к малости вероятности ошибки (вторая теорема).

Уточним условия работы системы связи, о которых будет идти речь. Имеется в виду стационарная система связи при определенном предположении о соотношении между скоростью создания информа­ ции (производительностью источника) Я и пропускной способностью С канала (Я < Q . Предполагается, что потоки информации стационар­ ны и емкости запоминающих устройств кодирующей и декодирующей систем ограничены. Стационарность сигналов на входе системы связи позволяет рассматривать кодирование блоками произвольной длины. Далее, для простоты будем считать, что между последовательными ошибками не существует корреляции, вероятность искажения не зави­ сит от того, был ли искажен предыдущий символ («канал без памяти»).

П ервая теорема Ш еннона о кодировании в присутствии шумов.

При любой производительности источника сообщений Н, мень­ шей, чем пропускная способность канала С, существует такой спо­ соб кодирования, который позволяет обеспечить передачу всей ин­ формации, создаваемой источником сообщений, со сколь угодно малой вероятностью ошибки.

Хотя доказательство этой теоремы, предложенной Шенноном, в дальнейшем подвергалось более глубокому и строгому математи­ ческому представлению]; 19], идея его осталась неизменной. Доказы­ вается только существование искомого способа кодирования, для чего находят среднюю вероятность ошибки по всем возможным способам кодирования и показывают, что она может быть сделана меньше сколь угодно малой величины е. При этом существует хотя бы один способ кодирования, для которого вероятность ошибки меньше средней.

Доказательство теоремы. Пусть Я(х) и Н(х/ у) —априорная и апос­ териорная энтропии на символ (со стороны приемного конца) для сис­ темы, реализующей пропускную способность С канала. В силу свойс­ тва Е при достаточно большой длительности (и символов) передачи все возможные любого ансамбля распадаются на высоковероятную и маловероятную группы; при этом о количестве сигналов в соответс­ твующих группах можно сделать следующие утверждения:

а) группа высоковероятных передаваемых сигналов содержит око­ ло последовательностей.

т.е. что при случайном кодировании достаточно длинными блоками средняя вероятность ошибки может быть сделана сколь угодно малой. Утверждение о существовании по крайней мере одного кода, дающего вероятность ошибки меньше средней, завершает доказательство.

Отметим, что равенство (8.25) справедливо при любом, сколь угодно малом положительном т|. Это означает, что теорема допускает условие Н < С.

Это и придает особый смысл понятию пропускной способности: про­ пускная способность оказывается не просто максимально возможной ско­ ростью передачи информации, но максимальной скоростью, при которой еще возможна передача со сколь угодно малой вероятностью ошибки.

В торая теорем а Ш еннона о кодировании в присутствии шумов. Для обеспечения достаточной помехоустойчивости при­ ходится вводить в передаваемый сигнал избыточность, уменьшая тем самым скорость передачи информации. Вполне естественно опасение, что при усилении ограничений на малость вероятности ошибки необходимая избыточность будет возрастать, прогрессив­ но снижая скорость передачи информации, возможно, до нуля. Од­ нако все сомнения снимаются второй теоремой Ш еннона о кодиро­ вании для каналов с шумами, которая может быть сформулирована следующим образом.

Теорема. При условии Н < С среди кодов, обеспечивающих (соглас­ но первой теореме) сколь угодно малую вероятность ошибки, сущес­ твует код, при котором скорость передачи информации R сколь угод­ но близка к скорости создания информации Н,

Скорость передачи информации (на символ) определяется как

где Н{х/у) - апостериорная энтропия отправленного сигнала на символ, или рассеяние информации в канале.

Доказательство теоремы (см. [7]) начинается с утверждения о том, что минимальная необходимая избыточность на символ равна Н(х/у) добавочных символов. Далее показывают, что код можно выбрать так, чтобы Н(х/у) была сколь угодно малой величиной.

Обсуждение теорем. В первую очередь отметим фундаменталь­ ность полученных результатов. Теоремы устанавливает теоретический предел возможной эффективности системы при достоверной переда­ че информации. Опровергнуто казавшееся интуитивно правильным представление о том, что достижение сколь угодно малой вероятнос­ ти ошибки в случае передачи информации по каналу с помехами воз­ можно лишь при введении бесконечно большой избыточности, т.е. при уменьшении скорости передачи до нуля. Из теорем следует, что помехи в канале не накладывают ограничений на точность передачи. Ограни­ чение накладывается только на скорость передачи, при которой может быть достигнута сколь угодно высокая достоверность передачи.

Теоремы неконструктивны в том смысле, что в них не затрагивает­ ся вопрос о путях построения кодов, обеспечивающих указанную иде­ альную передачу. Однако, обосновав принципиальную возможность такого кодирования, они мобилизовали усилия ученых на разработку конкретных кодов.

Следует отметить, что при любой конечной скорости передачи инфор­ мации вплоть до пропускной способности сколь угодно малая вероятность ошибки достигается лишь при безграничном увеличении длительности кодируемых последовательностей знаков. Таким образом, безошибочная передача при наличии помех возможна лишь теоретически.

Обеспечение передачи информации с весьма малой вероятнос­ тью ошибки и достаточно высокой эффективностью возможно при кодировании чрезвычайно длинных последовательностей знаков. На практике степень достоверности и эффективности ограничивается двумя факторами: размерами и стоимостью аппаратуры кодирования и декодирования и временем задержки передаваемого сообщения. В настоящее время используются относительно простые методы ко­ дирования, которые не реализуют возможностей, указанных теорией. Однако постоянно растущие требования в отношении достовернос­ ти передачи и успехи в технологии создания больших интегральных схем способствуют внедрению для указанных целей все более слож­ ного оборудования.

Следует, однако, иметь в виду, что теоремы для дискретных каналов с шумами, так же как и теорема 2 для каналов без шумов, не утвержда­ ет, что кодирование длинных последовательностей сообщений является единственным методом эффективного кодирования. Смысл этих теорем состоит в утверждении существования эффективных методов кодирования и в установлении количественных пределов максимально возможной ско­ рости передачи информации. В связи с этим важными являются не только прямые, но и обратные утверждения этих теорем. Из доказательства тео­ рем вытекает лишь, что кодированием достаточно длинных последователь­ ностей сообщений всеща можно как угодно близко подойти к максимально возможной скорости передачи сообщений (при минимальной вероятности ошибки для каналов с шумами). Последнее, однако, не означает, что не мо­ гут существовать другие способы эффективного кодирования. Наоборот, на ряде частных примеров можно показать, что такие способы существуют.

К сожалению, в настоящее время не найдено еще общих способов построения эффективных кодов для каналов с шумами, удовлетворя­ ющих различным требованиям практики. Постепенно такие способы выявляются. Весьма интересным и важным является утверждение те­ оремы о том, что в канале с шумами при сколь угодно малой нена­ дежности передачи сообщений (ц —>0) скорость передачи информации может быть как угодно близкой к СС. Ранее господствовало мнение, основанное на интуитивных соображениях, что при этих требованиях скорость передачи информации должна неограниченно уменьшаться.

Фундаментальное значение теорем состоит в том, что они позволяют, зная предельные (теоретические) значения скорости передачи информа­ ции СС, оценить эффективность используемых методов кодирования.

Итак, приведенные теоремы являются теоремами существования. Из доказательства этих теорем не следует, каким образом построить код и произвести декодирование, чтобы вероятность ошибки была какугод­ но мала, а скорость передачи как угодно близка к пропускной способности

линии связи. Теоремы носят асимптотический характер, т.е. не являются конструктивными. Однако уже само знание потенциальных возможнос­ тей имеет огромное значение: сравнение характеристик реальных систем с теоретическими пределами позволяет судить о достигнутом уровне и о целесообразности дальнейших затрат на его повышение. Прикладные же вопросы рассматриваются в специальном разделе теории информации - теории кодирования, которая изучает способы построения конкретных

кодов и их свойства, в частности точные или граничные зависимости ве­ роятностей ошибок от параметров кода.

Обратная теорема Шеннона для каналов с шумами. Обратная тео­ рема указывает условия, которые возникают при передаче информации по каналу с шумами со скоростью, превышающей пропускную способность.

Теорема. Если скорость создания информации Н больше пропус­ кной способности канала С, то никакой код не может сделать веро­ ятность ошибки сколь угодно малой. Минимальное рассеяние инфор­ мации на символ, достижимое при Н > С, равно Н - С; никакой код не может обеспечить меньшего рассеяния информации.

С доказательством обратной теоремы Шеннона можно ознако­ миться в [4].

Обратная теорема утверждает, что при Н> С безошибочная передача невозможна; при этом чем больше отношение Я / С, тем больше остаточ­ ная неопределенность Н(х/у). Последняя связана с вероятностью ошибки при приеме. Естественно возникает вопрос о том, как связана минималь­ ная вероятность ошибки, достигаемая при наилучшем кодировании, с от­ ношением Н / С. Для бинарного канала решение приведено в [7]. При к = Н/С < 1 вероятность ошибки е(к ) = 0 согласно первой теореме. При к —> оо е(к) —* 0,5, что означает, что доля передаваемой информации из всей поступающей на вход канала стремится к нулю при к —у со; чем быстрее ведется передача, тем меньшее количество информации передается.

Контрольные вопросы

1.Дайте обоснование необходимости введения избыточности при кодировании в канале с помехами.

2.Как определяется среднее количество информации (на один символ), переданной по дискретному каналу с шумами?

3.Как определяется скорость передачи и пропускная способность канала с помехами?

4.Сформулируйте и поясните прямую и обратную теоремы Шен­ нона о кодировании для канала с помехами.

5.Какие соотношения следуют из теоремы об асимптотической

равновероятности достаточно длинных типичных цепочек для стаци­ онарных каналов с шумами?

6.Какова причина целесообразности кодирования длинных пос­ ледовательностей символов?

7.Какой формулой определяется пропускная способность двоич­

ного симметричного канала без памяти, при каком условии пропуск­ ная способность этого канала обращается в нуль?