книги / Теория информации

т.е. что при случайном кодировании достаточно длинными блоками средняя вероятность ошибки может быть сделана сколь угодно малой. Утверждение о существовании по крайней мере одного кода, дающего вероятность ошибки меньше средней, завершает доказательство.

Отметим, что равенство (8.25) справедливо при любом, сколь угодно малом положительном т|. Это означает, что теорема допускает условие Н < С.

Это и придает особый смысл понятию пропускной способности: про­ пускная способность оказывается не просто максимально возможной ско­ ростью передачи информации, но максимальной скоростью, при которой еще возможна передача со сколь угодно малой вероятностью ошибки.

В торая теорем а Ш еннона о кодировании в присутствии шумов. Для обеспечения достаточной помехоустойчивости при­ ходится вводить в передаваемый сигнал избыточность, уменьшая тем самым скорость передачи информации. Вполне естественно опасение, что при усилении ограничений на малость вероятности ошибки необходимая избыточность будет возрастать, прогрессив­ но снижая скорость передачи информации, возможно, до нуля. Од­ нако все сомнения снимаются второй теоремой Ш еннона о кодиро­ вании для каналов с шумами, которая может быть сформулирована следующим образом.

Теорема. При условии Н < С среди кодов, обеспечивающих (соглас­ но первой теореме) сколь угодно малую вероятность ошибки, сущес­ твует код, при котором скорость передачи информации R сколь угод­ но близка к скорости создания информации Н,

Скорость передачи информации (на символ) определяется как

где Н{х/у) - апостериорная энтропия отправленного сигнала на символ, или рассеяние информации в канале.

Доказательство теоремы (см. [7]) начинается с утверждения о том, что минимальная необходимая избыточность на символ равна Н(х/у) добавочных символов. Далее показывают, что код можно выбрать так, чтобы Н(х/у) была сколь угодно малой величиной.

Обсуждение теорем. В первую очередь отметим фундаменталь­ ность полученных результатов. Теоремы устанавливает теоретический предел возможной эффективности системы при достоверной переда­ че информации. Опровергнуто казавшееся интуитивно правильным представление о том, что достижение сколь угодно малой вероятнос­ ти ошибки в случае передачи информации по каналу с помехами воз­ можно лишь при введении бесконечно большой избыточности, т.е. при уменьшении скорости передачи до нуля. Из теорем следует, что помехи в канале не накладывают ограничений на точность передачи. Ограни­ чение накладывается только на скорость передачи, при которой может быть достигнута сколь угодно высокая достоверность передачи.

Теоремы неконструктивны в том смысле, что в них не затрагивает­ ся вопрос о путях построения кодов, обеспечивающих указанную иде­ альную передачу. Однако, обосновав принципиальную возможность такого кодирования, они мобилизовали усилия ученых на разработку конкретных кодов.

Следует отметить, что при любой конечной скорости передачи инфор­ мации вплоть до пропускной способности сколь угодно малая вероятность ошибки достигается лишь при безграничном увеличении длительности кодируемых последовательностей знаков. Таким образом, безошибочная передача при наличии помех возможна лишь теоретически.

Обеспечение передачи информации с весьма малой вероятнос­ тью ошибки и достаточно высокой эффективностью возможно при кодировании чрезвычайно длинных последовательностей знаков. На практике степень достоверности и эффективности ограничивается двумя факторами: размерами и стоимостью аппаратуры кодирования и декодирования и временем задержки передаваемого сообщения. В настоящее время используются относительно простые методы ко­ дирования, которые не реализуют возможностей, указанных теорией. Однако постоянно растущие требования в отношении достовернос­ ти передачи и успехи в технологии создания больших интегральных схем способствуют внедрению для указанных целей все более слож­ ного оборудования.

Следует, однако, иметь в виду, что теоремы для дискретных каналов с шумами, так же как и теорема 2 для каналов без шумов, не утвержда­ ет, что кодирование длинных последовательностей сообщений является единственным методом эффективного кодирования. Смысл этих теорем состоит в утверждении существования эффективных методов кодирования и в установлении количественных пределов максимально возможной ско­ рости передачи информации. В связи с этим важными являются не только прямые, но и обратные утверждения этих теорем. Из доказательства тео­ рем вытекает лишь, что кодированием достаточно длинных последователь­ ностей сообщений всеща можно как угодно близко подойти к максимально возможной скорости передачи сообщений (при минимальной вероятности ошибки для каналов с шумами). Последнее, однако, не означает, что не мо­ гут существовать другие способы эффективного кодирования. Наоборот, на ряде частных примеров можно показать, что такие способы существуют.

К сожалению, в настоящее время не найдено еще общих способов построения эффективных кодов для каналов с шумами, удовлетворя­ ющих различным требованиям практики. Постепенно такие способы выявляются. Весьма интересным и важным является утверждение те­ оремы о том, что в канале с шумами при сколь угодно малой нена­ дежности передачи сообщений (ц —>0) скорость передачи информации может быть как угодно близкой к СС. Ранее господствовало мнение, основанное на интуитивных соображениях, что при этих требованиях скорость передачи информации должна неограниченно уменьшаться.

Фундаментальное значение теорем состоит в том, что они позволяют, зная предельные (теоретические) значения скорости передачи информа­ ции СС, оценить эффективность используемых методов кодирования.

Итак, приведенные теоремы являются теоремами существования. Из доказательства этих теорем не следует, каким образом построить код и произвести декодирование, чтобы вероятность ошибки была какугод­ но мала, а скорость передачи как угодно близка к пропускной способности

линии связи. Теоремы носят асимптотический характер, т.е. не являются конструктивными. Однако уже само знание потенциальных возможнос­ тей имеет огромное значение: сравнение характеристик реальных систем с теоретическими пределами позволяет судить о достигнутом уровне и о целесообразности дальнейших затрат на его повышение. Прикладные же вопросы рассматриваются в специальном разделе теории информации - теории кодирования, которая изучает способы построения конкретных

кодов и их свойства, в частности точные или граничные зависимости ве­ роятностей ошибок от параметров кода.

Обратная теорема Шеннона для каналов с шумами. Обратная тео­ рема указывает условия, которые возникают при передаче информации по каналу с шумами со скоростью, превышающей пропускную способность.

Теорема. Если скорость создания информации Н больше пропус­ кной способности канала С, то никакой код не может сделать веро­ ятность ошибки сколь угодно малой. Минимальное рассеяние инфор­ мации на символ, достижимое при Н > С, равно Н - С; никакой код не может обеспечить меньшего рассеяния информации.

С доказательством обратной теоремы Шеннона можно ознако­ миться в [4].

Обратная теорема утверждает, что при Н> С безошибочная передача невозможна; при этом чем больше отношение Я / С, тем больше остаточ­ ная неопределенность Н(х/у). Последняя связана с вероятностью ошибки при приеме. Естественно возникает вопрос о том, как связана минималь­ ная вероятность ошибки, достигаемая при наилучшем кодировании, с от­ ношением Н / С. Для бинарного канала решение приведено в [7]. При к = Н/С < 1 вероятность ошибки е(к ) = 0 согласно первой теореме. При к —> оо е(к) —* 0,5, что означает, что доля передаваемой информации из всей поступающей на вход канала стремится к нулю при к —у со; чем быстрее ведется передача, тем меньшее количество информации передается.

Контрольные вопросы

1.Дайте обоснование необходимости введения избыточности при кодировании в канале с помехами.

2.Как определяется среднее количество информации (на один символ), переданной по дискретному каналу с шумами?

3.Как определяется скорость передачи и пропускная способность канала с помехами?

4.Сформулируйте и поясните прямую и обратную теоремы Шен­ нона о кодировании для канала с помехами.

5.Какие соотношения следуют из теоремы об асимптотической

равновероятности достаточно длинных типичных цепочек для стаци­ онарных каналов с шумами?

6.Какова причина целесообразности кодирования длинных пос­ ледовательностей символов?

7.Какой формулой определяется пропускная способность двоич­

ного симметричного канала без памяти, при каком условии пропуск­ ная способность этого канала обращается в нуль?

9. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ СИСТЕМ, РАБОТАЮЩИХ С НЕПРЕРЫВНЫМИ СИГНАЛАМИ

9.1. Непрерывные ансамбли и источники

Непрерывные ансамбли и источники являются информационными моделями непрерывных сообщений, типичными примерами которых служат речевые сообщения и высокочастотные колебания, где исполь­ зуются аналоговые методы модуляции. В общем случае такие сигналы моделируются непрерывными случайными процессами.

Прежде чем воспользоваться методами теории непрерывных случай­ ных величин и процессов для описания непрерывных ансамблей и источ­ ников, обратим внимание, что в практике связи все более широкое приме­ нение находят методы дискретизации непрерывных сигналов во времени и квантования уровня их интенсивности, для которых полностью приме­ нимы все исследованные информационные характеристики дискретных ансамблей и источников. Достаточно строгим аналитическим обоснова­ нием процесса дискретизации непрерывного сигнала является теорема Котельникова, существо которой изложено в главе 5.

Изложение основных вопросов кодирования в непрерывных кана­ лах с дискретным и непрерывным временем существенно различно.

Естественно, что формулировка и доказательство теорем кодирова­ ния в непрерывных каналах с дискретным временем оказываются более близкими к исследованию соответствующих вопросов применительно к дискретным каналам. Основная роль, как и в дискретном канале, прина­ длежит средней взаимной информации между выходом и входом канала с последующим определением пропускной способности канала, которая в случае непрерывных каналов может быть сделана сколь угодно большой. При кодировании в непрерывных каналах возникает определенная специ­ фика, связанная с практической необходимостью учета использования при передаче ограниченной мощности сигнала.

При исследовании непрерывных каналов с непрерывным временем помимо ограничения на мощность передатчика также вводится ограниче­ ние на используемый частотный интервал. Во всех случаях рассматрива­ ется модель каналов с аддитивным белым гауссовским шумом.

При исследовании вопросов передачи информации от источников непрерывных сообщений (сигналов) целесообразно ввести понятие непрерывного ансамбля. Непрерывным ансамблем, задаваемым плот-

ностью распределения вероятностей w(x), называют пару {X, w(x)}, где X — числовая ось и распределение вероятностей на X задается функцией w{x). Соответственно {XY, w(x, у)} называют системой двух совместно заданных непрерывных ансамблей.

Обобщим понятие количества информации на объекты с контину­ умом возможных состояний. Переход от дискретного случая к непре­ рывному естественно вести через понятие относительной (дифферен­ циальной) энтропии.

Пусть оба отражающих друг от друга объекта {х} и {у} непре­ рывны. Снятая неопределенность измеряется теперь разностью апри­ орной и апостериорной относительных энтропий одного из объектов:

I(x,y) = /г(х) - Mh(x/y) = h(y) - Mh(y/x) =—J/?(JC) log p(x)dx - log e +

+ W ) [ Ip(x/y) logp(x/y) dx + log e ] dy = JJp(x,y) log PJ \ -’y) dxdy. (9.1)

Полученная формула является обобщением формулы (5.30) для количества информации в дискретном случае.

Введенное ранее (см. § 5.3) понятие относительной энтропии мо­ жет служить достаточным основанием для получения конечной вели­ чины взаимной информации 1{Х; Y). Введем определение меры коли­ чества информации между сообщениями непрерывных ансамблей.

Количеством взаимной информации между сообщениями х е Х, y e Y непрерывного ансамбля {XYt w(x, у)} называется величина

определенная для всех пар (х, у) таких, что w(x) Ф 0, w(y) Ф 0.

Для остальных пар х и у i(x; у) доопределяется произвольно. Основанием для этого определения служит рассуждение, так­

же основанное на дискретизации непрерывных сигналов и после­ дующем предельном переходе. Пусть (х0, хо+Дх) и (у0, у0+Лу) — ин­ тервалы на осях х и у и p(x0, уО) ~ w(x, у)АхАу, p(x0) ~ w{x)Ax, p(y0) ~ w{y)Ay — соответствующие этим интервалам вероятности. С каждым интервалом можно связать событие из некоторого диск­ ретного множества; например, х0 и у0 - события, состоящие в том, что значения сигналов из х и у находятся в интервалах (хо,хо + Дх) и (у0,у0 + Ау) соответственно. На основании (IV.4) между этими событиями определена взаимная информация

i(x0,y0)= log р (*о>Уо) Р(.хо)р(Уо)'

Переходя к пределу, получим

Д>’-> 0

Количество информации, определяемое соотношением (9.3), представляет случайную величину на соответствующем непрерывном ансамбле.

Математическое ожидание

называется средней взаимной информацией между непрерывными ан­ самблями X и Y.

Используя условные плотности распределения вероятностей (в предположении, что они существуют), значение 1{Х; Y) можно запи­ сать и так:

Используя введенное выше обозначение относительных энтропии А(Л), h(Y) и вводя дополнительно обозначения условных дифференци­ альных энтропии

h ( X \ Y ) = - \ x [rw{x.y)\ogw{x\y)dxdy\

h(Y \Х ) = ~ \х I w(x y)logw(y | x)dxdy, ^

для средней взаимной информации между непрерывными ансамблями получим выражение

по форме совпадающее с выражением для средней взаимной информа­ ции между дискретными ансамблями. Нетрудно показать, что дифферен­ циальные энтропии, как и энтропии дискретных ансамблей, обладают свойством аддитивности; для непрерывных ансамблей Х и У справедливо соотношение h{Y\X)< h(Y), где равенство имеет место только в том слу­

и очевидном условии

Согласно изопсриметричсской задаче вариационного исчисления,, составим функцию

Ф [У(х)J = -w’(x)logH'(x)+A .lx Jw'(x)+A2w(x),

где X, и X,— постоянные неопределенные множители Лагранжа. Иско­ мая функция определяется из уравнения Эйлера:

Найденная плотность вероятности доставляет энтропии h{X) мак­ симум, так как Э2Ф/Э2<в(х) = -1/со(х) 1п2 < 0

Подставив (9.10) в (9.8) и (9.9), определим значения постоянных множителей:

X, то максимальной неопределенностью обладает гауссовское или нор­ мальное распределение вероятностей. Другими словами, при задан­ ном среднеквадратическом разбросе та из случайных величин «ведет себя наиболее хаотически», которая распределена по закону (9.10).

Уместно здесь же сформулировать еще одну важную задачу, которая является частным случаем решенной. Предположим, чш имеется множест­ во случайных величин со всевозможными законами распределения вероят­ ностей и с различными среднеквадрагическими разбросами относительно среднего, равного нулю. Какое распределение вероятностей обладает в этом случае наибольшей неопределенностью (наименьшей предсказуемостью)?

В точной постановке задача определяется иак: найти такую функ­ цию М х\ которая доставляет максимум энтропии h(X) при одном дополни­ тельном условии (9.8), ограничивающем возможный выбор функций о>(х).