книги / Теория информации

В этом случае искомой плотностью вероятности будет функция (9.10), если в ней положить А,'= 0, т. е:

Итак, если дисперсия случайной величины X не ограничена, ее наблюдаемые значения обладают наибольшей информативностью, когда она имеет равномерное распределение вероятностей (9.12).

9.3. Н епрерывные каналы с шумами. Формула Ш еннона

Рассмотрим информационные характеристики системы с не­ прерывными сигналами в наиболее простом случае - когда в вы­ сокой степени точности выполняется предположение об ограни­ ченности частотного спектра рассматриваемых сигналов. В этом случае, согласно теореме Котельникова, любой сигнал полностью определится на всей оси времени, если задать его отсчеты через 1/2F секунд, где F - граничная частота спектра. Поэтому можно считать, что сигнал дискретен во времени и непрерывен лишь по информационному параметру.

Если отсчеты независимы, то скорость передачи информации по каналу, (в котором х(/) - входной, ау(0 - выходной сигналы) определим как

(9.13)

Чтобы исчислять скорость передачи в единицах информации на единицу времени (секунду), интеграл в правой части (9.12) нужно ум­ ножить на число отсчетов в единице времени (2F B секунду).

Пропускная способность непрерывного канала выражается как

(9.14)

где максимум находится по всевозможным распределениям вход­ ной величины х при ограничениях, которые накладывает данный канал. В силу свойства количества информации (см. [7]: «никакое преобразование случайной величины не может увеличить содер­ жание в ней информации относительно другой, связанной с ней величины») как бы принятый сигнал у ни обрабатывался впоследс­ твии, это не может увеличить пропускную способность канала С.

Докажем полезную для всего дальнейшего изложения теорему.

Теорема. Если 1) сигнал x(t) и шум n(t) независимы и 2) принима­ емый cuzHany(t) является их суммой, y(t) = x(t) + n(t), то количество информации на один отсчет может быть вычислено по формуле

1(х,у) = Н(у)-Н(п), (9.15) где Н(у) и Н(п) —соответственно дифференциальные энтропии прини­ маемого сигнала и шума.

Доказательство следует из того, что

В качестве одного из следствий этой теоремы можно сформу­ лировать следующее утверждение: при аддитивном независимом от сигнала шуме максимизация скорости передачи достигается при шах Н (у). Этим можно пользоваться при вычислении пропускной

способности соответствующих каналов.

Итак, под пропускной способностью непрерывного канала связи будем понимать максимально возможную скорость пере­ дачи информации по каналу при заданных технических характе­ ристиках канала: полосе пропускания Fk, отношении сигнал/шум А,2 = Рс / Рш. Так же, как и в случае дискретных сообщений, ско­ рость передачи непрерывных сообщений зависит от выбора ансам­ бля входных сигналов. М аксимальная скорость передачи реализу­ ется при максимальной скорости поступления информации на вход канала, которая соответствует выбору ансамбля входных сигналов с максимальной энтропией. Для непрерывных сообщений x(t) с за­

данной средней мощностью Р

| x2w(x)dx = а 2 = Рс = co n st,

энтропия достигает максимума при нормальном распределении

Заменяя разность энтропий разностью соответствующих диффе­ ренциальных энтропий, получаем

I(y,x) = h(y) - h(y/x),

или, принимая во внимание, что h(y/x) = й(£), имеем

1{у /х)= log, ^2пе(а] +<т*) - log, yj2neo* = log, ^1 + = log,

Для пропускной способности непрерывного канала связи (ИКС)

теперь можем записать

I

С1ШС= uKI(y,x) = uK\og

всоответствии с теоремой Котельникова ое =2FK, поэтому

С тс = 2FKlog f l +■

ш /

Полученное соотношение часто называют формулой Шеннона для пропускной способности гауссовского непрерывного канала без памя­ ти. Ее высокая значимость в теории информации определяется тем, что здесь пропускная способность непрерывного канала в явной фор­ ме связана с основными техническими характеристиками канала - его шириной полосы пропускания частот и отношением сигнал/шум. При нулевых значениях той или иной характеристики пропускная способ-

ность равна нулю и с возрастанием их неограниченно увеличивается. Формула Шеннона указывает на возможность обмена занимаемой по­ лосы частот на мощность сигнала и, наоборот.

Из этой формулы видно, что сокращение полосы частот, занимаемой сигналом, за счет увеличения его мощности невыгодно, поскольку про­ пускная способность канала зависит от характеристики F линейно, а от отношения сигнап/шум - по логарифмическому закону. Обратный обмен мощности сигнала на полосу частот является более эффективным.

Зависимость пропускной способности Снкс от отношения

ной способности С от полосы пропускания канала. Если положить в

График зависимости СНКС от полосы пропускания канала FK

представлен на рис. 9.2.

При увеличении FKпропускная способность Снкс сначала быстро возрастает, а затем асимптотически стремится к пределу

Замедление роста Снкс/ FKпо мере увеличения F J Ffl обусловлено увеличением шума за счет расширения FK, что проявляется как явле­ ние порога в широкополосных системах модуляции.

Таким образом, мы не только определили пропускную способ­ ность, но и заодно показали, что она реализуется, если полезный сигнал закодировать так, чтобы его спектр был равномерным в пред­ ставленной полосе частот, а распределение' мгновенных значений - нормальным.

9.4. Передача сообщений с заданным критерием верности

Во многих практических приложениях при обработке информа­ ции целесообразно отказаться от абсолютно точной передачи сообще­ ний от заданного источника, обеспечивая требуемую гарантированную точность воспроизведения на выходе канала передачи. Такая ситуация возникает при передаче сообщений от дискретных источников (в час­ тности, при передаче факсимильных и телевизионных сообщений). Однако особенно актуальной эта задача становится при передаче со­ общений от непрерывных источников.

Следует напомнить, что любая реализация случайного сооб­ щения на выходе непрерывного источника имеет нулевую вероят­ ность; для точного воспроизведения такого сообщения на выходе системы передачи необходимо иметь канал, имеющий бесконечно большую информационную емкость. В действительности это ока­ зывается не только невыполнимым, но и не нужным. Практика по­ казывает, что разумное ограничение полосы частот канала по отно­ шению к ширине спектра сигнала, отображающего сообщение, не приводит к потере его смыслового содержания или художествен­ ного восприятия. Точно так же квантование уровней непрерывного сигнала и последующая его оцифровка, обработка такого сигнала средствами вычислительной техники убеждают нас в отсутствии необходимости абсолютно точного воспроизведения формируемо­ го на входе системы сообщения.

Эпсилон-энтропия

Общее определение эпсилон-энтропии может быть выражено сле­ дующим образом. Пусть wn(e) задает класс всех условных плотностей

Му | х), для которых средняя ошибка не превосходит е:

Тогда функция

(9.21)

где минимум разыскивается по всем значениям п и функциям w(y 1х) из w(j{e) называется эпсилон-энтропией непрерывного стационарного источника w(x) относительно критерия качества d(x,y).

Таким образом, эпсилон-энтропия представляет собой минималь­ ное количество информации, которое необходимо для того, чтобы ре­ ализация У с заданной точностью е воспроизводила исходную реали­ зацию X .

В частном случае стационарного источника без памяти эпсилонэнтропия определяется величиной

(9.22)

Эпсилон-энтропия гауссовского источника без памяти

Вычисление эпсилон-энтропии в общем случае представляет со­ бой сложную задачу. Простое решение имеется для гауссовского источ­ ника с независимыми отсчетами, когда можно ограничиться вычисле­ нием эпсилон-энтропии гауссовской случайной величины. Определим эпсилон-энтропию гауссовского непрерывного ансамбля {X, w(x)}, где

ч * ) = ( v V ^ 4 ^ехр (-*■ / 2а)), для случая квадратичного критерия качества.

Эпсилон-энтропия рассматриваемого источника определяется выражением (9.22), где Y - аппроксимирующая случайная вели­ чина, задаваемая функцией w(y \ х), и множество и’(е) состоит из всех тех функций распределения вероятностей w(ylx), для кото­ рых среднеквадратичная ошибка d„ = М{Х - Y)2 не превосходит е. Представим среднюю взаимную информацию I(X;Y) как разность относительных энтропии:

Относительная энтропия h(X) не зависит от выбора функции

w(y | х) и в соответствии с (9.16а) h(X) = ^ 2 %еа\ . Для вычисления максимума во втором слагаемом рассмотрим случайную величину Z, имеющую смысл «мощности шумов источника», определив ее равенс­ твом: X = Y + Z. Из этого равенства следует, что при заданном значе­ нии у е Y случайные величины X и Z однозначно определяют друг друга, т.е. при фиксированном значении у случайные величины Л"и Z отличаются только математическими ожиданиями и, следовательно, имеют одинаковые условные дифференциальные энтропии:

Максимум h(Z) в правой части (9.25) определяется исходя из того,

что для любой функции w(y | х) из w(e) математическое ожидание

2

M{Zr) = М ( Х - Y)2 < • Поскольку, наконец, для случайной величины с ограниченной дисперсией относительная энтропия не превосходит

log у]2леас2 , для эпсилон-энтропии (9.23) получим

Знак равенства здесь имеет место тогда, когда Y и Z являются статис­ тически независимыми гауссовскими случайными величинами (предпо­ лагается, что ). Таким образом, минимальное количество информации, которое необходимо передать в канал, обеспечивая среднеквадратичный

Контрольные вопросы

1.Дайте определение непрерывных ансамблей и источников.

2.Дайте определение средней взаимной информации между не­

прерывными ансамблями.

3.Опишите основные свойства дифференциальных энтропий.

4.Как определяют скорость передачи информации и пропускную

способность непрерывного канала?

5. Напишите и поясните выражение для пропускной способности гауссова канала.

6.Вычислите пропускную способность непрерывного канала без памяти с аддитивным белым гауссовским шумом.

7.Определите максимально возможную величину пропускной способности гауссовского канала при неограниченной полосе.

10.ЭФФЕКТИВНОСТЬ ИНФОРМАЦИОННЫХ СИСТЕМ

10.1.Критерии оценки эффективности информационных систем

Под эффективностью в широком смысле понимают степень ис­ пользования каких-то материалов, средств, ресурсов, времени и т.д. В системах связи основными ресурсами можно считать пропускную способность канала С, ширину полосы частот F , мощность сигнала Р . Для оценки степени их использования удобно сравнивать сх со ско­ ростью передачи информации R.

Так, при проектировании системы передачи информации естест­ венно стремиться к тому, чтобы при ее функционировании были на­ иболее полно реализованы потенциальные возможности ее составных частей и в первую очередь возможности канала связи.

Для этого, как правило, требуется согласование физических и ста­ тистических характеристик источника сообщений и канала связи, ка­ нала связи и приемного устройства.

Например, при заданной верности передачи информации полоса частот сообщения не должна превосходить полосы пропускания кана­ ла связи, производительность источника сообщений не должна быть больше пропускной способности канала передачи и т. д.

Наиболее общей оценкой эффективности системы связи является

коэффищент использования пропускной способности канала

( > = £ • о с п

который называется информационной эффективностью. В реальных каналах значение коэффициента эффективности передачи изменяется

впределах 0 < р < 1.

Сцелью повышения эффективности передачи информации проводит­

ся согласование источника сообщений с каналом связи. О качестве согла­ сования можно судить по степени близости коэффициента р к единице. ф В системах с ограниченной полосой, например кабельных, важ­ ной характеристикой является коэффициент использования ширины

полосы частот канала F

который называют частотной эффективностью.