книги / Теория информации

Назначение декодера I состоит в том, чтобы восстанавливать по принятому сигналу соответствующий сигнал на выходе кодера I.

Рис. 8.2. Блок-схема дискретного канала связи с шумами

Функции, выполняемые кодером I и декодером И, такие же, как в схеме на рис. 7.1.

Рассмотрим передачу дискретных сообщений по каналу с шумом более подробно. Для этого воспользуемся представлениемсигналовв линейномпро­ странстве. Ранее была определена математическая модель сигнала в виде абс­ трактного математического пространства (пространства сигналов).

Естественно, что в пространстве сигнала точек должно быть не мень­ ше, чем возможных сообщений источника информации. При равенстве числа точек и числа возможных сообщений между элементами пространс­ тва сигналов и элементами множества возможных сообщений устанавли­ вается одно из возможных взаимно однозначных соответствий - некоторое отображение множества возможных сообщений в пространство сигнала. Это отображение реализуется в передатчике системы связи в форме со­ ответствующего правила преобразования сообщения в сигнал. Сигналы, представляемые в пространствах, число элементов которых равно числу возможных сообщений, обладают низкой устойчивостью к помехам.

Для повышения помехоустойчивости процесса передачи информации в системах связи используют сигналы с большим числом состояний, чем это необходимо для кодирования всех возможных сообщений, и, следова­ тельно, число точек соответствующих пространств превышает число воз­ можных сообщений. Тоща возникает вопрос: какие точки пространства сигнала сопоставлять возможным сообщениям источника информации?

На данный вопрос нельзя ответить однозначно. Ответ зависит от мно­ гих факторов: от статистических свойств потока сообщений, соотношения энергетических характеристик сигнала и помехи, статистических свойств помехи и др. Тем не менее имеются некоторые общие предпосылки.

Кодер вносит в сигналы избыточность, увеличивая длительность кодовых слов.

Число возможных последовательностей сразу резко увеличивает­ ся, но избыточность и состоит в том, что к отправке предназначаются не все из них, а лишь разрешенные. Число всевозможных последо­

вательностей длины п равно 2"Н(Х), а число разрешенных к отправке 2"н < 2"',{Х) (считаем, что энтропия исчисляется в битах); Н - энтропия на символ во множестве разрешенных к отправке последовательнос­ тей («энтропия источника», или «скорость создания информации»), Н(Х) - энтропия на символ во множестве всевозможных последова­ тельностей. В результате воздействия шумов какие-то из символов отправленной последовательности подменяются другими и на прием­ ный конец поступает другая, отличная от отправленной, последова­ тельность. Поскольку р(х\у) считается известным, каждой принятой последовательности соответствует 2яЯ(Л,У) возможно отправленных.

Декодирование (т.е. принятие решения о том, какая последова­ тельность была отправлена) можно выразить как разбиение всего множества У принимаемых последовательностей на 2"н подмножеств, сопоставляемых с разрешенными к отправке: если, например, принят сигнал г-й группы, то считается, что был послан г-й разрешенный сиг­ нал, который тут же выдается в «чистом» виде получателю.

Рассмотрим вопрос о введении избыточности вторым кодирую­ щим устройством на примере равномерного кода.

Пусть на выходе кодера I появляются двоичные кодовые слова одинаковой длины р, соответствующие передаваемым сообщениям. Чтобы декодер I имел возможность обнаруживать и исправлять ошиб­ ки, 2-е кодирующее устройство по некоторому правилу добавляет рк корректирующих двоичных символов к каждому кодовому слову, поступающему на его вход. В результате получаются кодовые слова длиной р + рА: символов, которые затем передаются по линии связи с шумами, где некоторые символы искажаются (символ «1» подменя­ ется символом «О», а символ «О» - символом «1»).

При этом число различных передаваемых кодовых слов меньше числа всех возможных кодовых слов, получаемых на выходе линии связи, т. е.

слова, a NQ- N кодовых слов - запрещенные. Если в результате ошибок переданное (разрешенное) кодовое слово перейдет в одно из запрещенных, ошибка будет обнаружена декодером I при усло­ вии, что в его запоминающем устройстве хранятся все разрсшен-

ные кодовые слова. Если же в результате ошибок переданная ком­ бинация превращается в одну из разрешенных, ошибка декодером I не обнаруживается.

Таким образом, корректирующий код, удовлетворяющий усло­ вию (8.1), способен в N(N0- N) случаях обнаруживать ошибки из об­ щего числа NJV. Однако если N « Nn, разрешенные комбинации могут быть выбраны с учетом вероятностных свойств шума так, чтобы веро­ ятность получения ошибочной разрешенной комбинации была очень мала. Другими словами, при N « N 0B результате ошибочного приема отдельных символов принятое кодовое слово, как правило, окажется запрещенным, что и укажет на ошибку.

Для принятия однозначного решения о том, какое кодовое слово было отправлено, в общем случае все множество принимаемых кодо­ вых слов N0 разбивается по некоторому правилу на N подмножеств. Каждое подмножество отождествляется с одним из разрешенных кодо­ вых слов. Если, например, принятое кодовое слово попало в i-e подмно­ жество, считается, что было передано /-е кодовое слово. Задача состоит в том, чтобы выяснить, существуют ли такие правила введения кор­ ректирующих символов в передаваемые кодовые слова и разбиения на подмножества всех возможных принимаемых кодовых слов, при кото­ рых вероятность ошибочного приема будет как угодно мала, а скорость передачи как угодно близка к пропускной способности линии связи.

Эта задача в общем виде разрешается теоремами Шеннона о коди­ ровании в присутствии шумов.

8.2. Количество информации, передаваемой по каналу связи. Взаимная информация и ее свойства

Количество информации, передаваемое по дискретному кана­ лу связи, может быть определено через информационные характе­ ристики ансамблей сообщений на входе и выходе канала, условные и совместные энтропии этих ансамблей. Свойства энтропии, ус­ ловной энтропии кладутся в основу при введении важной теоре­ тико-информационной характеристики канала - взаимной инфор­ мации между сообщениями на его входе и выходе. Действительно, поскольку при наличии статистической связи между элементами

а и Ь ансамбля {АВ,р(а,Ь)} значение условной энтропии Н(А \ В) в общем случае меньше безусловной и не превосходит ее, т.е. пос­

можно полагал., что наличие сведений о значении Ьснижает в среднем перво­ начальную неопределенность относительно ансамбля А. Назовем величину

количеством информации в сообщении Ъ £ В о сообщении а £ А. (Предполагается, что в ансамбле {АВ,р(а;Ъ)} не существует элементов с нулевыми вероятностями.)

Поскольку

р(а,Ь) =р{а) р(Ь\а) =р(Ъ)р(а\Ь),

т.е. количество информации в сообщении а о сообщении b равно ко­ личеству информации в сообщении b о сообщении а. Введенное этим определением количество информации является симметрической функцией пары сообщений. Поэтому величину i(a; Ъ) называют коли­ чеством взаимной информации между сообщениями a u b или просто взаимной информацией между этими сообщениями.

Формулам (8.3) и (8.4) можно придать симметрическую форму

i(a;b)log-р(а)р{Ь)'р{а,ь)

(8.5) Определенная таким образом взаимная информация между сооб­

щениями а и Ъявляется случайной величиной на ансамбле АВ. Введем в рассмотрение ее математическое ожидание (см. § 5.7).

Математическое ожидание случайной величины i(a, b) называет­ ся средним количеством взаимной информации или просто взаимной информацией между ансамблями А и В и обознчается через 1{А, В):

/(/4,fi)= A/[i(<j;i)] = ^ /> (a .;* )lo g ^ ip .

*Р{°) (8.6)

Поскольку взаимная информация между сообщениями была опре­ делена как разность собственных информации (безусловной и услов­ ной), а математическое ожидание собственной информации является по определению энтропией ансамбля, то можно записать:

Основные свойства средней взаимной информации между дис­ кретными ансамблями. Наряду с уже отмеченным свойством симмет­ рии 1{А;В) = 1(В;А), сформулируем следующие свойства, вытекающие из определения (8.6) и свойств 2 и 3 условной энтропии (см. гл. 5):

-средняя взаимная информация неотрицательна: 1(А; В) > О, причем равенство имеет место тогда и только тогда, когда элементы ансамблей а е А и b е В статистически независимы. Доказательство этого утверждения можно провести, используя свойство (In* < .г-1 ) натурального логарифма;

-средняя взаимная информация между ансамблями^ и В не пре­ восходит значений энтропии этих ансамблей:

I (А;В) < Н(А); I (А;В) < Н(А) (8.8) причем равенства в (8.8) имеют место, когда каждому фиксированно­ му значению а е А с вероятностью 1 соответствует определенное зна­ чение b е В и наоборот.

Одно из важнейших свойств средней взаимной информации за­ ключается в том, что в процессе преобразований сигналов в различных блоках канала она не может увеличиваться [1]. Это свойство может быть истолковано следующим образом. Пусть В — множество воз­ можных сигналов на выходе некоторого блока канала, а А — множес­ тво различных передаваемых сообщений. Доказывается, что никакая обработка наблюдаемых сигналов, при которой производится детер­ минированное или случайное их преобразование, не может увеличить средней информации об интересующем нас объекте. Количество ин­ формации сохраняется, если преобразование обратимо.

8.3. Пропускная способность дискретного канала связи с шумами

Соотношения (7.1) - (7.3), определяющие скорость передачи и пропускную способность канала и линии связи, являются общими, и поэтому они применимы как для дискретных, так и для непрерыв­ ных каналов, как для каналов без шумов, так и для каналов с шумами. Разница заключается в способе вычисления количества информации, содержащейся в последовательности выходных сигналов Zp о вход­ ных сигналах Yp т.е. 7(Zr Уг).

При определении скорости передачи информации по (7.3’) учтем,

что Mml— ] = х ,; при этом, как и ранее, тг - средняя длительность сиг­

нала одного сообщения. Тогда получим

где

„ ( г у г у . а Ш .

и

Тс

Повторяя рассуждения, аналогично найдем

В последнем равенстве H (Y ) - поток информации на выходе ко­

дирующего устройства, Н (У |Z ) характеризует потерю информации, обусловленную действием помех.

Из найденных соотношений и (7.3) следует, что пропускная спо­ собность канала связи при наличии помех может быть определена из условия

Оба определения равноправны и дают одно и то же значение Сс. Использование того или иного определения диктуется удобством ана­ лиза. При отыскании оптимальных статистических характеристик пе­ редаваемых сигналов (у) необходимо иметь в виду следующее.

Характерные состояния выхода канала связи (Qk, Q) могут опре­ деляться двумя обстоятельствами:

а) наличием фиксированных ограничений, т.е. запретов, накладывае­ мых на допустимую последовательность передачи различных сигналов;

б) коррелятивными связями между символами, вызываемыми действием шумов.

Каналы, у которых на каждый передаваемый сигнал (символ) шум воздействует независимо от того, какие сигналы передавались ранее, называются каналами без памяти. В этих каналах шумы не вызывают дополнительных коррелятивных связей между сигналами. В настоя­ щее время основные выводы теории информации получены примени­ тельно к каналам без памяти.

Проиллюстрируем вычисление пропускной способности канала на следующем примере.

Пусть требуется определить пропускную способность канала свя­ зи, по которому передаются двоичные сигналы со скоростью v , если вероятность превращения в результате действия помех каждого из этих сигналов в противоположный равна р (вероятность правильного приема, следовательно, 1 -р ). Передаваемые сигналы предполагаются

Средняя условная энтропия

H(Y X ) =- Z Р(x i )£ РO '/ Iх /) |о8 Р(V/Iх / )=

м

= -р (х, )[(1 - p)\0g(1 - р)+ р log/>] - р (х2)[/• log р + (1 - p)\og(1 - //)] =

=-[p(xi)+P(х2>] [р 1о8 Р +0 - /0 |о80 - /*)]•

Но/>(*,) +р(х2) = 1.

Поэтому

H(Y\X) = - р \о %р - (1 - р ) log (1 -р).

Отсюда видно, что H(Y\X) не зависит от характеристик источ­ ника, т.е. от р(х) и р(х}), и определятся только помехами в канале передачи.

Максимальное количество информации на один символ получа­ ется, следовательно, при таком распределении вероятностей p(xi), при котором оказывается максимальным член Я(У). Но Я(У) не может пре­ восходить величины

При р = 1 также имеем детерминированный случай, когда сигналы х, переводятся в сигналы х2 и наоборот с вероятностью, равной едини­ це. При этом пропускная способность канала также максимальна.

Минимальное значение пропускная способность имеет при /7= 1/2

(С4 max = 0 )' .

Если на вход канала подаются сигналы от всех возможных источ­ ников дискретных сообщений с одинаковым количеством символов в единицу времени и = 1/Г и числом элементарных символов т, то вы­ ражение для С и, соответственно, для пропускной способности канала в расчете на единицу времени выглядит так:

Отсюда при т = 2 имеем (8.19).

8.4. Теоремы о кодировании в присутствии шумов

Результаты исследований, проведенных К. Шенноном и сфор­ мулированные им в виде теорем, показали, что во-первых, как бы ни были сильны шумы, можно создать условия, при которых воз­ можна передача информации при сколь угодно малой вероятности ошибки (Первая и обратная теоремы); и, во-вторых, при этом не

потребуется прогрессивно понижать среднюю скорость передачи информации при повышении требований к малости вероятности ошибки (вторая теорема).

Уточним условия работы системы связи, о которых будет идти речь. Имеется в виду стационарная система связи при определенном предположении о соотношении между скоростью создания информа­ ции (производительностью источника) Я и пропускной способностью С канала (Я < Q . Предполагается, что потоки информации стационар­ ны и емкости запоминающих устройств кодирующей и декодирующей систем ограничены. Стационарность сигналов на входе системы связи позволяет рассматривать кодирование блоками произвольной длины. Далее, для простоты будем считать, что между последовательными ошибками не существует корреляции, вероятность искажения не зави­ сит от того, был ли искажен предыдущий символ («канал без памяти»).

П ервая теорема Ш еннона о кодировании в присутствии шумов.

При любой производительности источника сообщений Н, мень­ шей, чем пропускная способность канала С, существует такой спо­ соб кодирования, который позволяет обеспечить передачу всей ин­ формации, создаваемой источником сообщений, со сколь угодно малой вероятностью ошибки.

Хотя доказательство этой теоремы, предложенной Шенноном, в дальнейшем подвергалось более глубокому и строгому математи­ ческому представлению]; 19], идея его осталась неизменной. Доказы­ вается только существование искомого способа кодирования, для чего находят среднюю вероятность ошибки по всем возможным способам кодирования и показывают, что она может быть сделана меньше сколь угодно малой величины е. При этом существует хотя бы один способ кодирования, для которого вероятность ошибки меньше средней.

Доказательство теоремы. Пусть Я(х) и Н(х/ у) —априорная и апос­ териорная энтропии на символ (со стороны приемного конца) для сис­ темы, реализующей пропускную способность С канала. В силу свойс­ тва Е при достаточно большой длительности (и символов) передачи все возможные любого ансамбля распадаются на высоковероятную и маловероятную группы; при этом о количестве сигналов в соответс­ твующих группах можно сделать следующие утверждения:

а) группа высоковероятных передаваемых сигналов содержит око­ ло последовательностей.