книги / Теория информации

Итак, число возможных комбинаций сигнала N непригодно для измерения количества информации. Так как необходимо, чтобы ко­ личество информации было пропорционально длительности сигнала (числу и), то запишем следующую зависимость:

(5.15) где I - количество информации, К - постоянная, зависящая от чис­

ла значений сигнала т. Чтобы найти зависимость К(т), рассмотрим передачу одного и того же количества информации / с помощью двух различных алфавитов, содержащих соответственно mf и т2символов.

Поскольку при фиксированном N количество информации / оста­ ется неизменным, справедливы соотношения

N = т"' = Wj2,

/ = АГ,л, = Кггц,

откуда получаем

K x\ogm 2 = K2logm v

Из этого соотношения следует, что коэффициент К пропорционален логарифму т:

K = \ogm .

Следовательно, мера количества информации, определится фор­ мулой

1= п \ogjn,

где а - основание логарифма.

Естественно принять за единицу измерения количество инфор­ мации, содержащееся в наиболее простом, элементарном сообще­ нии, которое может выдать источник. Легко заметить, что таким элементарным сообщением будут два возможных значения уров­ ней при одном отсчете сигнала, что соответствует случаю т - 2 , п = 1. При приеме одного из этих двух уровней доставляется инфор­ мация в один двоичный знак, или одну двоичную единицу.

Основание логарифма в формуле (5.16) легко определяется из это­ го частного случая 1 = loga 2 и будет а = 2.

Таким образом, количество информации в двоичных единицах оп­

или

Сформулируем, следуя Хартли, окончательное определение:

в качестве меры количества информации принимается логарифм чис­ ла возможных последовательностей символов.

Проведенное рассмотрение является упрощенным и опирается в значительно большей степени на физические представления, чем на строгие формулировки и выводы.

Полученный результат не учитывает ряда важных аспектов передачи информации и в первую очередь статистических свойств сигналов. Однако даже такой простейший случай хорошо иллюстрирует методическую сто­ рону оценки количества информации, и в этом его ценность. Более деталь­ ное изучение вопроса является предметом последующего рассмотрения.

5.6. Статистическая мера количества информации

Меру количества информации, получаемой в результате того или иного опыта, можно было бы установить как функцию отношения числа равновозможных ответов до опыта (и) и после опыта (и), т. е. как функ­

цию отношения — . Интуиция подсказывает, что количество получаемой

Пс

в результате опыта информации должно быть тем больше, чем больше это отношение. Вместо понятия «равновозможные события» (или ответы) удобнее пользоваться понятием о вероятности этих событий.

Если рассматриваемые события (ответы) равновозможны, то ап­

апостериорная (после опыта или после сообщения) вероятность . В та­ ком случае количество информации, которое мы получаем о событии

х.в результате опыта, должно быть функцией отношения

п_ Рс{х,)

Наиболее удобной является логарифмическая функция, и, следо­ вательно, количество информации, получаемое о событии х. в резуль­ тате опыта, может быть принято

/ ( / ) = ^ l o g ^ ^ - p{*i)

Выбор коэффициента К и основания логарифмов (о) не имеет при­ нципиального значения, ибо он определяет лишь масштаб или едини­ цу количества информации. Обычно выбирают логарифм с основани­ ем два (а = 2) и К = 1, тогда

(5.18)

Единица количества информации при таком выборе а и К называ­ ется двоичной.

Получение одной двоичной единицы количества информации соответствует тому, что мы узнаем, какое из двух равновозможных событий имеет место или какая из двух равновозможных гипотез правильна. Такими двумя событиями (гипотезами) могут быть так­ же ответы «да» или «нет» на какой-либо вопрос. Если эти ответы равновозможны (равновероятны), то, получив один из них, мы тем самым получаем одну двоичную единицу информации.

Если события (ответы) равновозможны и если к тому же p ii) - 1, т.е. после опыта ситуация полностью определена, формула (6.1) может быть представлена в виде

Определим количественную меру информации при конечном ан­ самбле независимых событий. Формула (5.18) устанавливает непос­ редственную связь между количеством информации, получаемой о не­ котором событии в результате опыта, и изменением вероятности этого события до опыта и после него. Эта связь может быть обобщена и на случай, когда имеется некоторое конечное множество независимых событий с разными априорными вероятностями.

Рассмотрим некоторое конечное множествоX событий х,, х2, ..., хв. Допустим, что данные события независимы и несовместны, а априорные вероятности их соответственно равны р(х1),р(х2) ,...,р(хп), причемр(х{)+...

+ /?(х2)+ + p (xj = 1. Последнее означает, что в течение некоторого наблюдаемого отрезка времени всегда происходит одно из этих событий.

Рассматриваемый ансамбль событий может быть описан конеч­ ной схемой вида

Ансамбль рассматривается как некоторая модель физической системы, которая может находиться в о различных состояниях или в которой может происходить и различных событий. Рассматривается случай, когда эти состояния или события независимы и несовместны.

Используя формулу (5.18), можно сказать, что достоверное сооб­ щение о том, что из всех событий х происходит событие хр несет в себе

Следовательно, сообщение о событии несет тем большее количес­ тво информации, чем меньше априорная вероятность этого события. Это положение хорошо согласуется с интуитивным представлением об информации. Так, например, сообщение о том, что летом дни длин­ нее ночи, для любого человека с минимальным жизненным опытом или образованием не несет никакой информации, ибо этот факт апри­ ори (до этого сообщения) уже ему известен.

Формула (5.21) указывает, что в конечном ансамбле X сообщения о разных событиях в общем случае несут разное количество инфор­ мации. При решении большинства задач, связанных с построением систем передачи и преобразования информации, необходимо знать среднее количество информации, приходящееся на одно сообщение. Последнее в соответствии с правилами теории вероятности может быть определено как математическое ожидание величины /(х.), т. е.

1(Х) = М {1(х)}

и, следовательно,

и

В данном случае через 1(Х) обозначено среднее количество ин­ формации, приходящееся на одно достоверное сообщение о собы­ тии х при передаче большого числа таких сообщений. Это соотно­ шение носит название формулы Ш еннона.

Количество информации, определяемое формулой (5.22), приня­ то называть полным или средним количеством информации ансамбля событий {X}, а каждое слагаемое -log />(х.) - частным количеством

информации, получаемым от отдельного i-го события, состоящего в том, что ансамбль {X} находится в состоянии х..

Обращает на себя внимание тот факт, что формула Шеннона (5.22) для количества информации совпадает с формулой для величины эн­ тропии множества возможных сиг налов. Это совпадение не является случайным и ниже будет рассмотрено более детально. Здесь же пока констатируем этот важный факт: при отсутствии ошибок при прише среднее количество информации на сигнал численно равно энтропии множества возможных сигналов. Из этого, однако, не следует, что эн­ тропия и количество информации это одно и то же.

Снимем теперь условие статистической независимости между символами, которое накладывалось на сигнал при построении коли­ чественной меры информации по Хартли. По-прежнему пока остается в силе условие отсутствия ошибок.

Рассмотрим важный случай такой статистической зависимости, которая имеет место между элементами простой цепи Маркова.

Очевидно, что энтропия символа, который должен осуществиться, теперь зависит от того, какой символ осуществился только что перед ним. Пусть, например, последним символом был символ под номером i. Тогда энтропия следующего символа (при условии, что предыдущий известен)

где p(j/i) - вероятность того, что после символа i осуществится сим­ волj. Нас, однако, интересует безусловная энтропия Я символа в цепи Маркова, т.е. средняя величина Я , . По определению среднего

Эти соотношения и дают нам искомый результат.

5.7.Количество информации как мера снятой неопределенности

Встатистической теории информации рассматриваются ан­ самбли или системы событий, которым присуща некоторая неоп­ ределенность.

В результате получения некоторого сообщения, представляющего собой результат выбора из ансамбля событий, априорная неопределен­ ность может быть уменьшена. Так как степень неопределенности изме­ ряется величиной энтропии, то в качестве меры количества информации об ансамбле событий естественно принять изменение (уменьшение) энтропии ансамбля в результате получения сообщения. То есть при статистическом подходе энтропия есть мера недостатка информации об ансамбле событий, а количество информации представляет собой разность априорной и апостериорной энтропий ансамбля событий.

Если в результате сообщения состояние ансамбля или системы событий стало известным (апостериорная энтропия ансамбля стала равной нулю), то количество информации, содержащееся в ансамбле событий, равно его априорной энтропии

где 1(Х) - количество информации ансамбля событий {АД; Н(Х) - апри­ орная энтропия ансамбля {X}.

Таким образом, в результате приема сигнала, с одной стороны, произошло уменьшение неопределенности с Н(х) до нуля, а с другой стороны, получено количество информации 7, численно равное Н.

Обычно на практике информацию об исследуемом ансамбле {Л} при­ ходится определять не непосредственно, а по состоянию некоторого ан­ самбля или системы {У}, связанного с {X}. В общем случае ансамбли {X} и {У} отличаются друг от друга и различие состоит в следующем.

Во-первых, ансамбли {X} и {У} могут различаться за счет того, что некоторые события {хД интересующего нас ансамбля {А} не отра­

жены в совокупности {у.} событий ансамбля {У} и наоборот.

Во-вторых, различия могут возникнуть за счет погрешностей оп­ ределения (например, измерения) состояния ансамбля {X} или оши­

бок при передаче сообщения об ансамбле {АД.

В связи с этим найдем, какое количество информации об ансамбле

{X} дает установление состояния ансамбля {У).

Определим это количество информации как уменьшение энтро­ пии ансамбля {X} в результате получения сообщения об ансамбле {У},

где Н(Х) - априорная энтропия ансамбля (А'}; H(X\Y) - энтропия ансам­ бля {X}, оставшаяся после получения сообщения об ансамбле {У}.

Выражение (5.26) называется полным количеством информации об ансамбле {X), содержащимся в ансамбле {У}. Можно показать, что количество информации, содержащееся в ансамбле {У} относи­ тельно {X}, такое же, как и в ансамбле {X) относительно {У}:

Количество информации, определяемое формулами (5.26) и (5.27) как разность априорной и апостериорной энтропий ансамбля собы­ тий, называется количеством полной взаимной информации, содержа­ щейся в ансамблях {Х}и {У}.

Итак, количество информации определяем как меру снятой неоп­ ределенности: числовое значение количества информации о некото­ ром объекте равно разности априорной и апостериорной энтропии этого объекта.

В явной форме равенство (5.26) запишется так:

Ш

1{Х, У) = Н(Х)- H(X\Y) = - 2 > ( x ,.) lo g />(*,)-

/=1

тт

Р(хд ’

а для равенства (5.27) имеем

Этим формулам легко придать полную симметричность: умножив и разделив логарифмируемое выражение в (5.28) на р(у), а в (5.29) на р(х), сразу получим, что

Эту симметрию можно интерпретировать так: количество информа­ ции в объекте X об объекте Y равно количеству информации в объекте У об объекте X. Таким образом, количество информации является не харак­ теристикой одного из объектов, а характеристикой их связи, соответствия между их состояниями. Подчеркивая это, можно сформулировать еще одно определение: среднее количество информации, вычисляемое по фор­ муле (5.30), есть мера соответствия двух случайных объектов.

Это определение позволяет прояснить связь понятий информации и количества информации. Информация есть отражение одного объекта другим, проявляющееся в соответствии их состояний. Один объект мо­ жет быть отражен с помощью нескольких других, часто какими-то луч­ ше, чем остальными. Среднее количество информации и есть числовая характеристика степени отражения, степени соответствия. Подчеркнем, что при таком описании как отражаемый, так и отражающий объекты выступают совершенно равноправно. С одной стороны, это подчеркива­ ет обоюдность отражения: каждый из них содержит информацию друг о друге. Это представляется естественным, поскольку отражение есть результат взаимодействия, т.е. взаимного, обоюдного изменения состо­ яний. С другой стороны, фактически одно явление (или объект) всегда выступает как причина, другое - как следствие; это никак не учитывает­ ся при введенном количественном описании информации.

Для однозначного определения единицы измерения энтропии необходимо конкретизировать число т состояний объекта и основа­ ние логарифма. Возьмем для определенности наименьшее число воз­ можных состояний, при котором объект еще остается случайным, т.е. т = 2, и в качестве основания логарифма также возьмем число 2. Тогда из равенства -/» ,logjP, - p^o%j)2= 1 вытекает, что р, р х= рг - 1/2. Сле­ довательно, единицей неопределенности служит энтропия объекта с двумя равновероятными состояниями. Эта единица получила назва­ ние «бит». Бросание монеты дает количество информации в один бит. Другая единица («нит») получается, если использовать натуральные логарифмы, обычно она употребляется для непрерывных величин.

Следует отметить, что введенная количественная мера информа­ ции совершенно не учитывает полезность, ценность или важность сообщений. Так, сообщение об оценке, полученной в школе учени­ ком, неопределенность априорной информации о которой может быть достаточно большой, при использовании этой меры может содержать

большее количество информации, чем сообщение о состоянии здоро­ вья ребенка. Именно абстрагирование от качественных характеристик сообщения позволила создать строгий и изящный математический ап­ парат для характеристики информации. Однако в некоторых областях применения (в частности, в теории массового обслуживания), где учет полезности и важности информации существен, эта особенность меры информации, введенной Шенноном, создает определенные затрудне­ ния в использовании аппарата теории информации. Этот недостаток обычно исправляют разделением сообщений на категории с введени­ ем соответствующих приоритетов или весовых коэффициентов.

Контрольные вопросы

1.Дайте определение понятию ансамбля сообщений.

2.Что называется энтропией и как она определяется для источников независимых сообщений?

3.каковы причины появления избыточности в сообщении?

4.Изложите основные свойства энтропии дискретного ансамбля.

5.запишите выражение для условной энтропии и поясните ее

смысл.

6.дайте определение дифференциальной энтропии и сформулируй­ те ее основные свойства.

7.какие распределения обладают максимальной дифференциальной энтропией:

а) при ограничении на диапазон изменения случайной величины? б) при ограничении на дисперсию случайной величины?

8.как связанны между собой понятия количества информации и эн­ тропии?

9.Сформулируйте основные свойства количества информации.

10.В чем сущность эпсилон-энтропии случайной величины?

6. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКОВ СООБЩЕНИЙ

6.1. Основные определения

Источником сообщений называют устройство, генерирующее сообщение из ансамбля возможных сообщений. То есть источником сообщений может быть объект, состояние которого определяется не­ которым физическим процессом, протекающим во времени или в пространстве по случайному (заранее не известному нам) закону. При передаче и преобразовании информации, как правило, происходит преобразование пространственного распределения во временное.

В зависимости от вида представления сообщения различают дис­ кретные источники, непрерывные источники непрерывного времени и непрерывные источники дискретного времени.

Источник дискретных сообщений формирует дискретные после­ довательности из ограниченного числа элементарных сообщений.

Для источника непрерывных сообщений характерным является не­ прерывное изменение во времени или в пространстве физического пара­ метра, значение которого измеряется или передается на расстояние для получения информации о том или ином явлении, факте, процессе и т.п.

Источник сообщений в теории информации полностью определя­ ется статистическими данными о формируемых им сообщениях.

Источник называется стационарным, если совместное распреде­ ление последовательностей не зависит от их произвольного сдвига по оси дискретного времени. Источник называется источником без па­ мяти, если для любых п и любых последовательностей совместное распределение pn(a,i) представляет собой произведение одномерных распределений для всех моментов времени.

В дальнейшем на протяжении данного курса рассматриваются только стационарные источники. Стационарный источник, не имею­ щий памяти, является простейшей моделью источника информации и носит название постоянного источника.

Генерируемое источником сообщение ЦД представляет собой диск­ ретный или непрерывный процесс, который затем преобразуется в сигнал {S.}, передаваемый по каналу передачи информации. Полученный на при­ емной стороне сигнал {£*}, в общем случае отличный от {5.}, декодиру­ ется в сообщение {А'.}.