книги / Теория информации

квантования и отсутствии помех число уровней квантования на­ ходим из соотношения

Я = («max - “min) /(2>/3a). (4.45)

Однако при неравномерном законе распределения мгновенных значений сигнала квантование с постоянным шагом не является оп­

тимальным по критерию минимума среднеквадратической ошибки а. Кван­ туя участки с менее вероятными значениями сигнала с большим шагом, ука­ занное значение среднеквадратической ошибки можно уменьшить.

Контрольные вопросы

1.В чем сущность процессов дискретизации и квантования?

2.Охарактеризуйте преимущества дискретной и цифровой пере­ дач информации.

3.Сформулируйте общую постановку задачи дискретизации.

4.Каковы основные методы получения координат сигнала?

5.Сравните интерполяционные и экстраполяционные способы востановления сигнала.

6.Что поднимает под среднеквадратическим критерием восста­ новления сигнала?

7.Сформулируйте теорему Котельникова.

8.Перечислите основные свойства функции отсчетов.

9.В чем трудности технической реализации способа передачи не­ прерывных сигналов, основанного на теореме Котельникова?

10.Укажите преимущества и недостатки адаптивной дискретизации.

11.Поясните принцип дискретизации по Железнову.

12.Как определяется шаг квантования по уровню?

13.Как определяется шаг квантования по уровню?

14.Что такое шум квантования?

15.Как рассчитать шаг квантования сигнала при наличии помехи?

5. ЭНТРОПИЯ, КОЛИЧЕСТВО ИНФОРМАЦИИ

Понятое энтропии возникло в связи с необходимостью ввести числен­ ную характеристику неопределенности случайного объекта на некотором этапе его рассмотрения. Все, что мы можем сказать априори о поведении случайного объекта, это указать множество его состояний и указать распре­ деление вероятностей по элементам этого множества. Обратим внимание на то, что различные распределения с различной неопределенностью характе­ ризуют, каше из возможных состояний объекта должно реализоваться. На­ пример, пусть некоторый объект имеет два возможных состояния: А} и Л2; при одних условиях распределение вероятностей характеризуется числами р(А) = 0,99,р(Л2) = 0,01; а в другом случае -p (A t) =р(А2) = 0,5. Очевидно, что в первом случае результатом опыта «почти наверняка» будет реализация состояния Ар во втором же случае неопределенность так велика, что естес­ твенно воздержаться от всяких прогнозов. Приходим к необходимости ко­ личественного описания неопределенности заданного распределения веро­ ятностей. Понятие «неопределенность» естественно связывается с формой распределения, но не с множеством конкретных значений случайной вели­ чины. Поэтому первое требование к мере неопределенности состоит в том, что она должна быть функционалом, т.е. функцией от функции распреде­ ления, и не зависеть от конкретных значений случайной величины. Кроме того, к мере неопределенности должен быть предъявлен еще ряд требова­ ний, таких как непрерывность относительно аргументов, наличие максиму­ ма и дополнительные требования, которые более подробно будут рассмот­ рены ниже. Важно подчеркнуть, что такой комплекс разумно выдвинутых требований к мере неопределенности допускает единственную форму фун­ кционала, который по ряду причин, подлежащих отдельному обсуждению, и назван энтропией случайного объекта.

Термин «энтропия» был введен в 1865 году Р. Клаузиусом для ха­ рактеристики процессов превращения энергии (дословно, с греческого, энтропия означает превращение, обращение). В 1877 году Л. Больцман дал этому понятию статистическое толкование и сформулировал с его помощью второй закон термодинамики. В последующем понятие энт­ ропии стали широко применять в статистической физике и математике.

В 1948 году понятие энтропии использовал К. Шеннон в качестве ос­ новы информационной метрики для абстрактной модели системы связи в созданной им статистической теории информации. В абстрактной моде­

ли, являющейся объектом анализа в статистической теории информации, любое сообщение представляет собой результат выбора из некоторого ансамбля возможных сообщений, ансамбля, которому присуща некоторая степень неопределенности; если же состояние ансамбля известно, то нет необходимости в сообщении. Совершенно очевидно, что степень неопре­ деленности ансамбля зависит от числа событий и их вероятностей, при этом под ансамблем понимается поле случайных несовместных событий из некоторого множества с известным распределением вероятностей, со­ ставляющих в сумме единицу. В качестве меры априорной неопределен­ ности такого ансамбля событий (и, следовательно, его информативности) в статистической теории информации принята величина энтропии.

5.1. Энтропия и ее свойства

Изучение информационных характеристик сообщений, сигналов и их свойств целесообразно начать с определения и анализа дискретных ан­ самблей и источников. Будем рассматривать множество сообщений A={av

..., ак}, состоящее из конечного числа К элементов ак. (Принято обозначать сами множества прописными буквами, а строчными - элементы этих мно­ жеств.) Предположим, что на множестве А задано распределение р(а), где каждому элементу ак из А соответствует значение вероятности р(ак) > О, X Р(ак) = 1 • Множество А с заданным на нем распределением р(а) называют дискретным ансамблем сообщений, обозначая его (А,р(а)}.

Рассмотрим теперь два множества сообщений А и В, содержащих конечное число элементов К а N соответственно. Будем называть мно­ жество, элементы которого представляют все возможные упорядоченные пары (apbpj е [1, N], произведением А и В, обозначая его как АВ. Из оп­ ределения следует, что в общем случае АВ и В А - различные множества. Если множества А и В совпадают, используется обозначение Аг

Для множества АВ с заданным совместным распределением р(а,Ь) определен дискретный ансамбль {АВ, р(а,Ь)}. При определении АВ задаются еще два ансамбля А и В (на основании свойства согласован­ ности распределений дискретной случайной величины р(а) = £ р(а,Ь),

р(Ь) = ^р(а,Ь) р{а)). А и В называют ансамблями статистически неза­

висимых сообщений, если р(а, Ь) =р{а) р(Ь).

При наличии статистической зависимости сообщений величина, оп­ ределяемая соотношением р (Ь. | а .) = р (а., 6у) / р (а) (предполагается, что р (а.) Ф 0), называется условной вероятностью сообщения Ь. при ус­ ловии, что сообщение а. фиксировано (задано). Известно, что множество условных вероятностей относительно фиксированного сообщения а., по­ лучаемое при переборе всех значений индекса j, удовлетворяет общему определению распределения вероятностей. Это есть условное распределе­ ние на множестве В относительно заданного сообщения а.. Аналогичным образом задается условное распределение на множестве А относительно сообщения Ь.. Отсюда следует, что задание ансамбля {АВ, р(а,Ь)} опреде­ ляет еще два «условных» ансамбля сообщений {А,р(а | Ь)} и {В,р (b | а)}. При определении условных ансамблей предполагается, что в исходных ансамблях не существует сообщений с нулевой вероятностью.

Дальнейшее обобщение понятия ансамбля сообщений связывают с произведением A t, А2,..., Ан, представляющим собой множество всех последовательностей а1, а2,..., а(п) длины п, таких, что первый элемент принадлежит множеству Л, и т.д. (надстрочный индекс обозначает но­ мер элемента в последовательности). При этом образуется ансамбль, обозначаемый [Л,,..., Аи, p {d '\ а(2\..., д(',))]. При совпадении всех эле­ ментов произведения А {, А2,..., Аписпользуется обозначение А". Таким образом, представляется множество всех последовательностей длины п, образованных из элементов множества Л. Очевидно, что все законо­ мерности, отмеченные при рассмотрении частного случая п = 2, при необходимости могут быть обобщены на произведение и ансамблей.

Энтропия ансамбля сообщений. Рассмотрим источник дискрет­ ных сообщений, характеризуемый ансамблем сообщений {А, р(а)}, у которого р(ак) Ф0.

Для неслучайной характеристики ансамбля сообщений вводят понятие

энтропии. Математическое оэ/сидание случайной величины i[a), опреде­ ленной на ансамбле {А,р[а)}, называется энтропией (Н) этого ансамбля:

ЛА

Величину i(ak), определяемую соотношением

называют количеством собственной информации (или собственно инфор­ мацией) в сообщении ак е А. Собственная информация, определенная (5.2) как функция случайного события, является случайной величиной.

Понятие энтропии в теории информации является основополагаю­ щим. Количество информации, которое может быть получено от источ­ ника, оказывается тем большим, чем большей энтропией обладает ис­ точник. Количество информации трактуется как мера неопределенности, связанная с ожидаемым от источника сообщением. Сообщение является тем более неопределенным (неожиданным), чем оно оказывается менее вероятным. В общем случае с увеличением числа возможных состояний и уменьшением их вероятности энтропия источника возрастает. Чем выше энтропия источника, тем сложнее передать сообщение от этого источника по каналу связи (хотя бы с точки зрения энергетических затрат).

Рассмотрим основные свойства энтропии.

1. Энтропия всякого дискретного ансамбля неотрицательна: Н{А) Л 0. Равенство нулю имеет место в том и только в том случае, ког­ да в ансамбле существует сообщение, вероятность которого 1; при этом вероятности остальных сообщений равны 0. Неотрицательность следует из того, что собственная информация каждого сообщения ансамбля неот­ рицательна.

2.Пусть К - число сообщений в ансамбле. Тогда

Отсюда следует неравенство в (5.3). Равенство имеет место только тогда, когда р{а) = МК для всех а е А (равенство в (5.4) справедли­ во только при х= 1).

воряет всем свойствам безусловных распределений, и, следовательно, при задании АВ задаются также условные ансамбли {А | Ь,р(а \ Ь)} п{В\а, рф \ а)}; предполагается, что р(а) и р{Ь) не равны 0. Для каждого сообще­ ния а в ансамбле {А 1b, р(а 1Ь)} определена собственная информация

называемая условной собственной информацией сообщения а при фикси­ рованном сообщении Ь. Математическое ожидание условной информации

называется условной энтропией ансамбля А относительно сообщения Ь. Математической ожидание Н(А\В) случайной величины Н(А\Ь), определенной на ансамбле {В,р(Ь)}, называется условной энтропией

ансамбля А относительно ансамбля В:

Таким же образом убеждаемся в справедливости равенства

АВ

Математическое ожидание собственной информации пары сооб­ щений i{a,b) = - log рф,Ь) представляет собой энтропию (совместную энтропию) ансамбля АВ:

Продолжим рассмотрение свойств энтропии, условной и совместной энтропии.

1. Из определения условной вероятности р{а,Ь) =р{а)р(Ь \ а) сле­ дует, что

Н (A ,B )= -Z P {а,Ь)logр{а \Ь )-£ Р(а,Ь)logр{а) = Н{В | А)+Н(А),

и аналогично Н(АВ) = Н(А | В) + Н(В). Эти свойства также называются свойствами аддитивности энтропии.

2. Условная энтропия не превосходит безусловной энтропии того же ансамбля: Н(А \ В) < Н{А), причем равенство имеет место в том и только в том случае, когда ансамбли А и В статистически независимы. Доказательство проводится аналогично доказательству справедливости неравенства (5.3) с использованием неравенства (5.4) для логарифма:

Равенство выполняется в том и только в том случае, когдар(а, Ь) = = р{а)р{Ь) для всех а и Ь, т.е. когда ансамбли А и В статистически не­ зависимы.

Рассмотрим частный случай, когда В = А, так что а = а(|), b = а(2). Тогда на основании свойств 1 и 2 можно сделать вывод, что совместная энтропия Н(А, А) = Н(А2) имеет наибольшее значение, равное 2Н(А), когда сообщения в ансамбле А не имеют статистической связи.

3. Из свойства 2 условной энтропии вытекает следующая законо­ мерность. Зададим на ансамбле {А,р(а)} отображение <р(а) множества А в множество X, определяющее ансамбль (Х,р(х)} следующим образом:

р ( х )= Zр ( а У

а :у (а }= х

Тогда Н(Х) < Н{А)\ знак равенства имеет место только в том слу­ чае, когда отображение ср(а) обратимо, т.е. когда каждому элементу х соответствует единственный элемент а. Для доказательства можно вос­ пользоваться равенством р(а, х) =р{а)р{х \ а), где р(х \ а) = 1, когда х = (р(а), и р(х \а) = 0 для остальных х, т.е. когда каждое сообщение ансам­ бля А однозначно определяет сообщение ансамбля X. Тогда Н (Х\ А) - 0, и из аддитивности и неотрицательности энтропии получим, что

Н{Х) < Н{Х) + Н(А\Х) = Н[А) + Н(Х\А) = Н(А).

Отсюда следует вывод, что при произвольных отображениях ц>{а) энтропия не возрастает. Энтропия не изменяется только тогда, когда Н{А | X) = 0, т.е. когда ансамбль X взаимно однозначно отображает ансамбль А.

4. Для трех совместно заданных ансамблей {ABG,p{a,b,g)} спра­ ведливо неравенство Н(А \ BG) < Н[А \ В), которое доказывается ана­ логично проведенному при рассмотрении свойства 2. Равенство здесь имеет место при статистической независимости ансамблей А и G. Это неравенство легко обобщается на случай п совместно заданных ан­

самблей. При этом оказывается справедливым утверждение [1], что < £ Н(А). Знак равенства имеет место в случае статистичес­

кой независимости сообщений в ансамблякА.,...^4п.

5.3. Энтропия непрерывного источника информации (дифференциальная энтропия)

На практике в основном встречаемся с источниками информации, множество возможных состояний которых составляет континуум. Та­ кие источники называют непрерывными источниками информации.

Во многих случаях они преобразуются в дискретные посредством использования устройств дискретизации и квантования. Вместе с тем существует немало и таких систем, в которых информация передает­ ся и преобразуется непосредственно в форме непрерывных сигналов. Примерами могут служить системы телефонной связи и телевидения.

Оценка неопределенности выбора для непрерывного источника информации имеет определенную специфику. Во-первых, значения, реализуемые источником, математически отображаются непрерыв­ ной случайной величиной. Причем понятие «непрерывность» имеет смысл только для количеств, так что объект с континуумом возможных состояний - это по необходимости количественная случайная величи­ на. Во-вторых, вероятности значений этой случайной величины не мо­ гут использоваться для оценки неопределенности, поскольку в данном случае вероятность любого конкретного значения равна нулю.

Естественно, однако, связать неопределенность выбора значения не­ прерывной случайной величины с плотностью распределения вероятнос­ тей (являющейся в общем случае размерной величиной) этих значений.

Понятие энтропии (5.1) обобщено Шенноном на случай непрерыв­ ных сообщений x{t). Чтобы не иметь дела с логарифмами размерных величин, введем в рассмотрение безразмерную случайную величину х =x’/xQ, где х - размерная случайная величина, х0- единица ее измере­ ния. Тогда и плотность вероятностир(х) будет безразмерной функцией.

Пусть, например, x(t) приближенно представляется дискретной (с интервалом дискретизации At) последовательностью квантованных отсчетов с шагом квантования Дх. Тогда в пределах изменения непре­ рывного сообщения ± х тах будем иметь т = {2хт^\Ах + 1) квантованных