книги / Теория информации

мехи на полезный сигнал проявляется в непредсказуемых искажениях его формы. Математическая модель помехи представляется также в виде случайного процесса, характеризующегося параметрами, опре­ деленными на основе экспериментального исследования. Вероятност­ ные свойства помехи, как правило, отличны от свойств полезного сиг­ нала, что и лежит в основе методов их разделения.

Учитывая, что все фундаментальные выводы теории информации базируются на указанном статистическом подходе при описании сиг­ налов (и помех), уточним основные характеристики случайного про­ цесса как модели сигнала.

Под случайньш (стохастическим) процессом подразумевают та­ кую случайную функцию времени U (/), значения которой в каждый момент времени случайны. Конкретный вид случайного процесса, зарегистрированный в определенном опыте, называют реализаци­ ей случайного процесса. Точно предсказать, какой будет реализация в очередном опыте, принципиально невозможно. Могут быть опреде­ лены лишь статистические данные, характеризующие все множество возможных реализаций, называемое ансамблем. Ценность таких мо­ делей сигналов в том, что появляется возможность судить о поведении информационной системы не по отношению к конкретной реализации, а по отношению ко всему ансамблю возможных реализаций.

Основными признаками, по которым классифицируются случай­ ные процессы, являются: пространство состояний, временной пара­ метр и статистические зависимости между случайными величинами U (f) в разные моменты времени

Пространством состояний называют множество возможных зна­ чений случайной величины U (t.). Случайный процесс, у которого множество состояний составляет континуум, а изменения состояний возможны в любые моменты времени, называют непрерывным слу­ чайным процессом. Если же изменения состояний допускаются лишь в конечном или счетном числе моментов времени, то говорят о непре­ рывной случайной последовательности.

Случайный процесс с конечным множеством состояний, кото­ рые могут изменяться в произвольные моменты времени, называют дискретным случайным процессом. Если же изменения состояний возможны только в конечном или счетном числе моментов време­ ни, то говорят о дискретных случайных последовательностях.

Так как в современных информационных системах предпочтение отдается цифровым методам передачи и преобразования информа­ ции, то непрерывные сигналы с датчиков, как правило, преобразуются в дискретные, описываемые дискретными случайными последова­ тельностями. Вопросы такого преобразования рассмотрены в гл. 4

Среди случайных процессов с дискрегным множеством состояний нас будут интересовать такие, у которых статистические зависимости распро­ страняются на ограниченное число к следующих друг за другом значений. Они называются обобщенными марковскими процессами к-го порядка.

В ряде практически важных задач случайный процесс наряду с веро­ ятностным описанием можно описать совокупностью неслучайных чис­ ловых характеристик, постоянных или меняющихся во времени. От этих характеристик требуется, чтобы в условиях конкретно поставленной зада­ чи они отражали самое существенное случайного процесса. Вероятнос­ тными характеристиками совокупности большого числа реализаций (ан­ самбля реализаций) являются законы распределения, которые могут быть получены теоретически или на основе экспериментальных данных.

Законы распределения являются достаточно полными характе­ ристиками случайного процесса. Однако они сложны и требуют для своего определения обработки большого экспериментального матери­ ала. Кроме того, такое подробное описание процесса не всегда бывает нужным. Для решения многих практических задач достаточно знать более простые (хотя и менее полные) характеристики случайного про­ цесса. Такими характеристиками являются средние значения и функ­ ция корреляции случайного процесса.

Имеется несколько различных подходов к тому, как вводить вероятностную меру на множестве реализаций. Для инженерных приложений оказывается удобным определение случайного про­ цесса как такой функции времени х(/), значение которой в каждый данный момент является случайной величиной. Случайная вели­ чина полностью характеризуется распределением вероятностей, например плотностью P ^ x J/,); однако, чтобы охарактеризовать случайный процесс, нужно описать, связаны ли (и если да, то как) значения реализации, разделенные некоторыми интервалами времени. Так как связь только двух таких значений, описываемая распределением второго порядка Р 2(х,, х2|tv t7), может неполно ха­ рактеризовать процесс в целом, вводят распределения третьего,

четвертого, л-го порядков: Рп (*,, хп \ t{, tn). В конкретных задачах обычно ясно, до какого порядка следует доходить в описа­ ний процесса.

В ряде практически важных задач случайный процесс наряду с ве­ роятностным описанием можно описать совокупностью неслучайных числовых характеристик, постоянных или меняющихся во времени. От эти* характеристик требуется, чтобы в условиях конкретно поставлен­ ной задачи они отражали самое существенное случайного процесса.

Вероятностные характеристики случайного процесса. В соот­ ветствии с определением случайный процесс U (t) может быть описан системой N обычно зависимых случайных величин U. = U (t,) ,..., U. = U (/.), •••> UN= U (/w), взятых в различные моменты времени t1... t. ... При неограниченном увеличении числа N такая система эквивалентна рассмат­ риваемому случайному процессу U (/). Исчерпывающей характеристикой указанной системы является TV-мерная плотность вероятности pN(С/,,...

ТУ,..., tr ). Она позволяет вычислить вероятность PN реализации, значения которой в моменты времени l2,...,tHбудут находиться соответс­ твенно в интервалах (м,, м, +Ди|}, ..., (ирм.+Ды.),.... (и^ uN+AuN) , где и. (1< i <п) - значение, принимаемое случайной величиной Uf

Если Ди. выбраны достаточно малыми, то справедливо соотношение

p N ~Рп (“ р tN) Д « ,,..., Дм, ..., Дик Получение TV-мерной плотности вероятности на основе экспери­

мента предполагает статистическую обработку реализаций, получен­ ных одновременно от большого числа идентичных источников данного случайного процесса. При больших N это является чрезвычайно трудо­ емким и дорогостоящим делом, а последующее использование резуль­ татов наталкивается на существенные математические трудности.

На практике в таком подробном описании нет необходимости. Обыч­ но ограничиваются одноили двумерной плотностью вероятности.

Одномерная плотность вероятности/?, (С/,; ?,) случайного процесса U(t) характеризует распределение одной случайной величины £/,, взятой в произвольный момент времени tv В ней не находит отражения зависи­ мость случайных величин в различные моменты времени.

Двумерная плотность вероятности р 2 = р 2 ({У,, U2; f,, /2) позво­ ляет определить вероятность совместной реализации любых двух значений случайных величин J7, и U2 в произвольные моменты времени f, и t2 и, следовательно, оценить динамику развития про­

цесса. Одномерную плотность вероятности случайного процесса U(t) можно получить из двумерной плотности, воспользовавшись соотношением

в практических приложениях часто приводит к неоправданным услож­ нениям. В большинстве случаев оказывается достаточно знания про­ стейших характеристик случайного процесса, аналогичных числовым характеристикам случайных величин. Наиболее распространенными из них являются моментные функции первых двух порядков: матема­ тическое ожидание и дисперсия, а также корреляционная функция.

Математическим ожиданием случайного процесса U(t) на­ зывают неслучайную функцию времени mu(tj), которая при лю­ бом аргументе tt равна среднему значению случайной величины {/(/,) по всему множеству возможных реализаций:

О

где U(tt) - /я (^) - центрированная случайная величина.

Случайные процессы могут иметь одинаковые математические ожидания и дисперсии, однако резко различаться по быстроте измене­ ний своих значений во времени.

Для оценки степени статистической зависимости мгновенных значений процесса U(t) в произвольные моменты времени /, и t2 ис­ пользуется неслучайная функция аргументов Ru (t] t2), называемая ав­ токорреляционной или просто корреляционной функцией.

При конкретных аргументах /, и t2 она равна корреляционному моменту значений процесса £/(*,) и U(Q:

Для сравнения различных случайных процессов вместо корреля­ ционной функции удобно пользоваться нормированной функцией ав­

Следовательно, дисперсию случайного процесса можно рассмат­ ривать как частное значение автокорреляционной функции.

Аналогично устанавливается мера связи между двумя случайны­ ми процессами U(t) и V(t). Она называется функцией взаимной корре­

3.4. Стационарные и эргодические случайные процессы

Случайные процессы различаются по степени однородности протека­ ния их во времени. В общем случае процесс может иметь определенную тенденцию развития и характеристики, зависящие от начала отсчета вре­ мени. Такие случайные процессы называются нестационарными.

Для описания сигнала математическая модель в виде нестацио­ нарного случайного процесса подходит наилучшим образом, но не­ конструктивна в силу своей чрезмерной сложности.

Поэтому очень часто вводят предположение о стационарности случайного процесса, что позволяет существенно упростить матема­ тический аппарат исследования. Случайный процесс называют стаци­ онарным в узком смысле, если выражения для плотностей вероятности не зависят от начала отсчета времени, т. е. справедливо соотношение

= PN W 1 /у,tt + т , t/i + т)

(3.37)

Г р

где u i - случайная величина, отражающая значение процесса в мо­ мент времени t = /. + т ( т - произвольное число).

Иначе говоря, стационарность процесса предполагает его сущес­ твование и статистическую однородность во всем диапазоне времени от —оо до 00.

Такое предположение противоречит физическим свойствам реаль­ ных сигналов, в частности тому, что всякий реальный сигнал сущес­ твует лишь в течение конечного отрезка времени. Однако аналогично установившимся детерминированным процессам случайные процес­ сы, протекающие в установившемся режиме системы при неизменных внешних условиях на определенных отрезках времени, с известным приближением можно рассматривать как стационарные.

При решении многих технических задач вдут на дальнейшее упрощение модели, рассматривая случайный процесс стационарным в широком смысле. Процесс U(t) принято называть стационарным в широ­ ком смысле, если выполняется условие постоянства математического ожи­ дания и дисперсии, а корреляционная функция не зависит от начала отсче­ та времени и является функцией только одного аргумента x —t2 — т.е.

Так как условие постоянства дисперсии является частным случа­ ем требования к корреляционной функции при т = 0:

А Х ',) = а д , / , ) = /^(0 ) = const,

то выполнения соотношений (3.38) и (3.40) достаточно, чтобы рас­ сматривать случайный процесс U(t) как стационарный.

Всякий стационарный случайный процесс является стационар­ ным в широком смысле. В дальнейшем, если это не оговорено особо, стационарность будем рассматривать в широком смысле.

Случайные процессы, наблюдаемые в устойчиво работающих реальных системах, имеют конечное время корреляции. Поэтому для стационарных процессов, представляющих практический интерес,

Если для случайного процесса равенства (3.38), (3.40) не выдержива­ ются, но на интересующем нас интервале времени изменением указанных параметров можно пренебречь, его называют квазистсщионарным.

Среди стационарных случайных процессов многие удовлетворяют свойству эргодичности. Оно проявляется в том, что каждая реализация случайного процесса достаточной продолжительности несет практически полную информацию о свойствах всего ансамбля реализаций, что позво­ ляет существенно упростить процедуру определения статистических ха­ рактеристик, заменяя усреднение значений по ансамблю реализаций ус­ реднением значений одной реализации за длительный интервал времени.

Следовательно, для стационарных эргодических процессов спра­ ведливы соотношения

где u(t) - конкретная реализация случайного процесса U(t). Результаты исследования случайных процессов в их временном

представлении, т.е. с использованием формул (3.42) и (3.44), лежат в основе корреляционной теории сигналов.

Для облегчения практического определения корреляционных функций в соответствии с (3.44) серийно выпускаются специаль­ ные вычислительные устройства - коррелометры (корреляторы).

Приведем примеры, с которыми часто имеют дело в теории сигналов.

3.5. Некоторые модели ансамбля реализаций

Гауссовский случайный процесс. Удобной моделью помех и не­ которых полезных сигналов является стационарный нормальный слу­ чайный процесс. Случайные мгновенные значения величины x(t) пред­ полагаются подчиненными нормальному закону (с нулевым средним), т.е. плотность распределения первого порядка выражается формулой

Нормальный (гауссовский) закон распределения случайных вели­ чин чаще других встречается в природе. Нормальный процесс особенно характерен для помех в каналах связи. Он очень удобен для анализа. Поэтому случайные процессы, распределение которых не слишком от­ личается от нормального, часто заменяют гауссовским процессом.

В данном случае рассматривается стационарный и эргодический гаус­ совский процесс. Поэтому под /и. и о. можно подразумевать соответственно постоянную составляющую и среднюю мощность флукгуационной состав­ ляющей одной (достаточно длительной) реализации случайного процесса.

Графики плотности вероятности при нормальном законе для не­ которых значений ох изображены на рис. 3.4. Функция р(х) симмет­ рична относительно среднего значения. Чем больше ах, тем меньше максимум, а кривая становится более пологой (площадь под кривой р{х) равна единице при любых значениях о .).

Широкое распространение нормального закона распределения в при­ роде объясняется тем, что при суммировании достаточно большого числа независимых или слабозависимых случайныхвеличинраспределение суммы близко к нормальному при любом распределении отдельных слагаемых.

Это положение, сформулированное в 1901 г. А.М. Ляпуновым, по­ лучило название центральной предельной теоремы.

Наглядными физическими примерами случайного процесса с нор­ мальным законом распределения являются шумы, обусловленные теп­ ловым движением свободных электронов в проводниках электрической цепи или дробовым эффектом в электронных приборах. Не только шумы и помехи, но и полезные сигналы, являющиеся суммой большого числа не­ зависимых случайных элементарных сигналов, например, гармонических колебаний со случайной фазой или амплитудой, часто можно трактовать как гауссовские случайные процессы.