1.2. Дискретизация непрерывных сообщений

Для представления количественной информации чаще всего используются числа. По сравнению с представлением велечин непрерывными зависимостями они дают значительного преимущества в возможности обработки и хранения информации. Именно поэтому непрерывные сообщения часто «оцифровывают», т.е. представляют как последовательность чисел.

Любое непрерывное сообщение можно преобразовать к дискретному, тогда как обратное преобразование не всегда возможно.

Действительно, непрерывную зависимомть некоторых величин можно дискретизировать, если задавать их соответствие в ограниченном наборе точек. При этом точность такого преобразования принципиально может быть задана достаточно высокой, чтобы не потерять информацию. А вот однозначно восстановить неизвестную кривую по ограниченному набору точек возможно не всегда.

В зависимости от того, какие значения могут принимать аргумент (время t) и уровни сигналов их делят на 4 типа:

Непрерывный или аналоговый сигналы (рис.1.1). Случайные сигналы этого типа называются непрерывными случайными процессами. Они определены для всех моментов времени и могут принимать все значения из заданного диапазона. Чаще всего физические процессы, порождающие сигналы являются непрерывными. Этим и объясняется второе название сигналов данного типа аналоговый, т.е. аналогичные порождающим процессам.

Рис.1.1. Аналоговый сигнал

Дискретизированный или дискретно непрерывные сигналы (рис.1.2). Случайные сигналы этого типа называют процессами с дискретным временем или непрерывными случайными последовательностями. Они определены лишь в отдельные моменты времени и могут принимать любые значения уровня. Временной интервал ∆t между соседними отсчетами называется шагом дискретизации. Часто такие сигналы называют дискретными по времени.

Дискретные по уровню или квантованные сигналы (рис.1.3). Случайные сигналы этого типа называют дискретными случайными процессами. Они определены для всех моментов времени и принимают лишь разрешенные значения уровней отделенные от друг друга на величину шага квантования ∆x=x_k+1+x_k

Рис.1.2. Дискретизированный сигнал

Рис.1.3. Квантованный сигнал

Дискретные по уровню и по времени сигналы (рис.1.4). Случайные сигналы этого типа называют дискретными случайными последовательностями. Они определены лишь в отдельные разрешенные моменты времени и могут принимать лишь разрешенные значения уровней.

Рис. 1.4. Дискретный по уровню и времени сигнал

2. Дискретные ансамбли и источники

2.1. Основные понятия

Основным объектом изучения в этой главе будут дискретные источники сообщений. Здесь мы дадим определения, необходимые для описания математических моделей источников.

Описание источников удобно начать с определения дискретных вероятностных ансамблей. Пусть X = {х₁ ,..., х_м} — множество, состоящее из М элементов. Прописные латинские буквы X, У и т. д. будут обозначать сами множества, а соответствующие строчные буквы х, у и т. д. будут обозначать элементы множеств. Иногда элементы множеств мы будем снабжать подстрочными индексами, как это сделано выше. Такой индекс представляет собой номер элемента в множестве. Хотя для большинства случаев природа элементов несущественна, мы будем называть элементы множеств X сообщениями, подчеркивая тем самым область приложения теории.

Говорят, что на конечном множестве X задано распределение вероятностей р (х), если каждому элементу x_iX сопоставлено число р (х_i), причем р (х_i)>0, i= 1, 2, ..., М,

(2.1)

Пусть А есть подмножество множества X, A X. Число

представляет собой вероятность того, что при случайном выборе сообщения из множества X в соответствии с распределением p(х), будет выбрано сообщение, принадлежащее множеству А. Число Р_r(А) называют также вероятностью множества А.

Пример 2.1. Пусть X — множество сообщений о результатах бросания правильной игральной кости. Тогда X — {х₁ ,..., х₆ }, р(х_i)=1/6 , i= = 1, ..., 6, причем х_i есть сообщение о том, что выпало i очков. Если А = {х₂, х₄, х₆}, то Рr(A)=3*1/6=1/2 есть вероятность того, что при бросании кости выпало четное число очков.

Сообщения х_iX иногда называют элементарными событиями. Как показывает предыдущая формула, могут одновременно рассматриваться как элементарные события, так и более сложные события, являющиеся объединением некоторого числа элементарных. Мы используем различные обозначения для вероятностей таких событии: р (х_i) — для элементарных событий и Рr(А) — для множества А, образованного элементарными событиями х_iА. Это различие не принципиально, но делает некоторые формулы наглядными.

Конечное множество X вместе с заданным на нем распределением вероятностей р(х) называется дискретным вероятностным ансамблем или коротко — дискретным ансамблем (сообщений) и обозначается символом {Х, р (х)}. В тех случаях, когда из контекста видно, о каком распределении вероятностей идет речь или когда точное описание распределения несущественно, мы будем обозначать ансамбль через X.

Пусть X = {х₁ ,..., х_м} и Y ={у₁ ,..., y_N } - два конечных множества. Множество, элементы которого представляют собой все возможные упорядоченные пары (x_i, у_j), x_iX, y_jY, i=1,..., M, j=1,..., N, называется произведением множеств Х и Y и обозначается через XY. Согласно этому определению XY и YX суть различные множества. Если множества X и Y coвпадают, X = Y, то произведение XY обозначается как X ². Аналогичным образом определяются произведения более чем двух множеств. Произведение Х₁Х₂...Х_п представляет собой множество всех последовательностей (х⁽¹⁾, х⁽²⁾, ..., х⁽ⁿ⁾) длины п таких, что первый элемент x⁽¹⁾ принадлежит множеству Х₁, второй х⁽²⁾ множеству Х₂ и т. д., n-й элемент принадлежит множеству X_n (надстрочный индекс обозначает номер элемента в последовательности, другими словами, х⁽ⁱ⁾— элемент, расположенный на i-м месте последовательности). Если все множества совпадают между собой и с множеством X, то такое произведение обозначается как Xⁿ. Таким образом, X^{n -} это множество всех последовательностей длины п, образованных из элементов множества X.

Пусть XY есть произведение двух конечных множеств X и Y и на множестве XY задано совместное распределение вероятностей р(х, у), которое каждой паре (x_i, у_j), x_iX, y_jY, сопоставляет вероятность р(x_i, у_j). Очевидно, что соотношения

i=1,2,…,M (2.2)

j=1,2,…,N (2.3)

задают распределения вероятностей р₁(х) и p₂(у) на множествах X и Y соответственно. Таким образом, при задании ансамбля {XY, р(х,у)}фактически задаются еще два ансамбля {X, р₁ (х)} и {Y, р₂ (у)}. Иногда, имея в виду ансамбль {XY, р(х,у)}, будем говорить, что совместно заданы два ансамбля X и Y. Это будет означать, что распределения вероятностей на множествах Х и Y определяются по формулам (2.2) и (2.3), исходя из распределения вероятностей р(х,у) на множестве XY.

Если распределение вероятностей на произведении двух множеств X и Y удовлетворяет условию

p(x_i, y_j)= p₁(x_i)p₂(y_j) для всех x_i X, y_jY, (2.4)

то ансамбли X и Y называются статистически независимыми В противном случае говорят, что эти ансамбли статистически зависимы.

Пусть задан ансамбль {XY, р (х, у)}, предположим, что x_i - такой элемент множества X, для которого p_i (х_i) 0. Число

(2.5)

называется условной вероятностью сообщения y_j при условии, что сообщение x_i известно (иногда это число называют условной вероятностью сообщения у_j относительно сообщения x_i). Легко увидеть, что множество условных вероятностей относительно фиксированного сообщения x_i, которое получается, когда индекс j пробегает все возможные значения, удовлетворяет определению распределения вероятностей (2.1). Такое распределение называется условным распределением на множестве Y относительно фиксированного сообщения х_i; заметим, что (2.3) определяет так называемое безусловное распределение на Y. Понятно, чтоаналогичные распределения могут быть определены также на множестве X. Таким образом, задание ансамбля {XY, р(х, у)} определяет также условные ансамбли {X, р (х| у)}, p₂(у) 0, и {Y, р (у|x)}, p₁(x) 0.

Опишем теперь общее семейство условных ансамблей, которые образуются при совместном задании двух ансамблей. Пусть А — произвольное подмножество элементов из X такое, что Pr₁(A) , где распределение р₁ (х) определено выше. Число

(2.6)

называется условной вероятностью сообщения у_j при условии, что сообщение x_i принадлежит множеству А (или условной вероятностью относительно множества А). Легко видеть, что множество условных вероятностей относительно фиксированного множества А, которое получается, когда индекс j пробегает все возможные значения, снова удовлетворяет определению распределения вероятностей. Такое распределение называется условным распределением на множестве Y относительно фиксированного множества А. Если выбрать А = X, то р (у_j|А)=р₂(y_j). Таким образом, условное распределение относительно множества X — это просто безусловное распределение на Y. Если А состоит из одного элемента, скажем х_i, то р (у_j | А) равно вероятности, определенной в (2.5).

Аналогичные условные распределения могут быть определены также для множества X. Тем самым определены условные ансамбли {X, р (х|B), В  Y, Pr₂ (В)  0 и {Y, р(у|A)}, А  X, Рr₁ (А)  0.

Рассмотрим произведение п множеств X₁ ... Х_п и распределение вероятностей р (х⁽¹⁾, ..., х⁽ⁿ⁾), x⁽ⁱ⁾ X_i , i = 1, ..., п, заданное на этом произведении. Другими словами, рассмотрим вероятностный ансамбль {Х₁ ... Х_п, р(х⁽¹⁾,..., x⁽ⁿ⁾)}. Пусть

(2.7)

Соотношения (2.7) задают безусловные распределения вероятностей на множествах Х₁, X₂, ..., Х_п соответственно. Если для любых х⁽¹⁾ Х₁ ,..., x⁽ⁿ⁾ Х_п имеет место равенство

p(x⁽¹⁾,...,х⁽ⁿ⁾)=p₁(x⁽¹⁾)...p_n(x⁽ⁿ⁾) (2.8)

то ансамбли X₁ ,..., Х_п называют статистически независимыми.

При совместном задании п ансамблей Х₁, ..., Х_п оказываются совместно заданными всевозможные совокупности по т  п ансамблей. Так, ансамбль определяется с помощью следующего соотношения, которое дает безусловное распределение вероятностей на произведении множеств :

, (2.9)

где суммирование производится по всем множествам таким, что произведение соответствующим образом упорядоченных множеств , есть множество X₁ ... X_n ({i₁ ,...,i_m}  { j₁,.., j_n-m }=, {i₁,...,i_n-m}  { j₁,.., j_n-m }={1,2, ..., n}). Другими словами, множество X_j участвует в суммировании в (1.1.9), если j не содержится среди чисел i₁,...,i_m.

Вводя по аналогии с (1.1.5) и (1.1.6) условные распределения на множестве Х₁,...,X_im, можно получить различные условные ансамбли.

Пример 2.2. Пусть {X, p₁ (х)} — ансамбль сообщений из примера 2.1, a {У, p₂ (у)} — ансамбль сообщений о результате бросания монеты, Y = {y₁, у₂} и Р₂ (y₁) = Р₂(y₂) = 1/2. Элементы множества XY (произведения множеств X и Y) представляют собой пары сообщений (x_i , y_j), причем первый элемент пары есть сообщение х_i о результате бросания кости, а второй элемент у_j есть сообщение о результате бросания монеты. В случае независимого бросания кости и монеты все пары имеют одинаковые вероятности: р (x_i , у_j) = 1/12 для всех i, j.

Можно представить себе более сложный эксперимент с костью и монетой. Предположим, что вначале бросается кость. Если выпало четное число очков, бросается неправильная монета, у которой вероятность выпадения стороны, соответствующей у₁, равна ¹/₄ (а стороны, соответствующей у₂, — ³/₄). Если же выпало нечетное число очков, то бросается другая неправильная монета, у которой вероятность выпадения стороны, соответствующей у₁, равна ³/₄ (а стороны, соответствующей y₂, — ¹/₄). При таком эксперименте на множестве Y имеются два условных распределения: р (у₁|х) = ¹/₄, p (у₂|x) = ³/₄ при четных х X и р (у₁|х) = ³/₄, р(у₂|x) = ¹/₄ при нечетных xX. Распределение вероятностей на множестве XY указано в следующей таблице:

Нетрудно видеть, что безусловные распределения в этом случае такие же, как и в случае одной симметричной (правильной) монеты, но ансамбли X и Y статистически независимыми не являются.

Р(xi ,yj)	x1	х2	х3	х4	х5	x6
y1	1/8	1/24	1/8	1/24	1/8	1/24
y2	1/24	1/8	1/24	1/8	1/24	1/8

Пример 2.3. Рассмотрим п последовательных бросаний некоторой монеты. Обозначим через Y_i множество сообщений о результате i-го бросания, i = l,2, ..., п, Y_i = {у₁, у₂}. Множество содержит 2ⁿ последовательностей длины п, являющихся сообщениями о результатах n-кратного бросания монеты. Если положить y₁ = 0 и y₂ =1, то множество Yⁿ будет состоять из всех двоичных последовательностей длины п. Рассмотрим теперь два случая, соответствующие независимым и зависимым бросаниям.

Предположим, что бросается правильная монета. Тогда все возможные исходы имеют одинаковые вероятности, равные 2^-n. При каждом бросании сообщения y₁ и y₂ могут появиться с одинаковыми вероятностями. Поэтому для любой последовательности (y⁽¹⁾,..., y⁽ⁿ⁾).

Следовательно, подбрасывание правильной монеты соответствует последовательности независимых испытаний.

Теперь предположим, что имеются две неправильные монеты, описанные в примере 2.2. Сначала наудачу выбирается одна из двух монет. Если результат бросания есть у₁, то для следующего бросания выбирается монета с р (у₁) = ³/₄ и другая монета в противном случае. Затем в зависимости от результата второго подбрасывания аналогичным образом выбирается очередная монета и этот процесс повторяется. Соответствующее такому эксперименту распределение вероятностей задастся следующим образом

,

где

Распределение вероятностей для каждого очередного бросания зависит только от результата одного предыдущего бросания. Соответствующая случайная последовательность y⁽¹⁾ , y⁽²⁾, ..., называется марковской.

Перейдем теперь к описанию дискретных источников. Под дискретным источником понимают некоторое устройство, которое в каждую единицу времени (например, каждую секунду) выбирает одно из сообщений дискретного множества X. Как правило, это множество одно и то же для каждого момента времени, хотя в некоторых случаях для каждого момента времени может быть свое множество сообщений.

С точки зрения теории информации источник считается заданным полностью, если имеется некоторая вероятностная схема (модель), позволяющая вычислить вероятность любого отрезка сообщений. Например, недостаточно сказать, что в качестве источника сообщений рассматривается телеграфный аппарат или передающее телевизионное устройство. Недостаточно также сказать, что известны вероятности букв, появляющихся на выходе телеграфного аппарата, или вероятности импульсов различной амплитуды на выходе телевизионного устройства. Для полного задания источника необходимо дать вероятностное описание процесса появлений сообщений на выходе источника. В примере с телеграфным аппаратом нужно дать такое описание, при котором можно вычислить вероятность любого буквенного сочетания, слова, предложения и т. д. в любой момент времени. Таким образом, если источник задан, то для любых п и i и любой последовательности сообщений (x^{( i+1)}, ..., x⁽ⁱ⁺ⁿ⁾) определена вероятность р (x⁽ⁱ⁺¹⁾, ..., x⁽ⁱ⁺ⁿ⁾) этой последовательности. Верно и обратное, если для любых п и i определены вероятности всех последовательностей сообщений длины п, начинающихся с позиции (i+1), то говорят, что задан источник сообщений. Отсюда следует, что все источники, которые могут иметь совершенно различную физическую природу, задаваемые одним и тем же набором вероятностей последовательностей сообщений, с позиции теории информации отождествляются. Подытожим и уточним сказанное с помощью следующего определения.

Пусть U_х — дискретный источник, выбирающий сообщения из множества X. Будем говорить, что источник U_x задан, если для любых п = 1, 2, ..., любых i=0, ±1, ±2, ... задано семейство распределений вероятностей {р(x⁽ⁱ⁺¹⁾, ..., x⁽ⁱ⁺ⁿ⁾)}, x^(j)X, j=i+1, ..., i+п, удовлетворяющих условию согласованности, состоящему в том, что распределение вероятностей для любого набора позиций i₁ ..., i_m определено однозначным образом.

Распределение вероятности на подпоследовательностях может быть получено с помощью соотношения (2.9), причем многими способами. Например,

Условие согласованности обеспечивает совпадение всех этих распределений.

В определении 2.2 легко усмотреть определение случайного процесса дискретного времени, который в каждый момент времени принимает значение из множества X. Таким образом, определение источника и определение случайного процесса, который генерирует источник, совпадают. Как источник, так и случайный процесс, порождаемый источником, задается своими n-мерными распределениями, п=1, 2, ... Всякое n-мерное распределение вероятностей в общем случае является функцией 2п переменных, i₁ , ..., i_n). В случае дискретных источников и дискретных случайных процессов значение этой функции есть вероятность того, что в фиксированные моменты времени i₁ , ..., i_n источник породит сообщения (или процесс примет значения) соответственно.

В общем случае вероятность некоторого отрезка сообщений зависит как от самого отрезка, так и от его расположения на оси времени. Имеется, однако, важный класс источников, обладающих однородностью во времени или стационарностью. Свойство стационарности состоит в том, что для любого целого числа j вероятности двух одинаковых последовательностей, одна из которых занимает временные позиции i₁,..., i_n, а другая — временные позиции i₁ + j , ..., i_n +j, равны. Другими словами,

p( ; i₁+j, ..., i_n+j) = p(x⁽¹⁾ ..., x⁽ⁿ⁾; i₁ , ..., i_n) (2.10)

при . Мы используем сокращенную форму записи р (x⁽ⁱ⁺¹⁾, ..., x⁽ⁱ⁺ⁿ⁾) вместо р (x⁽ⁱ⁺¹⁾, ..., x⁽ⁱ⁺ⁿ⁾ ; i+1, ..., i + n).

Дискретный источник U_x называется стационарным, если сообщения на его выходе образуют стационарный случайный процесс.

В случае стационарных источников распределение вероятностей не зависит от сдвига по оси времени. Все последовательности, отличающиеся только положением на оси времени, имеют одинаковые вероятности. Поэтому их положение на оси времени можно не оговаривать.

Дискретный источник называется источником без памяти, если для любых п = 1, 2 ..., любых i = 0, ±1, ±2, ... и любых последовательностей (x⁽ⁱ⁺¹⁾,..., x⁽ⁱ⁺ⁿ⁾), x^(j)X, имеет место равенство

(2.11)

В общем случае распределение вероятностей для сообщений на выходе источника в момент времени i зависит от i. Эта зависимость показана с помощью нижнего индекса у сомножителей в правой части соотношения (2.11). Однако в случае стационарных источников, как это следует из (2.10), все одномерные распределения (п = 1) одинаковы для всех моментов времени. Поэтому для стационарных источников без памяти

, (2.12)

где через р (•) обозначено общее для всех моментов времени одномерное распределение.

Заметим, что стационарные источники без памяти иногда называются постоянными.

Пример 2.4. Пусть X и Y — ансамбли примера 2.2. Рассмотрим источник, выбирающий сообщения в четные моменты времени из множества X, а в нечетные — из Y. Такой источник, очевидно, нестационарен. Пусть теперь источник выбирает сообщения из ансамбля Y примера 2.3. Если распределение вероятностей будет такое, как в п. б), то источник будет стационарным, но с памятью. Если же распределение вероятностей такое, как в п. а), то источник будет источником без памяти.

2.2. Случайные величины. Закон больших чисел

Предположим, что {X, p(x)} — дискретный ансамбль (х) — функция, определенная на X={ х₁, ..., х_M} и принимающая значения на числовой оси. Элементы множества X могут иметь произвольную природу, однако (х₁), ..., (х_M) — числа. Всякая действительная функция (х), заданная на произвольном дискретном ансамбле, порождает действительную дискретную случайную величину (или коротко — дискретную случайную величину).

В этой главе будут встречаться только дискретные случайные величины и поэтому мы будем использовать более короткий термин — случайная величина.

Пример 2.5. Сопоставляя каждому сообщению х_iX число i, получим случайную величину — номер сообщения. Сопоставляя каждому сообщению х_iX величину — ln p(х_i), получим другую случайную величину, которая далее определяется как информация в сообщении.

Пример 2.6. Пусть Х={ х₁, ..., х₅} и р(х) — распределение вероятностей на X. Положим (х₁)=3, (х₂)=0, (х₃)= (х₄) = — 1.8, (х₅)=2. Так определенная функция (х) задает случайную величину, принимающую значения — 1.8; 0; 2 и 3, причем вероятности этих значений суть

p(= - 1.8) =p(х₃)+p(х₄), p( =0)=p(х₂),

p(=2)=p(х₅), p(=3)=p(х₁)

Пусть {X, p(x)} — дискретный ансамбль такой, что X — числовое множество. Функция  (х) = x, очевидно, задает случайную величину, для которой X является множеством значений и р(х) — распределением вероятностей. В этом случае случайную величину мы будем обозначать так же, как и ансамбль, а именно X. Вводя в рассмотрение некоторую случайную величину X, мы будем предполагать, что для этой величины определено или может быть определено распределение вероятностей р(х) для всех значений х этой случайной величины (с. в.).

Число

(2.13)

называется математическим ожиданием с. в. X. Число

(2.14)

называется k-м центральным моментом с. в. X. При этом ₂ называется дисперсией. В дальнейшем дисперсия с. в. X будет обозначаться через ²_X. Если Y=(X) есть с. в., определяемая с помощью функции  (•) и ансамбля {X, p₁(x)} (запись Y = (X) означает, что если с. в. X принимает значения х, то с.в. Y принимает значение у=(х). В дальнейшем для упрощения записи мы иногда будем использовать обозначение Y=(x) ), то

, (2.15)

где запись х: (x)=y под знаком суммы означает, что суммирование производится по всем таким х X, что (x) = у.

Основное свойство математического ожидания состоит в том, что математическое ожидание суммы некоторого числа с.в. равно сумме их математических ожиданий:

(2.16)

где ₁,…, _n неслучайные числа. Для обоснования этого соотношения рассмотрим ансамбль {Х₁ ... Х_n, р (х⁽¹⁾,…, х⁽ⁿ⁾)} и положим Y=₁X₁+..._nX_n. Тогда, применяя формулу (2.15), получим

где предпоследнее равенство получается с помощью соотношений (2.7).

Предположим, что совместно заданы две с. в. X и Y, причем р(х, у) — распределение вероятностей на множестве XY всех пар (х, у), где х — значение с. в. X и у — значение с. в. Y. Случайные величины X и Y называются статистически независимыми (иногда — просто независимыми), если р (х, у) = p₁(х)p₂(у) для всех значений х и у.

Число

(2.17)

(2.18)

называется корреляционным моментом случайных величин X и Y. Если с.в. X и Y независимы, то K_XY=0. Действительно, учитывая независимость, получим

Заметим, что из равенства K_XY =0 в общем случае не следует, что с.в. X и Y независимы.

Следующее простое неравенство лежит в основе закона больших чисел — основного теоретико-вероятностного инструмента теории информации.

Пусть с. в. X имеет нулевое математическое ожидание и дисперсию ²_X. Тогда для произвольного положительного 

(2.19)

где Рr(|X|) есть вероятность того, что с. в. X будет по модулю не меньше, чем .

Первое равенство есть определение дисперсии (см. (2.14)). Первое неравенство получается в результате сужения области суммирования до множества таких значений х, модуль которых не меньше . Второе неравенство вытекает из того, что х²  ² для всех x из указанной области суммирования. Наконец, последнее равенство следует из определения вероятности события |X|.