Методическое пособие 362
.pdfЭлементы матрицы:
P(B1/A1)= 0.824 ; P (B2/A1) = 0.176 ;
P (B1/A2) = 0.333 ;P (B2/A2) = 0.667 .
Согласно (3.3), количество информации о режиме работы станции, которое содержится в сообщении о длине ее волны,
I(A,B)=H(B)-H(B/A).
На основании (3.4) можно записать
2 |
2 |
|
|
( |
⁄ ) |
|
|
|
|
|
|
||
( ) = ∑ ∑ ( ) log |
|
|
|
; |
||
|
( ) |
|||||
|
|
|
2 |
|
||
=1 =1 |
|
|
|
|
|
|
|
|
|
|
|
||
I(AB) = 0.102 бит.
3.3. Типовые задачи
Задача 3.3.1. В линию связи посылаются равновероятные и статистически независимые дискретные сигналы x1 и x2 (j = 1 .. 2). Действие помех приводит к тому, что на выходе канала связи имеются сигналы z1, z2 и z3 (i = 1 .. 3) с матрицей условных вероятностей P(zi/xj) при
|
1⁄ |
1⁄ |
|
|
32 |
32 |
|
( ⁄ ) = |
61⁄ |
1⁄ |
, |
|
64 |
64 |
|
|
[ 1⁄64 |
61⁄64] |
|
например, P(z2/x1) = 0.953.
Определить полную взаимную информацию I(X,Z). Ответ. Матрица безусловных вероятностей выходного
сигнала
29
P(z) = ( 0.031 0.484 0.484 )T.
Матрица совместных вероятностей входного и выходного сигналов
0.016 0.016( ) = (0.477 0.008).
0.008 0.477
Полная взаимная информация I(XZ) = 0.853 бит.
Задача 3.3.2. Даны значения H(X) и H(Y). В каких пределах меняется H(x, y) от минимального до максимально возможного значений?
Ответ: От 0 до H(X).
Задача 3.3.3. Определить среднюю взаимную информацию между двумя буквами алфавита, если известно, что средняя энтропия алфавита равна 5 бит, а энтропия на пару букв равняется 8,3 бита.
Ответ: 1,7 бита.
Задача 3.3.4. Какое количество информации в среднем получает человек, определяющий день рождения своего собеседника, когда последний сообщает ему месяц, в котором он родился?
Ответ: 3,6 бита.
Задача 3.3.5. Информация передается путем изменения амплитуды сигнала x, распределенной по нормальному закону
спараметрами − среднее значение m(x) = 0В и дисперсия D(x) = 16 В2. Величина X измеряется регистрирующим устройством
спогрешностью Z, не зависящей от амплитуды сигнала и также распределенной по нормальному закону со средним значением m(z) = 0В и дисперсией D(z) = 9 В2.
Определить количество информации I(X,Y) о величине X, содержащееся в результатах измерения Y=X+Z.
30
Ответ. Количество получаемой информации о величине X при регистрации результата измерения Y=X+Z в среднем на одно измерение
1
( ) = log2 [√ ( ) ( ) + 1] ;
I(XY) = 0.737 бит.
Примечание. Среднее количество информации I(X,Y) определяетсяразностью энтропий результата измерения H(Y) и погрешности измеренияH(Z) при условии нормального распределения величин Z и Y соответственно сдисперсиями D(z) и D
(y) = D(x) + D(z).
Задача 3.3.6. По каналу связи с одинаковыми вероятностями передаются m = 3 статистически независимых сигнала xi(i = 1 .. m). При отсутствии помех передаваемому сигналу xj соответствует на выходе канала сигнал yj(j = 1 .. m). При наличии помех каждый передаваемый сигнал может быть свероятностью p = 0.8 принят правильно и с вероятностью q = 1 - p искажени перейти при этом в любой из остальных выходных сигналов.
Определить среднее количество информации на один сигнал, передаваемое по каналу при наличии и отсутствии помех.
Ответ. Среднее в расчете на один сигнал количество информации, передаваемое по каналу при отсутствии помех,
( ) = log2( );
I(Y) = 1.585 бит.
Среднее количество информации, передаваемое по каналу при наличии помех,
( ) = log2 + log2 + log2 − 1 ;
I(XY) = 0.663 бит.
31
Задача 3.3.7. Система передачи информации характеризуется при m = 4, q = 1/m2 и матрицей P(X,Y) совместных вероятностей
|
|
|
|
|
|
|
|
( ) = [ |
|
|
]. |
|
|
|
|
Определить среднее количество взаимной информации
I(X,Y).
Ответ. Так как величины X и Y независимы, то взаимная информация I(X,Y)=0.
Задача 3.3.8. Радиолокационная станция РЛС противника может работать в метровом диапазоне d1 или в дециметровом диапазоне d2, а также в режиме обзора r1 или в режиме наведения r2. Совместные вероятности этих событий описываются матрицей
( ) = (0.150.6 0.050.2 ).
Вычислить количество частной информации I(R,dj), получаемой относительно режима R(r1,r2) работы РЛС, если система обнаружения сообщает диапазон dj работы станции.
Ответ. Частная информация
( ) = (00..041372) ; ( 1) = 0.041 бит; ( 2) = 0.372 бит.
Задача 3.3.9. Система передачи информации характеризуется матрицей P(X,Y) совместных вероятностей
32
1⁄8 1⁄8 1⁄8
( ) = 1⁄8 0 1⁄8 . [1⁄8 1⁄8 1⁄8]
Определить среднее количество взаимной информации I(X,Y) и количество частной информации I(X,yj), содержащейся в сообщении yjприемника об источнике X в целом.
Ответ. Количество полной и частной информации соответственно
0.025
( ) = 0.123 ; ( ) = [0.415] бит. 0.025
33
4.ОЦЕНКА ИНФОРМАЦИОННЫХ ХАРАКТЕРИСТИК СИСТЕМ
4.1.Основные сведения
|
Избыточность источника |
оценивается коэффициентом |
|||||||
избыточности [2, 4] |
|
|
|
|
|
||||
|
= 1 − |
( ) |
= 1 − |
( ) |
. |
(4.1) |
|||
|
|
|
|
|
|||||
|
|
|
|
||||||
|
|
|
|
|
|
|
|
||
|
Производительность источника − это количество инфор- |
||||||||
мации в сообщении за одну секунду |
|
|
|
||||||
|
Ĩ( ) = |
( ) |
= ( ) · ( ), |
|
(4.2) |
||||
|
|
|
|
||||||
|
( ) |
|
|||||||
где |
τ(x) − средняя длительность |
одного |
сообщения; |
||||||
ν(x) |
− средняя скорость создания сообщения |
источником, |
|||||||
ν(x) = 1 / τ(x). |
|
|
|
|
|
||||
Единица измерения производительности → 1 бит/с.
Скорость передачи информации по каналу − это коли-
чество информации на выходе за одну секунду,
= Ĩ( ) = ( ) · ( )
где νk= 1 / τ(k) − средняя скорость передачи сообщения по каналу; τ(k) − средняя длительность сообщения в канале связи.
Скорость передачи информации также может быть представлена как [6]
= |
|
бит/сек, |
(4.3) |
|
|||
|
|
|
|
где τ — время передачи одного двоичного символа.
Скорость передачи информации всегда определяется относительно первичного алфавита и зависит от его энтропии, а
34
скорость передачи сигналов вычисляется относительно вторичного алфавита (если аппаратура обеспечивает передачу всех качественных признаков вторичного алфавита). Таким образом, скорость передачи информации зависит от информационных характеристик источника сообщений, а скорость передачи сигналов — от быстродействия аппаратуры. Величины эти не следует путать, так как они вычисляются по разным формулам и имеют разные размерности. Так, в отличие от (4.3), скорость передачи сигналов вычисляется по формуле
1= символ/сек,
где τ — время передачи одного символа вторичного алфавита. Для сообщений, составленных из равновероятных взаимонезависимых символов равной длительности, скорость пере-
дачи информации
1
= log2 бит/сек.
В случае неравновероятных символов равной длительно-
сти
1
= ∑ log2 бит/сек.
=1
В случае неравновероятных и взаимозависимых символов разной длительности
= ∑ ∑ ( ) ( ⁄ ) log2 ( ⁄ ) бит/сек. ∑
Важнейшая характеристика канала − это пропускная способность. Она определяется как максимально возможная скорость передачи информации по каналу связи[8]
35
Cп= v(k) · max{I(YX)} [дв.ед./с] или [бит/c]. (4.4)
Пропускная способность дискретного канала без помех
Cп= ν(k)· log2N[ бит/с]. |
(4.5) |
Пропускная способность также может быть представлена
как
= бит/сек.
Для двоичного кода
= log2 2 = 1 бит/сек.
При наличии помех пропускная способность канала связи вычисляется как произведение количества принятых в секунду знаков n на разность энтропии источника сообщений и условной энтропии источника сообщений относительно принятого сигнала:
п = [ ( ) − ( / )]бит/сек,
или
С |
= − [∑ log |
2 |
|
+ ∑ ∑ ( ) ( |
⁄ ) log |
( |
⁄ )]. |
||
п |
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
В общем случае
п = [ ( ) − ( ⁄ )] = [ ( ) − ( ⁄ )] = = [ ( ) + ( ) − ( )]бит/сек.
Пропускная способность двоичного симметричного ка-
нала связи c канальной матрицей
36
( ⁄ ) = ‖ |
(1 − 0) |
0 |
|
(1 − )‖, |
|
|
0 |
0 |
где p0 − вероятность ошибки, определяется выражением.
Пропускная способность таких каналов
Cп = n[1 + p0log2p0 + (1− p0) log2 (1− p0)]бит/сек. (4.6)
Для несимметричного бинарного канала связи
п = { ( 1)[ (1⁄1) log2 (1⁄1) + (0⁄1) log2 (0⁄1)] + ( 0)[ (1⁄0) log2 (1⁄0)
+ (0⁄0) log2 (0⁄0)]
− [ ( 0) log2 ( 0) + ( 1) log2 ( 1)]}.
Для симметричных дискретных каналов связи с числом качественных признаков m> 2 пропускная способность
п = [log + 0 log −01 + (1 − 0) log(1 − 0)] битсек. (4.7)
Согласно теореме Шеннона о кодировании для дискретного канала с помехами: если источник имеет энтропию H(X), а канал связи – пропускнуюспособность C, то сообщение источника всегда можно закодировать так, чтоскорость их передачи ν (k) будет близка к величине
( ) = С(п ),
а вероятность ошибки будет меньше заданной величины.
Для непрерывного канала с помехами пропускная способность определяется выражением:
37
Сп = ( ) { ( )} =
|
|
|
|
|
|
= log |
|
(1 + |
|
) = log |
(1 + ), (4.8) |
2 |
|
||||
|
|
|
2 |
|
|
|
|
|
|
|
|
где I(Y X) = H(X) −H(ξ) ; H(ξ) –энтропия помехи; fk − граничная частота пропускания канала;
Pxk − средняя мощность сигнала, допускаемая в канале; Pξ − средняя мощность помехи в канале;
ρ = Pxk/ Pξ − отношение сигнал-помеха.
Максимальное количество информации, которое можно передать по каналу связи за время Tk,
|
|
|
|
|
|
|
|
|
|
= = |
log |
|
(1 + |
|
). |
(4.9) |
|
2 |
|
|||||||
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
Если энтропия источника сообщений не равна максимальной энтропии для алфавита с данным количеством качественных признаков (имеются в виду качественные признаки алфавита, при помощи которых составляются сообщения), то это прежде всего означает, что сообщения данного источника могли бы нести большее количество информации.
Фактически для передачи сообщения достаточно иметь длину кодовой комбинации
≥ log2 , log2
где N — общее количество передаваемых сообщений.
Lможно представить и к а к
≥ log2 1, log2 2
где m1и m2 – соответственно качественные признаки первичного и вторичного алфавитов.
38