Konspekt_TR_RO

где Нотсч ( A) - энтропия отсчета непрерывного сообщения при его преобразова-

нии в цифровую форму;

L - число уровней квантования;a - шаг квантования;

pi p(ai ) a - вероятность появления в квантованном сообщении i -ого уров-

ня;

p(a) - дифференциальная плотность распределения вероятности непрерывной СВ A(t') ;

A(t') - отсчет непрерывного сообщения A(t) в некоторый момент времени t' .

р(a)

Рисунок 6.1 – График p(a) .

Энтропия непрерывного источника бесконечна, т. к. непрерывное сообщение принимает бесконечное число значений как по времени, так и по уровню.

h(a) p(a) log 2 p(a)da - дифференциальная энтропия – часть энтропии непре-

рывного источника, которая зависит от функции p(a) . Является относительной мерой неопределенности непрерывного сообщения, т.е. информационный смысл имеет не сама энтропия, а разность двух дифференциальных энтропий.

Свойства h(A) :

-величина вещественная, ограниченная, может принимать и отрицательные зна-

чения;

-ее значение зависит от выбора единицы измерения СВ:

a1 ka p(a1 ) p(a) / k h(a) p(a) / k log 2 ( p(a) / k)kda h(a) log 2 k ;

- наибольшую энтропию имен величина с нормальным распределением:

h( A) log 2 2e 2 ;

- аддитивна, т.е. дифференциальная энтропия нескольких сечений СП равна сумме их дифференциальных энтропий.

Производительность источника:

H 'н.и. (A) fд Hотсч (A) ,

где f д - частота дискретизации.

Если уровни квантования равновероятны:

H 'н.и. (A) fд log2 L .

61

Информационные характеристики каналов связи

Скорость передачи информации по каналу R – среднее количество информации, получаемое на выходе канала в единицу времени. Размерность: бит/с.

Скорость передачи информации по идеальному (без помех и искажений) каналу вычисляется аналогично производительности источника. При вычислении скорости передачи информации в канале с помехами необходимо учитывать потери информации.

Для дискретного канала с помехами она определяется выражением:

Rд.к. (H (U ) Hпот (U )) / ,

где H (U ) - энтропия передаваемого дискретного первичного сигнала;

H пот (U ) - энтропия потерь в канале для дискретного первичного сигнала;

- длительность дискретного первичного сигнала.

Для непрерывного канала с помехами скорость передачи информации определяется выражением:

Rн.к. 2Fmax (h(U ) hпот (U )) ,

где h(U ) - дифференциальная энтропия передаваемого непрерывного сигнала; hпот (U ) = энтропия потерь в канале для непрерывного первичного сигнала; Fmax - максимальная частота спектра непрерывного первичного сигнала.

Потери информации определяются вероятностью ошибки Pош в дискретном ка-

нале и уровнем помех в непрерывном канале и для практических расчетов скорости передачи информации по каналу их можно не учитывать при Pош 10 3 и отношении

сигнал-помеха больше 20 дБ.

Пропускная способность канала C – наибольшая скорость передачи информации по каналу:

C max R .

Размерность: бит/с.

Пропускная способность дискретного канала вычисляется по формуле:

Cд.к. (1/ )(log2 m p log2 ( p /(m 1)) (1 p) log2 (1 p)) ,

где v 1/ - скорость модуляции, Бод; p - вероятность ошибки в канале.

Пропускная способность непрерывного канала определяется по формуле Шен-

нона:

Cн.к. Fk log2 (1 Pс / Pп ) ,

где Fk - ширина полосы пропускания канала; Pc - средняя мощность сигнала;

Pn - средняя мощность помехи в полосе частот канала.

Из формулы видно, что пропускная способность пропорциональна ширине полосы частот канала и отношению сигнал-помеха. Формула указывает на возможность обмена ширины полосы пропускания на мощность сигнала при сохранении пропускной способности.

Основная теорема Шеннона

Формулировка теоремы:

Если производительность источника меньше пропускной способности канала

62

H '(A) C ,

то существует способ кодирования (преобразования сообщения в сигнал на входе канала) и декодирования (преобразования сигнала в сообщение на выходе канала), при котором вероятность ошибочного декодирования может быть сколь угодно мала. Если же H '(A) C , то таких способов не существует.

Согласно теореме Шеннона, ошибки в канале не являются препятствием для безошибочной передачи информации. Неконструктивность теоремы заключается в том, что не указывается конкретный код, исправляющий все ошибки. Пропускная способность канала характеризует потенциальные возможности передачи информации, т.е. является предельным значением скорости безошибочной передачи информации.

63

ОСНОВЫ ТЕОРИИ КОДИРОВАНИЯ СИГНАЛОВ

Кодирование дискретных сообщений

Кодирование – преобразование элементов дискретного сообщения в последовательности кодовых символов. Обратное преобразование – декодирование.

Устройства, осуществляющие эти операции автоматически, называются соответственно кодером и декодером. Кодек – устройство, объединяющее кодер и декодер.

Код – алгоритм (правило), по которому осуществляется кодирование.

Кодовая комбинация (слово) – последовательность кодовых символов, соответствующая одному элементу дискретного сообщения.

Кодовый алфавит – весь набор кодовых символов.

Основание кода m – число символов в кодовом алфавите. Если m=2 код называет-

ся двоичным, m>2 – многопозиционным (недвоичным).

Разряд – значащая позиция кодового слова.

Разрядность (значность) кода n – число символов в кодовой комбинации. Если n=const, то код называется равномерным, n≠const – неравномерным.

Кодеры и декодеры легче сделать для равномерных двоичных кодов.

Рисунок 7.1 – Структурная схема системы передачи дискретных сообщений.

Источник выдает дискретное сообщение. Для формирования дискретного сообщения из непрерывного используется дискретизация по времени и по уровню.

Кодирование источника (сжатие данных) применяется для снижения технических затрат на хранение и передачу информации.

Криптографическое кодирование (шифрование) применяется для предотвращения несанкционированного доступа к информации.

Кодирование канала (помехоустойчивое кодирование) применяется для повышения достоверности передачи информации по каналу с помехами.

Эффективное статистическое кодирование источников дискретных сообщений. Код Хаффмана.

Сжатие возможно, т.к. данные на выходе источника содержат избыточную и/или плохо различимую информацию.

64

Плохо различимая информация - информация, которая не воздействует на ее приемник. Подобная информация сокращается или удаляется при использовании сжатия с потерями. При этом энтропия исходной информации уменьшается. Сжатие с потерями применяется при сжатии цифровых изображений и оцифрованного звука.

Приемы, применяемые в алгоритмах сжатия с потерями:

-использование модели – подбор параметров модели и передача только одних параметров;

-предсказание – предсказание последующего элемента и передача величины ошибки;

-дифференциальное кодирование – передача изменений последующего элемента при сравнении с предыдущим.

Избыточная информация – информация, которая не добавляет знаний о предмете. Избыточность может быть уменьшена или устранена с помощью сжатия без потерь (эффективного кодирования). При этом энтропия данных остается неизменной. Сжатие без потерь применяется в системах передачи данных.

Приемы, применяемые в алгоритмах сжатия без потерь:

-кодирование длин последовательностей – передача числа повторяющихся элементов;

-кодирование словаря – использование ссылок на переданные ранее последовательности, а не их повторение;

-неравномерное кодирование – более вероятным символам присваиваются более короткие кодовые слова.

Кодирование словаря

Позволяет уменьшить избыточность, вызванную зависимостью между символами. Идея кодирования словаря состоит в замене часто встречающихся последовательностей символов ссылками на образцы, хранящиеся в специально создаваемой таблице (словаре). Данный подход основан на алгоритме LZ, описанном в работах израильских исследователей Зива и Лемпеля.

Неравномерное кодирование

Позволяет уменьшить избыточность, вызванную неравной вероятностью символов. Идея неравномерного кодирования состоит в использовании коротких кодовых слов для часто встречающихся символов и длинных – для редко возникающих. Данный подход основан на алгоритмах Шеннона-Фано и Хаффмана.

Коды Шеннона-Фано и Хаффмана являются префиксными. Префиксный код – код, обладающий тем свойством, что никакое более короткое слово не является началом (префиксом) другого более длинного слова. Такой код всегда однозначно декодируем. Обратное неверно.

Код Шеннона-Фано строится следующим образом. Символы источника выписываются в порядке убывания вероятностей (частот) их появления. Затем эти символы разбиваются на две части, верхнюю и нижнюю, так, чтобы суммарные вероятности этих частей были по возможности одинаковыми. Для символов верхней части в качестве первого символа кодового слова используется 1, а нижней – 0. Затем каждая из этих частей делится еще раз пополам и записывается второй символ кодового слова. Процесс повторяется до тех пор, пока в каждой из полученных частей не останется по одному символу.

65

Пример 7.1:

Таблица 7.1 – Построение кода Шеннона-Фано.

Алгоритм Шеннона-Фано не всегда приводит к построению однозначного кода с наименьшей средней длиной кодового слова. От отмеченных недостатков свободен алгоритм Хаффмана.

Код Хаффмана строится следующим образом. Символы источника располагают в порядке убывания вероятностей (частот) их появления. Два самых последних символа объединяют в один вспомогательный, которому приписывают суммарную вероятность. Полученные символы вновь располагают в порядке убывания вероятностей, а два последних объединяют. Процесс продолжается до тех пор, пока не останется единственный вспомогательный символ с вероятностью 1. Для нахождения кодовых комбинаций строится кодовое дерево. Из точки, соответствующей вероятности 1, направляются две ветви. Ветви с большей вероятностью присваивается символ 1, с меньшей – 0. Такое ветвление продолжается до достижения вероятности каждого символа. Двигаясь по кодовому дереву сверху вниз, записывают для каждого символа кодовую комбинацию.

Пример 7.2:

Таблица 7.2 – Построение кода Хаффмана.

66

Помехоустойчивое (корректирующее) кодирование

Помехоустойчивое кодирование используется в различных системах связи, в сетях ЭВМ, в бытовой и профессиональной аудио- и видеотехнике.

Любой помехоустойчивый код является избыточным.

Избыточные коды – коды, в которых для передачи информации используются не все возможные кодовые слова. Используемые кодовые слова называются разрешенными. Их число – мощность кода М . Неиспользуемые кодовые слова считаются за-

прещенными.

Пример 7.3:

Рассмотрим трехразрядный (n=3) двоичный (m=2) код.

На вход канала поступают только разрешенные кодовые слова. Под воздействием помех возможно искажение кодовых слов. Говорят, что в канале произошла ошибка кратности t , если t символов кодового слова принято ошибочно. Для контроля за ошибками используется переход разрешенных кодовых слов в запрещенные.

Пример 7.4:

Корректирующая способность кода – способность кода контролировать (обнаруживать и исправлять) ошибки. Она определяется кодовым расстоянием.

Кодовое расстояние – минимальное расстояние Хэмминга для заданного кода:

d0 min d X .

Расстояние Хэмминга – степень различия между i -ым и j -ым кодовыми словами:

d X dist (bi , b j ) .

Определяется числом несовпадающих в них разрядов. Методы декодирования помехоустойчивых кодов:

67

от предыдущих входных блоков) и непрерывные коды (каждый набор из n выходных символов зависит не только от текущего набора из k входных символов, но и от некоторого числа предыдущих входных наборов). Обозначение блочных кодов:

(n, k) .

Для коррекции ошибок неравномерные коды почти не применяют.

По структуре кодовых последовательностей различают разделимые (кодовые символы можно разделить на информационные и проверочные (контрольные)) и неразделимые коды (такое разделение провести нельзя).

По алгоритму формирования проверочных символов различают линейные (прове-

рочные символы формируются путем суммирования по модулю два информационных символов) и нелинейные коды (используется суммирование по модулю отличному от два).

По способу передачи кодовых символов различают систематические (в канал связи первоначально передаются информационные символы, а затем – проверочные) и несистематические коды (в канал связи кодовые символы передаются по «псевдослучайному» закону).

Код с постоянным весом

Это неразделимый блочный код, каждая кодовая комбинация которого имеет одинаковое число единиц (одинаковый вес).

Если вес принятой кодовой комбинации отличается от заданного, то выносится решение об ошибке. Данный код обладает d0 2 и обнаруживает все ошибки нечетной

кратности и часть ошибок четной кратности (не обнаруживаются только ошибки смещения, когда число искаженных единиц равно числу искаженных нулей).

Таким кодом является код МТК-3 – семиразрядный код, каждая кодовая комбинация которого содержит три единицы.

Групповые систематические линейные блочные коды

Линейные коды – коды, для которых поразрядная сумма по модулю два любых разрешенных кодовых комбинаций также является разрешенной кодовой комбинацией. Линейные коды называют также групповыми.

Они задаются с помощью порождающей G и проверочной H матриц, которые связаны основным уравнением кодирования:

G H T 0 ,

где H T - транспонированная проверочная матрица (строки H переписаны в столбцы

H T );

0 - нулевая матрица.

Матрица G содержит k строк и n столбцов, ее элементами являются нули и единицы. Строками матрицы G являются любые ненулевые линейно независимые векторы, отстоящие друг от друга не менее, чем на заданное кодовое расстояние. Понятие линейно независимые означает, что каким бы образом мы не суммировали по модулю два различные строки матрицы, мы не получим суммы, равной нулю.

С помощью матрицы G можно создавать линейный код: суммируя в различном сочетании строки матрицы G , получают все (кроме нулевой) комбинации кода. Полученный код содержит M 2k кодовых слов длины n .

Если две порождающие матрицы различаются только порядком расположения столбцов, то определяемые ими коды называются эквивалентными. Они имеют одина-

69

ковые кодовые расстояния и, следовательно, одинаковые способности обнаруживать и исправлять ошибки.

Пример 7.5:

Код Рида-Маллера (8, 4) задается следующей порождающей матрицей:

Матрица H содержит строк и n столбцов. Единицы в каждой строке этой матрицы показывают, какие символы кодовой комбинации нужно сложить по модулю два, чтобы получить нуль. Используется для проверки правильности приема.

Чаще всего применяют систематические линейные коды. Такие коды задаются матрицами в систематической (приведено-ступенчатой или канонической) форме:

Найдем проверочную матрицу:

Кодирование информации

1) С помощью матрицы G : операция кодирования заключается в умножении информационного вектора a на порождающую матрицу G , т.е.

b a G ,

где b - кодовый вектор. Пример 7.7:

Рассмотрим кодирование информационного слова a (1011) кодом Рида-Маллера

(8, 4):

70