26. Основные свойства энтропии.

Количество информации в сообщении зависит от:

• Числа элементов в сообщении

• Числа возожных состояний m

• Набора вероятностей p

Зависимость от n линейная, поэтому ограничимся случаем H=I/n (Количество информации на один элемент в сообщении)

Свойства:

• Энтропия системы с равновозможными состояниями равна логарифму числа состояний

• Если состояние системы в точности известно заранее, то ее энтропия равна нулю.

• Максимальное значение энтропии физической системы с конечным числом состояний равно логарифму числа состояний и достигается, когда все состояния равновероятны.

• При объединении независимых систем их энтропии складываются.

27. Коэффициент сжатия и избыточность сообщений.

Избыточность информации — термин из теории информации, означающий превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией. Для уменьшения избыточности применяется сжатие данных без потерь, в то же время контрольная сумма применяется для внесения дополнительной избыточности в поток, что позволяет производить исправление ошибок при передаче информации по каналам, вносящим искажения (спутниковая трансляция, беспроводная передача и т. д.). .

Сообщения с максимальной энтропией - оптимальные сообщеня. В реальности же всегда

Для измерения неоптимальности источника вводится коэффициент сжатия (Относительная энтропия)

,

28. Канал связи, знаки и сигналы. Модель шума.

Канал связи (англ. channel, data line) — система технических средств и среда распространения сигналов для односторонней передачи данных (информации) от отправителя (источника) к получателю (приёмнику).

В случае использования проводной линии связи, средой распространения сигнала может являться оптическое волокно или витая пара. Канал связи является составной частью канала передачи данных.

Существует множество видов каналов связи, среди которых наиболее часто выделяют каналы проводной связи (воздушные, кабельные, световодные и др.) и каналы радиосвязи (тропосферные, спутниковые и др.). Такие каналы в свою очередь принято классифицировать на основе характеристик входного и выходного сигналов, а также по изменению характеристик сигналов в зависимости от таких явлений, происходящих в канале, как замирания и затухание сигналов.

По типу среды распространения каналы связи делятся на проводные, акустические, оптические, инфракрасные и радиоканалы.

Каналы связи также классифицируют на:

• непрерывные (на входе и выходе канала — непрерывные сигналы),

• дискретные или цифровые (на входе и выходе канала — дискретные сигналы),

• непрерывно-дискретные (на входе канала — непрерывные сигналы, а на выходе — дискретные сигналы),

• дискретно-непрерывные (на входе канала — дискретные сигналы, а на выходе — непрерывные сигналы).

Каналы могут быть линейными и нелинейными, временными и пространственно-временными^[3]. Возможна классификация каналов связи по диапазону частот.

Знаки - это абстрактные символы или комбинации символов, которые представляют информацию. Например, в компьютерных системах буквы, цифры и специальные символы могут быть знаками, представляющими текстовую информацию.

Сигналы - это физические изменения, которые несут информацию и передаются через канал связи. Сигналы могут быть электрическими, оптическими, радиочастотными и т. д. Например, электрический сигнал может представлять аудиоинформацию в аудиосистеме, а оптический сигнал может нести данные по оптоволоконному кабелю.

Модель шума в канале связи используется для описания влияния шума на передаваемые сигналы. Шум может возникать из-за различных факторов, таких как электромагнитные помехи, тепловое движение электронов, а также другие источники интерференции.

Существует несколько моделей шума, которые используются в теории связи:

1. Аддитивный белый гауссовский шум (AWGN): Это одна из наиболее распространенных моделей шума. Он предполагает, что шум добавляется к передаваемому сигналу и имеет равномерное спектральное распределение, что делает его похожим на белый шум. Модель AWGN часто используется в теоретических исследованиях и моделировании систем связи.

2. Распределенный шум: Эта модель учитывает неоднородность шума в различных частях спектра. Например, в оптических системах связи может быть применено распределенное шумовое распределение для учета шума, вызванного различными источниками, такими как тепловой шум и шум фотодетектора.

3. Шум от множественных источников: В некоторых случаях шум в канале связи может быть вызван множеством источников, таких как электромагнитные помехи, перекрытие сигналов и другие факторы. Моделирование этого типа шума может включать учет корреляции между различными источниками шума.

Выбор модели зависит от конкретной задачи и характеристик канала связи. Моделирование шума позволяет инженерам и исследователям анализировать производительность систем связи и разрабатывать методы коррекции ошибок для обеспечения надежной передачи данных через каналы связи