24. Количество информации при равновероятных состояниях элементов сообщения. Энтропия

сообщений.

Единицу количественной меры информации - БИТ (сокращение binary digit - двоичная цифра), впервые предложил Р. Хартли в 1928 году. 1 бит - это информация о двух возможных равновероятных состояниях объекта, неопределенность выбора из двух равновероятных событий. Математически это отображается состоянием 1 или 0 одного разряда двоичной системы счисления.

В 1528г Хартли создал формулу измерения информации. (Логарифмическая мера, мера Хартли).

I=log_sL, Основание s мб произвольным, его опустим

I=logL

L – число различных состояний (кол-во различ слов)

I - кол-во инфы

L = mⁿ

m - кол-во символов в алфавите

n - кол-во элементов в сообщении

Формула Хартли для равновероятных источников:

I = log L = log(mⁿ) = n*log m

Удобнее работать с кол-вом информации(H), которая приходится на 1 элемент сообщений

H=1/n (8)-

энтропия - эта величина характеризует только информационные свойства самого источника. Так же она показывает сколько информации несет один символ в сообщении.

Обновлённая формула Хартли для равновероятных источников:

Количество информации Н (в битах), m - кол-во символов

Энтропия (информационная) — мера хаотичности информации, неопределённость появления какого-либо символа (события, имеющего разные исходы) первичного алфавита, характеризующая количество информации, приходящейся на одно сообщение источника.

25. Единицы измерения количества информации и энтропии. Представление сообщений и

определение количества информации и энтропии при разновероятных состояниях элементов.

За единицу количества информации приняли такое количество информации, при котором неопределённость уменьшается в два раза. Такая единица названа бит.

Бит – это такое количество информации, которое является достаточным для установки различий между двумя явлениями, имеющими одинаковую вероятность.

С точки зрения вероятности 1 бит — это такое количество информации, которое позволяет выбрать одно событие из двух равновероятных.

В технике под количеством информации понимают количество кодируемых, передаваемых или хранимых символов.

Равновероятное, т.е. ни одно из них не имеет преимущества перед другим.

Для того чтобы количество информации имело положительное значение, необходимо получить сообщение о том, что произошло событие как минимум из двух равновероятных. Такое количество информации, которое находится в сообщении о том, что произошло одно событие из двух равновероятных, принято за единицу измерения информации и равно 1 биту.

Для вычисления среднего количества информации и энтропии при разновероятных состояниях элементов можно использовать формулы Шенона:

- количество информации для n неравновероятных его элементов

- количество информации, которое в среднем приходится на одно событие

- частная энтропия

Получается, что энтропия H есть среднее значение для частных энтропий

x - некоторая система

n - количество элементов в сообщении

m - количество случайных независимых значений с вероятностью