9. Понятие о кодировании информации. Количественная мера информации
Кодирование информации — процесс преобразования сигнала из формы, удобной для непосредственного использования информации, в форму, удобную для передачи, хранения или автоматической переработки.
Единицу количественной меры информации - БИТ (сокращение binary digit - двоичная цифра), впервые предложил Р. Хартли в 1928 году. 1 бит - это информация о двух возможных равновероятных состояниях объекта, неопределенность выбора из двух равновероятных событий. Математически это отображается состоянием 1 или 0 одного разряда двоичной системы счисления.
В 1528г Хартли создал формулу измерения информации. (Логарифмическая мера, мера Хартли).
I=logsL, Основание s может быть произвольным, его опустим
I=logL
L – число различных состояний (кол-во различ слов)
i - кол-во инфы
L = mn
m - кол-во символов в алфавите
n - кол-во элементов в сообщении
Формула Хартли для равновероятных источников:
I = log L = log(mn) = n*log m
Удобнее работать с кол-вом информации(H), которая приходится на 1 элемент сообщений
H=1/n (8)- энтропия - эта величина характеризует только информационные свойства самого источника
Обновлённая формула Хартли для равновероятных источников:
H = log m
I = n*log m
Количество информации Н (в битах), m - кол-во символов
Количество информации и энтропия для источников с разновероятными состояниями:
Для вычисления среднего количества информации в сообщении и энтропии можно использовать
– вероятности
состояний
m - кол-во символов в алфавите
n - кол-во элементов в сообщении
10. Системы счисления. Двоичная система счисления. Кодирование целых и действительных чисел.
Системы счисления — символический метод записи чисел, представление чисел с помощью письменных знаков.
Двоичная система счисления — позиционная система счисления с основанием 2.
Двоичная арифметика
Сложение двоичных чисел:
0+0=0, 0+1=1 (1+0=1), 1+1=10.
Таблица умножения:
0 x 0 = 0, 0 x 1 = 0, 1 x 0 = 0, 1x1 = 1.
Для преобразование двоичных чисел в десятичные можно использовать таблицу
1 строка - степень двойки
2 - посчитано 2 в степени
3 - двоичное число
4 - то, что нужно сложить, чтобы перевести в 10чное
11 |
10 |
9 |
8 |
7 |
6 |
5 |
4 |
3 |
2 |
1 |
0 |
2048 |
1024 |
512 |
256 |
128 |
64 |
32 |
16 |
8 |
4 |
2 |
1 |
0 |
1 |
1 |
0 |
1 |
1 |
0 |
0 |
0 |
1 |
0 |
1 |
0 |
1024 |
512 |
0 |
128 |
64 |
0 |
0 |
0 |
4 |
0 |
1 |
Суммирование последней строчки даёт 1733
Для дробных частей можно использовать аналогичный подход
0 |
-1 |
-2 |
-3 |
1 |
0.5 |
0.25 |
0.125 |
0 |
1 |
0 |
1 |
0 |
0.5 |
0 |
0.125 |
Сумма последней строчки даёт 0.625
Перевод числа из двоичной в десятичную систему методом Горнера основан на суммировании цифр слева направо, умножая ранее полученный результат на основание системы(р = 2).
Уильям Джордж Горнер, 1786-1837
Рассмотрим число (an-1 an-2...a1a0)2.
Построим итерационную процедуру:
b0 = 0,
b1 = b0*p + an-1,
b2 = b1*p + an-2,
...
bi = bi-1*p + an-i,
...
bn-1 = bn-2*p + a0.
Этот же метод для дробной части двоичного числа: вместо слева направо, цифры берутся справа налево, и вместо умножения производим деление на р = 2.
Например, для числа (0.a-1 a-2... a-m)2
c0 = 0,
c1 = (c0 + a-m)/2,
c2 = (c1 + a-m+1)/2,
...
ci = (ci-1 + a-m+i-1)/2,
...
cm-1 = (cm-2+ a0)/2.