4Некоторые законы распределения СВ

До опыта , после – равно сумме фигурирующей в (1). А S – наоборот.

Энтропия задачи из 25 монет (тяжелая с равной вероятностью может оказаться любой из 25) равна

А максимум информации, извлекаемой при одном взвешивании:

.

Чтобы исчерпать всю неопределенность (решить задачу) нужно обеспечить неравенство

m·log₂ 3 ≥ log₂ 25,

в котором m – минимальное число взвешиваний, т.е. m = 3.

Возрастание энтропии – фундаментальный закон природы. Не вдаваясь в подробности и механизм его реализации, приведу лишь один пример.

Капнем чернила в банку с водой. Вначале вероятность обнаружить чернила локализована в том месте, куда упала капля. Но по мере растворения чернил, эта вероятность равномерно распределяется по всему объему банки. Энтропия, как мы уже выяснили, при этом стремится к своему максимальному значению. Обратный процесс не возможен по законам статистики. Сколько бы мы не ждали, чернила не соберутся вновь в каплю. Т.е. состояние с максимальной энтропией является равновесным. По этой причине распределения вероятности, наиболее часто встречающиеся в окружающем нас мире могут быть получены из условия экстремальности энтропии.

Обобщив (1) на случай непрерывных законов распределения, получим

(2)

где f(x) – дифференциальная функция распределения;

P_i – вероятность попадания СВ в интервал Δx_i;

ξ_i – внутренняя точка этого интервала.

Ничто не мешает сделать Δx_i одинаковыми, после чего второе слагаемое в (2) не зависит от вида f(x).

.

Поэтому, если интересоваться изменением S при вариации f(x), второе слагаемое в (2) можно опустить. Кроме того, фигурирующие в (2) логарифмы можно заменить натуральными, выбирая таким образом новый масштаб измерения энтропии ( ). В результате перехода к бесконечно малым получим

. (3)

Экстремум функционала (3) будем искать при дополнительных условиях

(4)

(5)

(6)

обеспечивающих реалистичность распределений, где (1) – условие нормировки, а (5) и (6) – требование конечности математического ожидания и дисперсии.

Домножим (4) – (6) соответственно на α, β, γ и прибавим к (3).

(7)

где

(8)

Т.к. слева в (7) все кроме S есть константы, экстремальность интеграла в правой части (7) будет означать условный экстремум S. Чтобы интеграл в (7) был максимальным, нужно каждому x поставить в соответствие такое значение f, чтобы F(x, f) была максимальной. Из необходимого условия экстремума

(9)

найдем

(10)

Подставив (10) в (4) – (6), выразим c, β, γ через m и σ

. (11)

Подчеркнем, что нормальное распределение (11) возникло не по определению, а как следствие закона возрастания энтропии. При этом смысл параметров m, σ не надо устанавливать. Он ясен из соотношений (5), (6).

Если СВ X положительно определена, из конечности матожидания следует конечность дисперсии, т.к. слева от m интервал конечен (x > 0), а справа – бесконечен. И бесконечность дисперсии означала бы бесконечное смещение m вправо по числовой оси. Поэтому от условия (6) следует отказаться, а соотношения (4), (5) и (10) примут вид:

(4׳)

(5׳)

(10׳)

Подставив (10׳) в (4׳) выразим c через β:

Подставив последнее выражение в (5׳), найдем c:

(12)

– экспоненциальное распределение.

Если возможные значения СВ отрезку [a, b], ее математическое ожидание не может не быть конечным. Отбросив в этом случае условие (5׳) получим:

(4׳׳)

(10׳׳)

Откуда , т.е. максимуму энтропии на отрезке отвечает равномерное распределение

(13)

Свернув плоскость OXY с нарисованной на ней Гауссовой кривой в цилиндр радиуса r и образующей, параллельной OY, можно непосредственно проследить как нормальное распределение по мере уменьшения r трансформируется в равномерное.

Пусть m = 0. Считая поворот на угол 2π возвратом в исходную точку и применив теорему сложения вероятностей, получим

, (14)

Если σ ≥ πr разброс случайной величины сравним с длиной отрезка, на котором определена . Это не позволяет при оставлении прогноза одно возможное значение предпочесть другому. Т.е. в такой ситуации должна описывать равномерное распределение. В обратной ситуации ( ) в (14) всеми слагаемыми можно пренебречь, и f*(x) с будет аппроксимироваться нормальным законом на отрезке [-πr, πr]. Графики f*(x), построенные численными методами для πr полностью подтверждают предсказанную эволюцию функции распределения. Там же, для сравнения, дана часть Гауссовой кривой, принадлежащая рассматриваемому отрезку.

Подставив (11), (12) и (13) в (3), найдем энтропии полученных распределений

(15)

(16)

(17)

или связав в первых двух случаях параметры распределений со среднеквадратическим отклонением

Видно, что с увеличением разброса во всех случаях энтропия (как это и должно быть) растет. При одинаковых разбросах имеет место двойное неравенство

S_н > S_p > S_э

Подставив (14) в (3) можно проследить (рис.2) как при увеличении отрезка зависимость (15) переходит в (17). (Для простоты расчеты выполнялись с σ = 1), т.е. – уравнение горизонтальной асимптоты.

Дополнение 1

Получение нормального закона

После замены выражения (4) – (6), (8) примут вид

(1)

(2)

(3)

из (1) ;

из (2) что – четная ;

из (1)

из (3)

(см. )

Дополнение 2

Вычисление энтропии

Равномерное распределение

свяжем S со среднеквадратическим отклонением

Экспоненциальное распределение

свяжем S со среднеквадратическим отклонением

Нормальное распределение

(см. условие нормировки) =

;

введем

Очевидно, т.о.

1

97