книги / Основы теории оценивания с приложениями к задачам обработки навигационной информации. Ч. 1 Введение в теорию оценивания
.pdfПредполагается, что двухмерные векторы ошибок измерения яв ляются некоррелированными центрированными случайными век торами с матрицами ковариаций, R2 > 0 .
Получите выражение для матрицы ковариаций ошибок оценок, соответствующих ОМНК, полагая матрицу Q блочно
диагональной с блоками Æ” 1 и R~l
Используйте предположение о том, что размеры малой и боль шой полуосей, соответствующих этим матрицам эллипсов, одина ковые, т.е. а{ =а2 = а , и Ь1=Ь2 =Ь,и определите, при какой вза имной ориентации этих эллипсов радиальная среднеквадратиче ская ошибка, задаваемая соотношением (1.2.24), будет наимень
шей (наибольшей). |
|
|
|
Решение. |
Для |
матрицы |
ковариаций будем иметь: |
ромнк _ | ^ - 1 |
+ /J- 1 j |
Из геометрических соображений ясно, что |
минимальное значение радиальной среднеквадратической ошибки достигается в случае, когда большая полуось одного эллипса пере секает под углом 90° малую полуось другого эллипса (рис. 2.2.16, б). В этом случае
D!tMS = J 2 - f ^ - T . |
(1) |
V a +b~ |
|
а при а » Ь , |
|
DRMS = 4 î b . |
(2 ) |
Рис. 2.2.16. Максимальная (я) и минимальная (б) ошибки
181
Наименее благоприятная ситуация соответствует одинаковой
ориентации эллипсов (рис. 2.2.16, а), при которой |
|
DRMS = — а 2 + 6 2 |
(3) |
л/ 2 |
|
Если размеры полуосей для каждого эллипса примерно одина ковы, то они превращаются в окружности, и их взаимное распо ложение значения не имеет, а важно лишь, чтобы радиусы этих окружностей были бы соизмеримы, тогда как и в одномерной за
даче радиальная среднеквадратическая ошибка уменьшится в yfî раз по отношению к этой величине для каждого из измерителей.
Задача 2.2.8. Покажите, что оценки, соответствующие различ ным модификациям МНК, не зависят от линейных невырожден ных преобразований по отношению к используемым измерениям.
Решение. Убедимся в этом на примере решения нелинейной за дачи оценивания вектора х по измерениям (2 .1 .2 1 ) с помощью ММНК. Введем вместо (2.1.21) преобразованное измерение
у= Ту = Ts(x) + Tv = j(.v) + v ,
вкотором Т - квадратная m х m невырожденная матрица.
Для доказательства сформулированного утверждения следует убедиться в том, что минимизируемые критерии совпадают. Это достаточно очевидно, поскольку
(y- s(x)y R - \y -s(x)) = ( y - s ( x ) y r ( r Y R-'T-'T(y-s(x)) = s (У ~ s ( x ) ) r R ~ \ y - s( x))
где R =TRTr - матрица ковариаций для вектора ошибок v пре образованных измерений. Понятно, что и для МНК и ММНК кри терии также совпадают.
Контрольные вопросы
1.Сформулируйте постановку задачу оценивания с использовани ем наблюдаемых критериев и поясните особенности МНК, ОМНК и ММК. Что такое невязка измерений и система нор мальных уравнений? Приведите пример системы нормальных уравнений для задачи оценивания фазы. Решите задачу оцени вания амплитуды гармонического сигнала с использованием МНК.
2.Получите алгоритмы вычисления оценок МНК и его модифи каций для линейной задачи в общем виде. Проиллюстрируйте применение этих алгоритмов на примере решения простейшей задачи оценивания постоянной величины.
3.Приведите уравнения для ошибок оценок МНК и его модифи каций и выражения для матриц ковариаций ошибок оценок для линейной задачи оценивания. Какие дополнительные предпо ложения о свойствах ошибок измерения необходимо ввести для вычисления матриц ковариаций ошибок оценивания при реше нии задачи с помощью МНК?
4.На примере задачи совместной обработки данных от двух изме рителей проанализируйте особенности, взаимосвязь и отличия различных вариантов МНК.
5.Предположим, что по измерениям вида (2.1.21) получено зна чение оценки, соответствующей ОМНК, причем в критерии в
качестве весовой матрицы использована матрица 0 = R ~l , где
R предполагаемая известной матрица ковариаций ошибок из мерения. Изменится ли значение оценки, если при ее нахожде нии с помощью ОМНК вместо исходных измерений у исполь
зовать измерения у - Т у , полученные с помощью невырожден
ной m х m матрицы, а в качестве весовой матрицы использова
на матрица Q = R ~x, где матрица ковариаций ошибок преобра
зованных измерений? Обоснуйте свой ответ.
6. Поясните, как с использованием измерений (2.1.21) могут быть
получены алгоритмы оценивания, основанные на линеаризации функции. Проиллюстрируйте это на примерах оценивания фазы гармонического сигнала и оценивания координат на плоскости по измерениям дальностей до точечных ориентиров. В чем осо бенность итерационного алгоритма? При каких условиях этот алгоритм может обеспечить нахождение оценки, соответст вующей МНК?
7.В чем особенность существенно нелинейных задач оценивания и каковы возможные пути их решения? Приведите примеры.
2.3. Небайесовские алгоритмы оценивания
Введя предположение о случайном характере оцениваемого вектора х и ошибок измерения v и задаваясь их статистическими свойствами, представляется логичным использовать этот факт не только при анализе точности того или иного алгоритма, но и по пытаться учесть сделанные предположения уже на этапе поста новки и решения задачи. Иными словами, попытаться построить алгоритм «хорошего» качества с точки зрения уровня и свойств соответствующих ему ошибок оценивания. Именно такие алго ритмы и будут рассматриваться в последующих разделах.
В настоящем разделе рассмотрим иебайесовские алгоритмы, которые строятся в предположении о случайном характере только ошибок измерения, и при этом считаются полностью известными их статистические свойства. Последнее означает, что задана ф.п.р.в. / v(v). Неизвестный оцениваемый вектор, как и в методе наименьших квадратов и его модификациях, предполагается не случайным (детерминированным) вектором [16, 44]. Подход к по лучению оценок при таких предположениях получил название небайесовского, или классического подхода (метода).
2.3.1. Основные положения и постановка задачи
Введение предположения о случайном характере ошибок изме рения с известной ф.п.р.в. / v(v) уже на этапе проектирования ал горитмов дает возможность при фиксированных значениях х рас сматривать измерения как случайный вектор, свойства которого определены с помощью условной к х ф.п.р.в. / ( у / х ) В полной
мере это относится и к оценке х ( у ) , и к ее ошибке г{у) =х - х ( у ) , представляющим собой преобразования измерений у . Принимая
во внимание соотношение (2 .1 .2 1 ), результаты подраздела |
1 .3 . 2 и |
фиксируя х , для f { y / х) можно записать выражение |
|
f(y!x) = f v(y-s(x)), |
(2.3.1) |
в котором /],(•) - ф.п.р.в. ошибок измерения.
Так, полагая, что в (2.1.21) ошибки измерения представляют собой гауссовский центрированный вектор с известной матрицей ковариаций R , / ( у / х) может быть конкретизирована в виде
f { y ! x ) = - |
:exp |
" 0 ' - * ( * ) ) T*~10 '-* M )|. (2.3.2) |
||||
(2n)",/2 VdëtJ |
|
|
|
|
|
|
Если, кроме того, считать v;-, |
i = 1.m независимыми между со |
|||||
бой случайными |
величинами |
с |
дисперсиями |
г,-2, |
i = l.m, то |
|
f ( y / x ) представляется как |
|
|
|
|
|
|
f ( y t x ) = |
|
|
_ J_у 1 Си/ ~ -У/С^))2 ^ |
(2.3.3) |
||
|
|
9 Lu |
2 |
|
||
|
|
|
2 /=1 |
|
|
|
» 1=1
Количественная характеристика качества оценивания х по из мерениям у может быть введена с помощью скалярной функции
L(x - х(у)), устанавливающей определенный штраф за отличие оценки от истинного значения оцениваемого параметра и назы ваемой функцией потерь. Наибольшее распространение при ана лизе качества оценок в задачах обработки навигационной инфор мации получила квадратичная функция потерь
Ц х - х ( у ) ) = |
( х , ~ |
(.V))2 =(* - х ( у ) ) т( х - х ( у ) ) = |
- x(j>))(x- х ( у ))т}• |
|
i=l |
|
|
Введем связанный с ней критерий в виде математического ожи дания от этой функции
J(x) = М у/х [Цх - а д ) } = Му/ Х - х(у)У(х - а д ) } , (2.3.4)
который в силу справедливости перестановки местами операций взятия математического ожидания и вычисления следа матриц также может быть записан в виде
J (а) = М у,х (s>(x - ад)(л- - х(у))т }= SpP(x) , |
|
где |
|
Р(х) = М>,/л.|(а- - х(у)Х(л'_?0'))Т} |
(2-3.5) |
- матрица ковариаций ошибок оценивания.
Важно заметить, что знак математического ожидания соответ ствует функции f ( y / x ). Для того чтобы подчеркнуть этот факт, у этой матрицы и критерия введен аргумент х .
Таким образом, задача синтеза алгоритма в рамках небайе совского подхода может быть конкретизирована следующим об разом.
Найти алгоритм |
вычисления оценки |
неизвестного детермини |
рованного вектора |
.v по измерениям |
(2 .1 .2 1 ), в которых v - |
/н-мерный случайный вектор ошибок измерения с заданной f v(v)
исходя из минимизации критерия (2.3.4), т.е.
Задача анализа точности в рамках небайесовского подхода сводится к вычислению матрицы ковариаций ошибок оценивания (2.3.5).
Критерий (2.3.4) получил наименование среднеквадратиче ского критерия, а оценка, обеспечивающая его минимум - опти мальной в среднеквадратическом смысле небайесовской оцен кой. Заметим, что критерий (2.3.4) принципиально отличается от наблюдаемых критериев, поскольку цель решения задачи заключа ется в обеспечении определенных требований к ошибкам оценки искомого вектора, а не к вычисленным значениям измеряемых па раметров.
К сожалению, для сформулированной задачи не удается уста новить общего правила нахождения оценок, минимизирующих критерий (2.3.4). В связи с этим выбор того или иного алгоритма оценивания в предположении о случайном характере ошибок из мерения и детерминированном характере неизвестного вектора проводят путем сравнения соответствующих им значений крите рия и сопоставления свойств получающихся оценок. Важную роль при таком сопоставлении играют такие понятия, как несмещен ность, состоятельность и эффективность. Приведем определения этих понятий и поясним их смысл.
В рамках небайесовского подхода оценка х(у) называется несмещенной, если ее математическое ожидание совпадает с ис тинным значением параметра х , т.е.
M V!X${y)} = x |
(2.3.6) |
или, записывая более подробно,
м у / х Ш ) = Jх(у)/(у/ x)dy = х .
Как правило, при минимизации критерия (2.3.3) накладывают дополнительное требование к несмещенности оценки. Оценка, обеспечивающая минимум этого критерия при выполнении требо вания (2.3.6), называется небайесовской несмещенной оценкой
с минимальной дисперсией.
Для объяснения понятия состоятельности предположим, что имеется последовательность измерений скалярной величины
У; = x + Vj, i = 1.т, и с их использованием вырабатывается оцен ка хт . Эта оценка называется состоятельной, если она сходится по вероятности к истинному значению оцениваемой величины при увеличении числа измерений т , т. е.
limРг(д-- е < х т < х + е) = I, |
(2.3.7) |
т—>оо |
|
где е - сколь угодно малое положительное число.
Аналогично можно определить состоятельность оценки и в век торном случае.
Понятие эффективности оценки связано с так называемым не равенством Рао-Крамера. Для несмещенных оценок х(у) нера
венство Рао-Крамера в рамках небайесовского подхода форму лируется следующим образом [16]:
Р ( х ) > Г 1(х), |
|
(2.3.8) |
где |
|
|
|
|
л у |
d \ n f ( y i x ) d \ n f ( y / x ) |
||
1(х) = М у/х |
дх |
(2.3.9) |
дх |
) |
Из этого неравенства следует, что можно указать такую матри цу 1{х) при фиксированном значении х, которая будет всегда меньше либо равна матрице ковариаций для любой несмещенной оценки. В этом смысле матрица 7-1 (х) определяет предельно
достижимую точность решения задачи в рамках небайесовско го подхода. Будем называть эту матрицу матрицей, характери зующей нижнюю границу точности, или просто матрицей ниж ней границы. Для справедливости приведенного неравенства тре буется, чтобы f { y l x ) удовлетворяла условиям регулярности, суть которых сводится к абсолютной интегрируемости и существова нию первых и вторых производных по х. Оценка, для которой в (2.3.8) достигается знак равенства, называется эффективной не байесовской оценкой. Стоящая справа в выражении (2.3.9) мат рица называется информационной матрицей Фишера.
Если найден алгоритм вычисления эффективной оценки Л'О'Х
то для нее, как следует из (2.3.8), справедливо следующее неравен ство:
М у / . Л Х - *О0)(*“ *0'))т} ^ М у / Л х ~ *М)(* " %))т}’ (2-3.10)
означающее, что какой бы ни выбирался любой другой алгоритм вычисления несмещенной оценки x(j^), соответствующая ему матрица ковариаций ошибок будет всегда меньше или равна мат рице, обратной информационной матрице Фишера.
Из сказанного следует, что задача нахождения небайесовской несмещенной оценки с минимальной дисперсией эквивалентна задаче нахождения несмещенной эффективной оценки, если тако вая существует.
Использование неравенства Рао-Крамера оказывается весьма полезным при анализе точности, поскольку с его помощью удается оценить потенциально достижимую точность без построения са мой процедуры оценивания.
Введенные выше определения, касающиеся свойств получае мых оценок, позволяют более предметно проводить их сопостав ление.
2.3.2. Метод максимума правдоподобия
Наибольшее распространение в рамках небайесовского подхода получил алгоритм вычисления оценок, основанный на максимиза ции / ( у / х) как функции х при фиксированных значениях изме рений у Эта функция в теории оценивания получила название функции правдоподобия, а метод вычисления, основанный на ее максимизации - метод максимума функции правдоподобия (МФП) [16, 44]. Заметим, что значение f ( y / x ) , умноженное на
величину малого приращения измерений Ду в скалярном случае согласно (1.1.9) приближенно определяет вероятность для измере ния попасть в интервал (у + Ду). Таким образом, смысл процеду ры заключается в том, чтобы при фиксированных значениях изме рений подобрать такое значение искомого параметра, при котором эта вероятность достигает наибольшего значения, т.е. обеспечива ется наибольшее правдоподобие между измеряемыми и вычисляе мыми величинами. Часто вместо функции правдоподобия имеют
дело с ее логарифмом или логарифмической функцией правдо подобия In/ ( у / л). Обычно эти функции определяются с точно
стью до произвольного постоянного множителя.
Из теории оценивания известно, что оценка, соответствующая максимуму функции правдоподобия, обладает важными свойства ми: она состоятельна; в асимптотике при неограниченном увели чении числа измерений т - > со не смещена и нормальна (имеет гауссовское распределение) [16, с. 82]. Кроме того, установлен следующий факт: если существует эффективная небайесов ская оценка, то она является оценкой, максимизирующей функцию правдоподобия [16]. Перечисленные свойства оценки, соответствующей максимуму функции правдоподобия, и объяс няют факт ее широкого использования в рамках небайесовского подхода. Одиако следует иметь в виду, что эта оценка не является общим решением задачи минимизации критерия нахождения не смещенных оценок с минимальной дисперсией и даже не всегда при ограниченном объеме измерений является просто несмещен ной [44].
Итак, оценка максимального правдоподобия (maximum likelihood estimate) отыскивается путем выбора значения л*, кото рое максимизирует / (у / х ) , т.е.
*"*" (у) = arg max f ( y / х) |
(2.3.11 ) |
Л* |
|
либо |
|
х'ш|ш(у) = arg max In f ( y |
/ x). |
.V |
|
Для обеспечения максимума функции правдоподобия требует ся, чтобы соответствующая оценка удовлетворяла необходимому условию максимума
dx /07*) |
= 0 |
|
|
|
|
или |
|
|
— 1п / 0 >/х) |
= 0. |
(2.3.12) |
ах |
|
|
Эти уравнения получили названия уравнений правдоподобия. Как и в случае МНК, приведенные условия являются лишь не обходимыми для обеспечения максимума, и каждое из полученных
решений должно проверяться на достаточное условие типа
189
d 2
7 \ n f { y / x ) |
< 0 . |
(2.3.13) |
dxdx
Рассмотрим два примера
♦ П р и м e p 2.3.1. Конкретизируем алгоритм вычисления оценки, максимизирующей функцию правдоподобия, для задачи оценивания ска лярной величины х по скалярным измерениям
V j = Л' + V,-, / = 1 . т , |
(2 .3 .1 4 ) |
в которых Vj,i = 1MI - независимые между собой гауссовские случайные
2 7
величинами с одинаковыми дисперсиями г , т.е. R = r~E
Так как функция правдоподобия для этого примера имеет вид (2.3.3), а ^(л*) = л', алгоритм нахождения оценки сведется к минимизации крите
рия
i |
т |
( у . _ х ); |
/ мфп(х) = — 1 _ £ |
||
2/’“ |
/=1 |
|
откуда |
i |
т |
|
т ы
Таким образом, оценка, соответствующая максимуму функции прав доподобия в данном примере представляет собой среднеарифметическое по всем измерениям.
Проанализируем свойства этой оценки.
Поскольку М у/х {хмф|'(_у)} = — |
+ v/)| = х ’ оценка являет" |
|
ся несмещенной, а дисперсия ее ошибки вычисляется как |
|
|
|
.2 3 |
|
к Л * * Ь ’) - 4 } = ^ м г / '. E n |
т |
|
|
/ = | |
В силу того что дисперсия ошибки оценки стремится к нулю при уве личении числа измерений т, оценка х мфп(у) является состоятельной.
Рассчитаем предельно достижимую точность для этого примера. В данном случае имеем
din f ( у/ х)
= Н Т-Т {у —Нх) ,
дх
где Н т - строка, состоящая из единиц. 190