книги / Автоматизация научных исследований
..pdfзначения принадлежат некоторой области Qt п -мерного пространст ва. Выходную переменную у будем в дальнейшем называть зависимой переменной, целевой величиной или выходом процесса, протекающего в исследуемом объекте. В общем случае можно сказать, что между вы ходной переменной у и независимыми переменными существует функциональная связь
У = У(х), |
(5.1) |
= (х1,х2,...,хп)'/ |
(5.2) |
Здесь х - вектор значений независимых переменных; Т - знак транс понирования вектора. Зависимость (5.1) на практике часто бывает не известна, и тогда ее пытаются найти путем обработки эксперимен тальных данных.
Поскольку всякий эксперимент связан с появлением случайных ошибок, то при построении математической модели на основе экспе риментальных данных необходимо использовать методы обработки результатов эксперимента, т.е. методы математической статистики. Наиболее часто при решении этой задачи применяется метод наи меньших квадратов.
5.2.Метод наименьших квадратов
5.2.1. Постановка задачи
Пусть требуется на основе экспериментальных данных построить модель исследуемого объекта. При этом прежде всего необходимо составить себе какое-то представление о структуре этой модели. Из физических соображений можно, например, предположить, что взаи
мосвязь между у и х, линейна, |
|
у(а,х) = а0 +а,х, + а2х2+... + а„х„. |
(5.3) |
При этом а, является неизвестным параметром исследуемого объек та, оценки которого требуется найти путем обработки эксперимен тальных данных. В случае, если характер связи описывается квадра тичной функцией, имеем
у(а,х) =а0+а,х, + а2х2+... + апхп+ а„+1х,х, + апу2х2х2+... + |
|
|
+ З Д Л . + «2Я+1*!*2 + Я2»+2*1*3 + - + |
+ |
(5-4) |
+ Яз„х2х3+... + а*х„_,х„. |
|
|
Здесь
п + 2 {п + 2)(п + 1 )
к + 1=
Обычно коэффициенты квадратической модели (5.4) нумеруются не по порядку, а так, что коэффициент при функции - обозначается через я, :
У ( а , х ) = я0 + £ я,х, + J a ^ x , |
+ ^ а их ] , |
(5.5) |
|
(=1 |
7.<=1 |
1=1 |
|
где al,alj,all - коэффициенты, характеризующие соответственно ли нейные эффекты, эффекты взаимодействия и квадратичные эффекты. Коэффициенты aQ,al,aIJ,all называются коэффициентами регрессии,
а уравнение (5.5) - уравнением регрессии.
Модели полиномиального вида имеют большое значение в связи с тем, что с их помощью любая аналитическая функция (5.1) может быть описана как угодно точно. Однако с увеличением степени поли нома весьма существенно увеличивается число оцениваемых пара метров модели и соответственно затраты на эксперимент. Так, если
степень полинома есть т , то |
|
|
||
(* + !) = |
п + т |
(п + 1)(и + 2 )...{п + т) |
(5.6) |
|
т |
т\ |
|||
|
|
|||
В дальнейшем мы будем иметь дело с моделями вида |
|
|||
|
|
у = у(х,а), |
(5.7) |
|
где а - вектор параметров модели, |
|
|||
|
а = (at,a2,...,ak)' |
(5.8) |
||
Примем, что модель (5.7) линейна относительно коэффициентов а,,
т.е. |
|
у(х,а) = я0/ 0(х) + a j x(х) +... + a j k(х). |
(5.9) |
При этом /(х ) - известные функции, являющиеся |
компонентами |
вектора |
|
Д х) = (Л(х),У;(х),...,/А(х))'/ |
(5.10) |
Используя векторные обозначения, вместо (5.9) можно записать |
|
у = а‘ f{x) = f ‘\x)a. |
(5.11) |
В случае модели (5.3) или (5.4) получаем соответственно следующие выражения для компонент / (х):
/(х) = (1,х„х2,...,х;>)/ |
(5.12) |
и
/(х ) = (1,Х1,Х2,...,Х я,Х]Х1,Х2Х2,...,Х 11Х)„
(5.13)
Х|Х2,Х|Х2,...,Х|ХП,Х2Х2,...,Х||_|ХП)
Для истинных значений вектора коэффициентов а в (5.11), которые будем обозначать через а , требуется найти оценки а , используя для
этой цели результаты эксперимента. При этом оценка у |
для у рас |
||
считывается по формуле |
|
|
|
у =а‘f{x) = f r{x)a. |
(5.14) |
||
Эксперимент проводится в N точках |
|
||
1 |
2 |
N |
|
X |
, Х |
V ..,JC |
|
с координатами |
|
|
|
х'=(х;,х',...,х;)7 ,/-1,2,...,^ |
(5.15) |
||
Результаты наблюдений у' в точках х' представляются с помощью вектора наблюдений
Y = (y',y2,...,yNjr |
(5.16) |
Вкаждой точке х' может быть поставлено v опытов, результатами которых будут
Г, у ,2, - , Г
Вэтом случае в качестве у 1 используется среднее значение наблюде
ний в точке х'
^ = 1 (^ + у'2+... + Г ) . |
(5.17) |
v |
|
Задача состоит в том, чтобы на основе результатов (5.16) найти наи лучшие в определенном смысле оценки a n y
5.2.2. Решение задачи определения математической модели исследуемого объекта
Чтобы решить задачу, сформулированную в разделе 5.2.1. необ ходимо сначала выяснить, что следует понимать под наилучшими оценками.
Будем исходить из того, что модель вида (5.11) является адекват ной (т.е. модель вида (5.11) соответствует действительности). Вопросы о том, что произойдет, если (5.11) не соответствует действительности, и как на основе экспериментальных данных проверить адекватность модели, будут обсуждаться в разделах 5.2.4 и 5.2.5 соответственно.
Сопоставим теперь друг с другом экспериментальные результаты
(5.16), отражающие действительность, и значения |
|
Y = {y \y \.,.,y N)‘ |
(5.18) |
рассчитанные с помощью оценки а и представляющие модель (5.14). Имеем
|
у' = arf(x') = f r(x')a,i = 1,2,..., iV |
(5.19) |
||||
или соответственно |
|
|
|
|
|
|
где матрица F имеет вид: |
Y = Fa, |
|
|
(5.20) |
||
|
|
|
|
|||
|
|
/оО') |
М * 1) |
f k(x') |
|
|
|
F = |
/ о ( * 2 ) |
и х 1) |
М х 2) |
(5.21) |
|
|
|
|
|
|
|
|
|
|
fo(xN) |
U x N) |
/Лх") |
|
|
Результат наблюдения у' |
в некоторой точке х' зависит от слу |
|||||
чайной ошибки е' |
|
|
|
|
|
|
|
|
|
e " = y ' - y ' , / |
= l,2,...,W, |
(5.22) |
|
где у' - |
истинное |
значение выходной |
переменной |
в точке |
||
x'J = 1,2,..., N |
Множество значений ошибок в N экспериментальных |
|||||
точках может быть представлено вектором е |
вида |
|
||||
|
|
|
e = Y - Y |
|
|
(5.23) |
Здесь черта сверху в (5.23) означает истинное значение вектора. Наложим на результаты наблюдений три условия, которые на
практике, как правило, выполняются:
1 ) результаты эксперимента свободны от систематических оши бок, т.е. математическое ожидание величины у' равно действитель
ному значению у ' : |
|
М[?) = 7 = ( y \ f , . . . , y N)r = F a , |
(5.24) |
т.е. |
|
М[е] = 0; |
(5.25) |
2 ) результат наблюдения в точке xJ не зависит от результата в точке х , т.е.
М{{у‘ - y')(yJ - / ) } = 0 для / * j |
5.26) |
или |
|
M{e'eJ} = 0 для i*j", |
(5.27) |
3) дисперсия результатов наблюдений во всех точках х' |
одинако- |
ва, т.е. |
|
D(y') = М[(у‘ - у')2] = cf2 для всех i |
(5.28) |
или |
|
D(e') = М[(е)2~\ - а 2 для всех /. |
(5.29) |
Условия 2 и 3 выполняются, если |
|
М[еет] = о21 |
(5.30) |
где / - единичная матрица размерности N *N
Наложим еще два условия на оценки а , обратив внимание на то, что оценки а , полученные на основе обработки случайных результа тов наблюдений, представляют собой некоторых случайный вектор.
1) оценка а не должна содержать систематических ошибок (т.с.
оценка а должна быть несмещенной) |
|
М[а] = а\ |
(5.31) |
2) дисперсия а 2 оценки а, должна быть минимальной: |
|
ст2 = D[a] = М[(а, - а,)2] = min,/ = 0,1,2,..„А:. |
(5.32) |
При этом рассматривается класс оценок, образуемых линейными
комбинациями результатов наблюдений y ‘,(i = 1,2,...,У) .
Эти два требования представляют собой только одну из многих возможных конкретизаций понятия «наилучшая оценка». Вместо вто рого требования могут быть использованы такие условия, как
maxiа, - а,I = min
0<i &k ' 1
или
maxiу, - у,| = min
os,s/VK'
ит.д.
Условие (5.32) является наиболее приемлемым, так как оно приво дит к методу наименьших квадратов и при нормально распределенных
результатах наблюдений в каждой точке х' позволяет провести стати стический анализ полученных оценок, а также проверить адекватность модели.
Теоретическую основу метода наименьших квадратов составляют
следующие утверждения: |
|
|
|
Утверждение 5.1. |
Оценка а |
удовлетворяет условиям |
(5.31) |
и (5.32), если сумма |
|
|
|
s = T.(y |
-у'У = Y - Y |
= (Y - Y f ( Y - Y ) |
(5.33) |
/=1 |
|
|
|
минимальна, т.е. |
|
|
|
|
S(a) = minS(a). |
(5.34) |
|
|
а |
|
|
Очевидно, что S в (5.33) является функцией а, причем в силу (5.20) можно записать, что
S = (Y - Fa)' (Y - Fa) ,
т.е.
5 = S(a) = Y 'Y + arF rFa - 2Y TFa. |
(5.35) |
S является расширенной квадратичной формой а , которая в слу чае невырожденности матрицы F 1F имеет единственный минимум
при |
|
a = {FTF y 'F ‘Y |
(5.36) |
Матрица F 1F не вырождена, т.е. |
|
|F 7 F | ф о , |
|
если матрица F имеет ранг к +1. Здесь \А\ - определитель матрицы А . |
|
Утверждение 5.2. Если матрица F имеет ранг |
£ + 1, то сумма |
квадратов (5.35) достигает минимума при |
|
а = (FrF y ] F rY = CF'Y |
(5.37) |
Матрица С в (5.37) размера (к + 1)х (к +1) |
|
C = (FrFy' |
(5.38) |
называется дисперсионной матрицей.
Для пояснения утверждения 5.2 рассмотрим пример.
Пример 5.1. Выход у исследуемого объекта зависит от длительно сти реакции t и температуры Т Эту зависимость можно считать ли нейной в окрестностях точки t = 4 ч , Т =220°С .
Меняя t с шагом в 1 ч и температуру с шагом в 10°С, поставим опыты в следующих точках (рис. 5.1):
/ = (4±1) ч, Т = (220±10)°С.
Рис. 5.1
В дальнейшем для упрощения вычислений введем нормированные переменные х, и х2 (рис. 5.1):
х, = t - |
. |
Т - 220 |
. |
4,х, = |
--------- |
||
1 |
2 |
1 0 |
|
Для оценивания коэффициентов линейной модели y = a0+aixl +а2х2
проводятся опыты в следующих точках (табл. 5.1). Таблица 5.1
/ |
|
*2 |
|
1 |
|
1 |
1 |
|
2 |
1 |
-1 |
3 |
-1 |
-1 |
4 |
-1 |
I |
Результаты опытов (в процентах) представлены вектором
Y = (65,5; 55; 44,9; 55)'
Пользуясь формулами (5.12), (5.21), (5.37), (5.38) и (5.19), получа ем следующие результаты:
Г1 1 1'
1 - 1 1
"4 |
0 |
0 " |
|
'1 |
0 |
o' |
F rF = 0 |
4 |
0 = 4/3, |
/3= 0 |
1 |
0 |
|
0 |
0 |
4 |
|
0 |
0 |
1 |
|
C = (FrF y ' Л |
|
|
|
||
|
|
1 |
1 |
1 |
|
|
CF =■ |
1 |
- 1 |
- 1 |
, |
|
|
|
4 |
- 1 |
- 1 |
1 |
|
|
|
|
|
|
|||
a =
oQ> |
|
5» |
= CF'Y |
Л .
' |
1 |
1 |
1 |
= - |
1 |
1 |
- 1 |
4 |
1 |
- 1 |
- 1 |
|
|
1 |
Г |
З |
|
|
- 1 |
а |
1 |
44,9 |
_ |
_ 55 _
'55,1'
5,15
Л 15.
у= 55,1 + 5,1 5 л:, + 5 ,1 5 х 2.
5.2.3.Ошибки оценивания при использовании метода
наименьших квадратов
5.2.3.1. Определение показателей точности оценок ai и величины у
Оценки а,., рассчитанные согласно (5.37), отличаются от истин ных значений коэффициентов at, причем ошибка тем больше, чем больше дисперсия ошибок наблюдений. Показателями точности оце нок at и величины у являются дисперсии о] и сг2 соответственно. Эти дисперсии зависят не только от дисперсии ошибок наблюдений а 2, но и от выбранной структуры модели и точек постановки опытов,
т.е. от матрицы F (см. (5.21)). Для определения этой зависимости не обходимо прежде всего найти выражения для ковариационной матри цы COV(a) вектора а:
COV(a) = М[(а - а)(а - а)1].
Из (5.37), (5.31) и (5.45) следуют выражения:
а = CFrY |
|
а = М[а) = CFrM[Y] = CFrY |
|
Используя эти выражения, получаем |
|
М[(а - а)(а - а)1] = M[CFr(Y - Y)(Y - ?)' FCr] = |
|
= CF' M[(Y - Y)(Y - Y)T]FCr |
|
В силу (5.23), (5.24) и (5.30) имеем |
|
COV(a) = CFrM[(Y - Y)(Y - Y)T]FCr = CF' FC' a2 |
|
Поскольку матрица F 1F симметрична, то |
|
CF'FC1 =(FrF y 'F rF(FlFT' =C, |
|
и для COV(a) получаем |
|
COV(a) =Ca2 |
(5.39) |
При этом для дисперсии а ,2 оценки о, имеем |
|
a 2 = c,7a 2, |
(5.40) |
где c„ - i -й элемент главной диагонали матрицы С . |
|
Коэффициент корреляции между оценками at и а] определяется
формулой
2
(5-41)
с"см
Дисперсию ст2 для величины у получаем с помощью следующих преобразований:
а? = М[{у - Я 2] = М[((а - a f f i x ) ) 2] = M [ f (х)(а - а)(а - a f fix ) ] = = f (х)М[(а - а)(а - a f) f( x ) = f (x)COV(а\f(x) = / ' (х)Сст2Дх).
Таким образом, |
|
o ] = f ‘\x)Cf(x)<y2 |
(5.42) |
5.2.3.2. Определение доверительного интервала для коэффициентов а, при известной дисперсии
ошибок наблюдения а 2 |
|
С помощью оценок о определяется оценка у функции у : |
|
У = агЯ х ) . |
(5.43) |
При этом можно рассчитать значения оценок выходной переменной в точках х1,i = 1 ,2 ,..., JV
у 1=arf ( x ‘). |
(5.44) |
Рассчитанные значения выхода исследуемого объекта представляются с помощью вектора
f = (yl,y 2,...,yN)T |
(5.45) |
При дополнительном предположении о нормальности закона распре деления результатов наблюдений в любой точке постановки экспери мента случайная величина
X = |
|
(5.46) |
распределена нормально и имеет место соотношение (рис. 5 .2 ) |
|
|
|
х2 |
(5.47) |
/(* ) = |
2 |
|
|
|
|
где yj(x) - плотность распределения вероятностей случайной вели чины X ; х - возможные значения случайной величины X