книги / Математическое моделирование и основы научных исследований в сварке. Статистическая обработка и планирование эксперимента-1
.pdfпонированной матрицы, сохранив их последовательность. Так, в рассматриваемом случае транспонированная матрица имеет следующий вид:
1 |
1 |
1 1 |
1 |
X T |
1 |
0 1 |
. |
2 |
2 |
Для получения системы нормальных уравнений необходимо умножить обе части исходной системы уравнений
слева на X T . В итоге получим |
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
1 |
|
1 1 1 |
1 |
|
1 |
|
|||||||
|
|
|
|
|
|
|
||||||||||
|
X TY |
2 |
|
1 0 |
1 |
2 |
|
2 |
||||||||
|
|
|
|
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
3 |
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
4 |
|
|
|
0 |
1 |
|
2 |
3 |
4 |
10 |
|
|||||||
|
|
( 1) |
0 |
3 |
|
|
|
|
; |
|
||||||
|
|
0 |
8 |
10 |
|
|||||||||||
|
|
|
|
|
|
|
|
|
1 |
2 |
|
|
|
|
||
|
1 |
1 |
1 |
|
1 |
1 |
1 |
1 |
|
|
|
|
||||
|
|
|
|
0 |
|
|
|
|
||||||||
X T X |
1 |
0 |
|
1 |
|
|
1 |
|
|
|
||||||
|
2 |
|
2 |
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
1 |
1 |
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
2 |
|
|
|
|
||
1 |
1 |
1 |
1 |
1 |
2 |
|
1 0 |
1 |
|
2 |
||||||
|
1 0 |
1 |
2 |
4 |
|
1 0 |
1 |
|
|
|
||||||
2 |
|
|
4 |
Теперь можно записать систему уравнений:
|
5 |
0 |
|
|
b |
|
10 |
|
|
|
0 |
|
|||||
|
|
|
|
|
|
|
|
. |
0 |
10 |
b1 |
|
10 |
5 |
0 |
|
. |
0 |
10 |
101
Полученная матричная запись в точности соответствует исходной системе нормальных уравнений.
Матрица X T X называется матрицей системы нор-
мальных уравнений. Она обладает рядом важных свойств. В этой матрице два элемента, расположенных симметрично относительно диагонали (так называемой главной диагонали), идущей с левого верхнего угла в правый нижний, равны между собой. В нашем случае это нули. Такое свойство характерно для систем нормальных уравнений МНК.
Матрица, элементы которой симметричны относительно главной диагонали и равны нулю, называется диагональной. Диагональная матрица, все элементы главной диагонали которой являются единицами, называется единичной матрицей.
Решить систему нормальных уравнений – значит записать в явном виде элементы вектора В (b0 и b1). Если бы мы имели дело с числами, то для этого нужно было бы поделить обе части на коэффициент при неизвестном и получить ответ. Но для матриц вместо деления (которое не определено) используется специальная операция умножения на обратную матрицу. Задача состоит в том, чтобы превратить матрицу, стоящую перед матрицей неизвестных коэффициентов, в единичную. Тогда умножение вектора В на единичную матрицу его не изменит, а чтобы равенство не нарушалось, и правую часть придется домножить на соответствующую матрицу. Если условимся обозначить обратную матрицу степенью –1, то предыдущие рассуждения приведут к следующей записи:
(X T X ) 1 (X T X )B (X Т X )X TY.
Здесь система нормальных уравнений МНК умножена слева на матрицу, обратную матрице системы нормальных уравнений.
Произведение обратной матрицы на прямую справа равно единичной матрице, которую условно обозначим Е:
102
E(X T X ) 1(X T X ).
Вэтом равенстве участвуют три матрицы. Матрицу
системы |
нормальных уравнений |
|
X T X |
называют прямой |
||||
матрицей, |
а матрицу (X T X ) 1 |
– обратной. Для нашей задачи |
||||||
это равенство имеет вид |
|
|
|
|
|
|
||
|
1 |
0 |
a11 |
a12 |
|
5 |
|
0 |
|
0 |
1 |
a |
a |
|
0 |
10 . |
|
|
|
|
21 |
22 |
|
|
|
|
Неизвестные элементы обратной матрицы обозначены aij, где i = 1, 2 соответствует строке, а j = 1, 2 – столбцу. Определим эти элементы:
1 = a11 5 + a12 0; 0 = a21 5 + a22 0; 0 = a11 0 + a12 10; 1 = a21 0 + a22 10.
Отсюда следует, что
a11 = 1 5, a12 = 0, a21 = 0, a22 = 1 10.
Запишем обратную матрицу:
(X T X ) 1 |
1/ 5 |
0 |
|
|
0 |
. |
|
|
|
1/10 |
Отметим некоторые существенные свойства обратной матрицы. Произведение прямой и обратной матрицы коммутативно. Если прямую матрицу обозначить А, то
АА–1 = А–1А = Е.
Матрица, обратная симметричной, тоже будет симметрична. На главной диагонали матрицы, обратной диагональной, будут стоять числа, обратные соответствующим числам, стоящим на диагонали прямой матрицы. Зная это свойство, можно не проделывать предыдущие вычисления, а сразу записать обратную матрицу для нашего примера.
103
Таким образом, подставив известные матрицы в уравнение для вектора коэффициентов
|
|
|
B (X T X ) 1 X TY |
(16) |
|||
получим |
|
|
|
|
|
|
|
|
b |
|
1/ 5 |
0 |
|
10 |
|
0 |
|
|
|
||||
|
|
|
|
|
|
. |
|
b1 |
|
0 |
1/10 |
10 |
|||
После перемножения матриц имеем |
|
||||||
b0 |
|
1/ 5 10 0 10 |
2 |
||||
b |
0 10 1/10 10 |
1 . |
|||||
1 |
|
|
|
|
|
|
|
Так как две матрицы равны, если равны их со- |
|||||||
ответствующие элементы, то |
b0 = 2, |
b1 = 1. Таким образом, |
получен тот же результат, что и ранее без использования матриц.
3.3. Матричный метод и регрессионный анализ
Изложенный матричный метод рассмотрим на следующем примере. Требуется найти зависимость y от х1 и х2. Искомое уравнение регрессии имеет вид
y b0 b1 x1 b2 x2 .
Был реализован полный факторный эксперимент типа 22, матрица планирования которого приведена в табл. 21.
|
|
|
|
Т а б л и ц а 2 1 |
|
|
|
|
|
|
|
Номер опыта |
x0 |
x1 |
x2 |
|
y |
1 |
+ |
– |
– |
|
y1 |
2 |
+ |
+ |
+ |
|
y2 |
3 |
+ |
– |
+ |
|
y3 |
4 |
+ |
+ |
|
|
y4 |
104
Запишем Х-матрицу условий эксперимента и Y-матрицу наблюдений:
1 |
1 |
1 |
|
1 |
1 |
1 |
, |
X |
1 |
|
|
1 |
1 |
|
|
|
1 |
|
|
1 |
1 |
|
y1 |
|
|
|
Y y2 |
. |
y |
|
3 |
|
y4 |
|
Каждая строка Х-матрицы – условия опыта. Приведенная матрица Х ортогональна, так как сумма построчных произведений элементов любых двух столбцов равна нулю. Построим матрицу, транспонированную к Х-матрице,
1 |
1 |
1 |
1 |
X T 1 1 |
1 1 . |
||
|
|
|
|
|
1 |
1 |
|
1 |
1 |
Умножим слева Х-матрицу на матрицу X T :
1 |
1 |
1 |
1 |
1 |
1 |
1 |
|
|
|
||||
X T X 1 1 |
1 |
1 |
1 1 |
1 . |
||
|
1 |
1 |
|
1 1 1 |
||
1 |
1 |
|||||
|
|
|
|
|
1 |
|
|
|
|
|
1 |
1 |
Элементы матрицы-произведения обозначим через hlv. Элемент h11 равен сумме произведений элементов первой строки
транспонированной матрицы X T и соответствующих элементов первого столбца матрицы Х, т.е.
h11 = (+1) (+1) + (+1) (+1) + (+1) (+1) + (+1) (+1) = 4.
Элемент h12 матрицы X T X равен сумме произведений
элементов первой строки матрицы X T и элементов второго столбца матрицы Х. Аналогично находим, что
h12 = 0; h13 = 0; h21 = 0; h22 = 4;
105
h23 = 0; h31 = 0; h32 = 0; h33 = 4.
Таким образом, матрица произведений X T X имеет вид
|
|
|
|
|
4 |
0 |
0 |
|
|
|
|
|
|
|
|
|
X T X 0 |
4 0 . |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
0 |
4 |
|
|
|
|
|
|
|
Умножим слева Y-матрицу на матрицу X T : |
|
|
|
||||||||||
|
|
|
1 |
|
1 |
1 |
1 |
y1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
X T Y 1 |
|
1 1 1 |
y2 |
|
|
|
|
|
||||
|
|
|
|
|
1 |
1 |
|
y |
|
|
|
|
|
|
|
|
1 |
|
1 |
3 |
|
|
|
|
|
||
|
|
|
|
|
|
|
|
y4 |
|
|
|
|
|
( 1) y1 |
|
( 1) y2 |
|
( 1) y3 |
|
|
( 1) y4 |
|
|
||||
( 1) y |
|
( 1) y |
2 |
|
( 1) y |
|
|
( 1) y |
4 |
|
|
||
|
1 |
|
( 1) y |
|
|
3 |
|
|
( 1) y |
|
|
||
( 1) y |
2 |
( 1) y |
|
4 |
|
|
|||||||
|
1 |
|
|
|
|
3 |
|
|
|
|
|
||
|
|
|
|
|
4 |
|
|
|
|
|
|
|
|
|
|
|
x0u |
yu |
|
|
|
|
|
|
|||
|
|
|
u 1 |
|
|
|
|
|
|
|
|
||
|
|
|
|
|
4 |
|
|
|
|
|
|
|
|
|
|
|
x0u |
yu . |
|
|
|
|
|
|
|||
|
|
|
u 1 |
|
|
|
|
|
|
|
|
||
|
|
|
|
|
4 |
|
|
|
|
|
|
|
|
|
|
|
x0u |
yu |
|
|
|
|
|
|
|||
|
|
|
u 1 |
|
|
|
|
|
|
|
|
Искомые коэффициенты b0, b1, b2 можно записать в виде матрицы
b0 B b1 .
b2
Система нормальных уравнений (X T X ) 1 B X T Y в данном случае будет иметь следующий вид:
106
|
|
|
|
|
|
N |
|
|
|
|
|
x0u yu |
|
4 0 |
0 |
b0 |
|
u 1 |
||
|
4 |
|
|
|
|
N |
0 |
0 |
b1 |
|
|
x1u yu |
|
0 |
0 |
4 |
b |
|
u 1 |
|
|
|
|
2 |
|
|
N |
|
|
|
|
|
x2u yu |
|
|
|
|
|
|
u 1 |
Находим матрицу
.
|
|
|
|
1/ 4 |
|
0 |
|
|
0 |
|
|
|
||
|
(X T X ) 1 |
|
0 1/ 4 |
|
|
0 |
. |
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
1/ 4 |
|
|
|||||
Умножаем слева обе части уравнения (X T X )B X T Y на |
||||||||||||||
матрицу (X T X ) 1 : |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1/ 4 |
0 |
0 |
|
|
4 |
0 |
0 |
|
|
b |
|
|
||
|
|
|
|
|
|
|
|
0 |
|
|||||
|
0 1/ 4 0 |
|
0 |
4 0 |
b |
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
0 |
0 |
|
|
|
|
|
|
|
|
b |
|
|
|
|
1/ 4 0 |
0 4 |
2 |
|
|
|||||||||
|
|
|
|
|
|
|
|
N |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x0u |
yu |
|
||||
|
1/ 4 0 |
|
0 |
u 1 |
|
|
|
|
|
|||||
|
|
0 |
1/ 4 |
|
0 |
|
|
N |
|
|
|
|
|
|
|
|
|
|
|
x1u |
yu . |
|
|||||||
|
|
0 |
0 |
1/ 4 |
u 1 |
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
N |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x2u |
yu |
|
||||
|
|
|
|
|
|
|
u 1 |
|
|
|
|
|
После преобразования получим
107
|
|
|
1 |
N |
b0 |
|
|
4 |
u 1 x0u |
|
1 |
|
||
|
|
|
N |
|
b1 |
|
|
|
x1u |
b |
|
|
4 u 1 |
|
2 |
|
|
1 |
N |
|
|
x2u |
||
|
|
|
||
|
|
|
4 u 1 |
yu
yu .
yu
Две матрицы равны, если равны их соответствующие элементы, следовательно,
b0 1 |
|
N |
|
|
1 |
N |
|
|
|
|
|
|||
x0u yu ; b1 |
x1u yu ; |
|
|
|
||||||||||
4 |
u 1 |
1 |
|
4 |
u 1 |
|
|
|
|
(17) |
||||
|
|
|
|
|
|
N |
|
|
|
|
|
|
||
|
|
|
b2 |
x2u yu . |
|
|
|
|
|
|||||
|
|
|
|
|
|
4 |
u 1 |
|
|
|
|
|
|
|
Остаточная сумма квадратов SR |
в рассматриваемом |
|||||||||||||
примере имеет следующий вид: |
|
|
|
|
|
|
|
|||||||
4 |
|
|
2 |
|
|
4 |
|
4 |
|
|
2 |
|
|
|
SR yu2 |
bi x1u yu yu2 |
4 bi2 . |
|
|||||||||||
u 1 |
|
|
|
i 0 |
|
u 1 |
|
u 1 |
|
|
i 0 |
|
|
|
Дисперсия адекватности |
|
|
|
|
|
|
|
|||||||
Sад |
|
|
SR |
|
|
|
SR |
|
SR |
|
SR . |
|
|
|
|
|
|
N k 1 |
4 2 1 |
|
|
||||||||
|
|
|
fR |
|
|
|
|
|
||||||
Оценки S2 bi дисперсий 2 bi определяются следующим |
||||||||||||||
образом: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
S 2 b C |
00 |
S 2 |
1 S 2 ; |
S 2 b C S 2 |
1 |
S 2 |
; |
|||||||
0 |
|
y |
4 |
y |
|
1 |
11 |
y |
4 |
y |
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
S 2 b2 C22 S y2 14 S y2.
108
Здесь Cii (ii1) , где (ii) – элементы исходной матрицы
(X T X ) , а Cii – элементы обратной матрицы. Фундаментальную роль в анализе уравнения регрессии
играет матрица
M 1 (X T X Sy2 ) 1 ,
которая называется матрицей ковариаций. Прямая матрица М называется информационной матрицей Фишера. В структуре матрицы дисперсий-ковариаций содержится вся информация о статистических свойствах модели. Провести статистический анализ – значит извлечь эту информацию. Для этого рассмотрим
матрицу М–1. Оценка дисперсии воспроизводимости S y2
скаляр. Умножить матрицу на скаляр слева или справа значит умножить на этот скаляр каждый элемент матрицы.
Полученные таким образом произведения имеют определенный статистический смысл. Так, на главной диагонали матрицы-произведения стоят оценки дисперсий коэффициентов регрессии, вне главной диагонали расположены оценки ковариаций, характеризующие статистическую зависимость между коэффициентами регрессии.
Таким образом, регрессионный анализ линейного уравнения можно представить в виде последовательности выполнения следующих операций.
1.Составляют Х-матрицу условий опытов и Y-матрицу наблюдений.
2.Строят матрицу X T , транспонированную к Х-матрице.
3.Вычисляют матрицу произведения X T X .
4.Находят матрицу (X T X ) 1 .
5.Вычисляют матрицу произведения X T Y .
109
6. По выражениям B (X T X ) 1 X T Y определяют коэффициенты уравнения регрессии.
7.Находят cov bibj и оценки S 2 bi дисперсий 2 bi .
8.Вычисляют дисперсию Sад2 , и проверяют гипотезу адек-
ватности уравнения регрессии.
Рассмотрим пример, иллюстрирующий методику регрессионного анализа в случае, когда уравнение регрессии представлено полиномом второго порядка. Исследуемая величина y зависит от двух факторов, а оценка уравнения регрессии имеет вид
y b |
b |
x |
b |
x |
b |
x |
x |
b |
x2 |
b |
x2 . |
(18) |
0 |
1 |
1 |
2 |
2 |
12 |
1 |
2 |
11 |
1 |
22 |
2 |
|
Введем следующие обозначения:
x0 = 1; x3 = x1x2; x4 = x12 ; x5 x22 .
С учетом принятых обозначений уравнение (18) примет вид
|
y b0 |
b1 x1 b2 x2 b3 |
x3 b4 x4 b5 x5 . |
(19) |
|||||
Матрица планирования и результаты опытов приведены в |
|||||||||
табл. 22. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Т а б л и ц а 2 2 |
|
|
|
|
|
|
|
|
|
|
|
Номер |
x0 |
|
x1 |
x2 |
|
x3 |
x4 |
x5 |
y |
опыта |
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
1 |
1 |
|
1 |
0 |
|
0 |
1 |
0 |
58,7 |
2 |
1 |
|
–1 |
0 |
|
0 |
1 |
0 |
49,2 |
3 |
1 |
|
0,5 |
0,866 |
|
0,433 |
0,25 |
0,75 |
50,5 |
4 |
1 |
|
0,5 |
–0,866 |
|
0,433 |
0,25 |
0,75 |
61,0 |
5 |
1 |
|
–0,5 |
0,866 |
|
–0,433 |
0,25 |
0,75 |
43,8 |
6 |
1 |
|
–0,5 |
–0,866 |
|
0,433 |
0,25 |
0,75 |
57,7 |
7 |
1 |
|
0 |
0 |
|
0 |
0 |
0 |
50,1 |
Для вычисления коэффициентов b0, b1, ..., b5 составим Х-матрицу условий эксперимента и Y-матрицу наблюдений:
110