книги / Математическое моделирование и основы научных исследований в сварке. Статистическая обработка и планирование эксперимента

3. МАТРИЧНЫЙ ПОДХОДКРЕГРЕССИОННОМУ АНАЛИЗУ

3.1. МЕТОД НАИМЕНЬШИХ КВАДРАТОВ ДЛЯ ОДНОГО ФАКТОРА

Статистика разработала множество разнообразных методов обработки экспериментальных данных. Самым распространенным из них является метод наименьших квадратов, который был разработан Лежандром и Гауссом еще более 170 лет назад.

Рассмотрим этот метод на простом примере: один фактор, модель линейная. Функция отклика имеет вид

y = b0 + b1x1.

Это всем хорошо известное уравнение прямой линии. Наша цель – вычисление неизвестных коэффициентов b0 и b1. Если бы при проведении опытов все экспериментальные точки лежали строго на прямой линии, то для каждой из них справедливым являлось бы равенство

y – b0 – b1x1i = 0,

где i = 1, 2, …, N – номер опыта. В этом случае не было бы никаких проблем. На практике указанное равенство нарушается, и вместо него используют следующее уравнение:

y – b0 – b1x1i = ξ i,

где ξ i – разность между экспериментальным и вычисленным по уравнению регрессии значениями y в i-й экспериментальной точке. Эту величину иногда называют невязкой.

Действительно, «невязки» возникают по двум причинам: из-за ошибки эксперимента и из-за непригодности модели. Как правило, эти причины смешаны, и трудно, не получив дополнительной информации, судить, какая из них преобладает.

Можно постулировать, что модель пригодна. Тогда невязка будет порождаться только ошибкой опыта. (Можно, конечно, постулировать, что ошибка опыта равна нулю. Тогда невязка будет связана только с пригодностью модели, и пригодной будет такая модель, для которой все невязки равны нулю.)

62

Необходимо найти такие коэффициенты, при которых невязки будут минимальными. Одним из самых распространенных методов является метод наименьших квадратов (МНК), который записывается следующим образом:

i=1

МНК обладает замечательным свойством – он делает число уравнений равным числу неизвестных коэффициентов.

Наше уравнение регрессии имеет вид

y= b0 + b1x1.

Вних два неизвестных коэффициента. Значит, применяя МНК, мы получим два уравнения. Рассмотрим, как они получаются. Уравнение (3) можно переписать иначе:

Известно, что минимум некоторой функции, если он существует, достигается при одновременном равенстве нулю частных производных по всем неизвестным, т.е.

Отсюда получим следующие уравнения:

После преобразований и решения уравнений получим окончательные формулы для вычисления коэффициентов:

63

Предварительно рассмотрим численный пример линейного уравнения для одного фактора в общем виде. Затем этот же пример опишем на матричном языке.

Пусть известно, что y связан с х1 линейным уравнением

y= b0+b1x1.

Врезультате проведенного эксперимента были получены результаты, представленные в табл. 19. Здесь х1 принимает пять кодированных значений.

Таблица 19

По приведенным ранее формулам вычислим коэффициенты:

Следовательно, полученное уравнение имеет вид

y = 2+1 x1.

Для решения этой же задачи воспользуемся матричным методом. В приведенном примере участвуют три множества: элементы, задающие

64

условия проведения опытов; элементы, характеризующие их результаты; неизвестные коэффициенты, которые нужно определить. Так, элементам, характеризующим результаты опытов, соответствует столбец Y; неизвестным коэффициентам соответствует столбец В; элементам, задающим условия опытов, – столбец Х.

В табл. 19 для Х появился столбец х0, состоящий из +1. Он введен для удобства вычислений всех коэффициентов, включая b0. Фактически это означает, что мы переписали исходное уравнение следующим образом: y = b0x0 + b1x1. Таблицы, в которых собраны упорядоченные некоторым образом элементы, называются матрицами. Следовательно, в нашем случае Y, B и X являются матрицами. Элементы y упорядочены по номерам опытов, элементы Х, кроме того, – по номерам переменных (х0, х1), а элементы В – по номерам коэффициентов, которые соответствуют номерам переменных.

3.2. НЕКОТОРЫЕ ОПЕРАЦИИ НАД МАТРИЦАМИ

Матрицы, описанные в предыдущем подразделе, различаются по количеству элементов, строк и столбцов. Если количество строк и столбцов различно, то матрицы называются прямоугольными, а при равном числе строк и столбцов – квадратными. Все матрицы из этого примера – прямоугольные. Если матрица имеет один столбец, то ее называют матрицей-столбцом или вектором-столбцом. Примерами служат матрицы Y и B. Аналогично можно определить и матрицы-строки (векторы-строки).

На основании исходных данных по рассматриваемому примеру можно записать систему из пяти уравнений по одному уравнению для каждого опыта:

65

0= b0 1 + b1 (–2);

1= b0 1 + b1 (–1); 2 = b0 1 + b1 (0);

3= b0 1 + b1 (+1);

4= b0 1 + b1 (+2).

На матричном языке эта система уравнений выглядит следующим образом:

Чтобы эти две записи стали эквивалентными, необходимо ввести определенные правила перемножения матриц. В произведении необходимо различать матрицу, стоящую слева, и матрицу, стоящую справа. Перемножить две матрицы – значит получить матрицу произведений, элементы которой находятся по следующим правилам.

Элементы первой строки матрицы, стоящей слева, умножаются на соответствующие элементы матрицы, стоящей справа, и полученные произведения складываются. В нашем случае имеем

(+1) b0 + (–2) b1.

Для получения элемента, стоящего на пересечении первого столбца и второй строки, аналогичная операция проделывается со второй строкой матрицы, стоящей слева, и с тем же самым первым столбцом матрицы, стоящей справа, т.е.

(+1) b0 + (–1) b1.

Продолжая таким образом до последней строки матрицы, стоящей слева, получаем все элементы первого столбца матрицы произведений. Эта процедура повторяется столько раз, сколько векторов-столб-

66

цов содержит матрица, стоящая справа. В нашем случае эта матрица имеет только один столбец. Из определения видно, что матрица произведений имеет столько столбцов, сколько матрица, стоящая справа, и столько строк, сколько матрица, стоящая слева. В рассматриваемом примере матрица-произведение имеет один столбец и пять строк, что соответствует размерности матрицы Y. И тогда матрица-произведение имеет вид

Сопоставление матрицы-произведения с системой уравнений показывает тождественность матричной и нематричной форм записей. Вектор Y, оказывается, и есть матрица произведений в данном случае. В правилах перемножения матриц существует особенность – левая и правая матрицы неравномерны. Для двух произвольных матриц произведение существует, если число столбцов матрицы, стоящей слева, равно числу строк матрицы, стоящей справа. Отсюда ясно, что для двух квадратных матриц одинакового размера существуют оба произведения (справа и слева), однако они могут быть различными. Матрицы, произведение которых не зависит от порядка сомножителей, называются коммутирующими. В общем же случае для произведения матриц коммутативный закон не выполняется.

Система нормальных уравнений МНК в нашем случае выглядит следующим образом:

5 b0 + 0 b1 = 10; 0 b0 + 10 b1 = 10.

В матричном виде система нормальных уравнений будет иметь вид

X T XB = X TY.

Здесь X T обозначает матрицу, транспонированную по отношению к матрице Х. Протранспонировать матрицу – это значит столбцы исходной матрицы сделать строками транспонированной матрицы, сохранив

67

их последовательность. Так, в рассматриваемом случае транспонированная матрица имеет следующий вид:

Для получения системы нормальных уравнений необходимо умножить обе части исходной системы уравнений слева на X T . В итоге получим

Теперь можно записать систему уравнений

Полученная матричная запись в точности соответствует исходной системе нормальных уравнений.

Матрица X T X называется матрицей системы нормальных уравне-

ний. Она обладает рядом важных свойств. В этой матрице два элемента, расположенных симметрично относительно диагонали, идущей с левого верхнего угла в правый нижний (так называемой главной диагонали), равны между собой. В нашем случае это нули. Такое свойство характерно для систем нормальных уравнений МНК.

68

Матрица, элементы которой симметричны относительно главной диагонали и равны нулю, называется диагональной. Диагональная матрица, все элементы главной диагонали которой являются единицами, называется единичной матрицей.

Решить систему нормальных уравнений – значит записать в явном виде элементы вектора В (b0 и b1). Если бы мы имели дело с числами, то для этого нужно было бы поделить обе части на коэффициент при неизвестном и получить ответ. Но для матриц вместо деления (которое не определено) используется специальная операция умножения на обратную матрицу. Задача состоит в том, чтобы превратить матрицу, стоящую перед матрицей неизвестных коэффициентов, в единичную. Тогда умножение вектора В на единичную матрицу его не изменит, а, чтобы равенство не нарушалось, правую часть придется домножить на соответствующую матрицу. Если условимся обозначить обратную матрицу степенью –1, то предыдущие рассуждения приведут к следующей записи:

( X T X )−1 ( X T X )B = ( X T X ) X TY.

Здесь система нормальных уравнений МНК умножена слева на матрицу, обратную к матрице системы нормальных уравнений.

Произведение обратной матрицы на прямую справа равно единичной матрице, которую условно обозначим Е:

E= ( X T X )−1 ( X T X ).

Вэтом равенстве участвуют три матрицы. Матрицу системы

Неизвестные элементы обратной матрицы обозначены aij, где i = 1, 2 соответствует строке, аj = 1, 2 – столбцу. Определим этиэлементы:

69

Отсюда следует, что

a11 = 1/5, a12 = 0, a21 = 0, a22 = 1/10.

Запишем обратную матрицу

Отметим некоторые существенные свойства обратной матрицы. Произведение прямой и обратной матрицы коммутативно. Если прямую матрицу обозначить А, то АА–1 = А–1А = Е.

Матрица, обратная к симметричной, тоже будет симметрична. На главной диагонали матрицы, обратной к диагональной, будут стоять числа, обратные соответствующим числам, стоящим на диагонали прямой матрицы. Зная это свойство, можно не проделывать предыдущие вычисления, а сразу записать обратную матрицу для нашего примера.

Таким образом, подставив известные матрицы в уравнение для вектора коэффициентов

B = ( X T X )−1 X TY ,

получим

После перемножения матриц имеем

Поскольку две матрицы равны, если равны их соответствующие элементы, b0 = 2, b1 = 1. Таким образом, получен тот же результат, что и ранее без использования матриц.

70