книги / Статистический анализ данных в геологии. Кн. 2

направления задаются уравнением линейной дискриминантной функции.

Один из методов нахождения линейной дискриминантной функции — построение уравнения регрессии, в котором зависи­ мыми переменными являются разности между многомерными средними двух групп. В матричном обозначении мы должны решить уравнение вида

где [s2;)J—/пХш-матрица дисперсий и ковариаций объединен­ ной выборки. Коэффициенты дискриминантной функции пред­ ставляются вектором-столбцом неизвестных, который обозначен буквой А. Его коэффициенты играют ту же роль, что и коэф­ фициенты (3 в уравнении регрессии. Не надо путать эти коэф­ фициенты А, с теми, которые используются для обозначения соб­ ственных значений матриц в компонентном и факторном ана­ лизах.

В правой части уравнения (6.12) стоит вектор-столбец раз­ ностей между средними значениями двух групп. Такое уравне­ ние решается с помощью операций обращения и умножения матриц, т. е

Чтобы определить дискриминантную функцию, мы должны определить величины, входящие в матричное уравнение. Разнос­ ти средних находятся по формуле

где Л,, — i-e наблюдение /-й переменной в группе A; Aj — сред­ нее значение /-й переменной группы А, или среднее по па на­ блюдениям. Те же обозначения используются для группы В. Многомерные средние переменные групп Л и В можно считать двумя векторами. Поэтому разность между ними снова образу­ ет вектор

т = [ А , ] - [ Щ ]

- Ь т -

222

Для построения ковариационной матрицы объединенной вы­ борки нужно вычислить матрицу сумм квадратов и смешанных произведений (SP) для всех переменных в группе А и анало­ гичную матрицу для группы В. Например, если рассмотреть только группу А, то

S P A Jk =

I = Г

Здесь, как и ранее, А ц — t-e наблюдение /-й переменной в группе А; Ащ — i-e наблюдение &-й переменной в той же группе. Конечно, при j-k эта величина даст сумму квадратов перемен­ ной с номером k. Аналогично можно найти матрицу сумм квад­ ратов и смешанных произведений для группы В:

1 = 1

Обозначим для простоты записи матрицу сумм произведений для группы А через [SPA], а для группы В — через [SPBJ. Ко­ вариационную матрицу объединенной выборки теперь можно записать в виде

Легко видеть, что это определение дисперсионной матрицы объединенной выборки в точности такое же, как и использован­ ное при рассмотрении критерия Т2 для проверки гипотезы о ра­ венстве многомерных средних. Хотя объем вычислений, которые необходимо провести для того, чтобы получить коэффициенты дискриминантной функции, на первый взгляд и кажется боль­ шим, фактически он значительно меньше. В качестве примера построим дискриминантную функцию для двух групп данных, приведенных в табл. 6.5. Группа А представлена пробами со­ временного песка, взятого с морского пляжа; две переменные — это средний размер зерен и коэффициент отсортированностп. Группа В представлена пробами песка, взятого в отдалении от уреза воды. Переменные в этом случае такие же, как и для группы А. Точечная диаграмма исходных наблюдений пред­ ставлена на рис. 6.3. Хотя две группы точек и перекрываются, совершенно очевидно, что разделяющая их линия проходит меж­ ду ними так, что большинство наблюдений группы А находится

223

по одну сторону от нее, а большинство наблюдений группы В — по другую.

В табл. 6.6 приведены результаты вычислении двух векторов многомерных средних и двух матриц сумм квадратов п сме­ шанных произведений. На основании этих данных вычисляется ковариационная матрица объединенной выборки. Теперь у нас есть данные для нахождения дискриминантной функции

К ] - 1- [ЛЬ м

Полученное множество коэффициентов К используется для построения дискриминантной функции вида

224

Рис. 6.3. Зависимость медианы размеров зерен от коэффициента отсортированности в пробах песка: Q35

0,32

_1______________________ I--------------------------------- ! ~

число, называемое днскрнмг-шантпои меткой, а двумерном слу­ чае мы можем изобразить дискриминантную функцию прямой линией на точечной диаграмме двух исходных переменных. Это прямая с угловым коэффициен том

Такая линия и изображена на рис. 6,3.

Подставляя в уравнение дискриминантной функции среднее арифметическое, полученное из средних для двух выборок, мы

Ro = Я],ф1 Ягфг—— 783,63(0,335) —

— 75,62(1,189)=*— 352,22.

Дискриминантный индекс Ro соответствует точке разделяю­ щей прямой, которая лежит строго посередине между центром группы А и центром группы В. Мы можем подставить многомер­ ное среднее группы А в уравнение, т. е. принять, что

Т а б л и ц а 6.ft

Матрицы, используемые при вычислении дискриминантной функции для двух групп наблюдений, приведенных в табл. 6.5

Вектор средних значений группы А

[0,330 1,167]

Вектор средних значений группы В

Это даст нам значение RA. Аналогично, подстановка среднего группы В даст нам значение RB (при Эти значения оп­ ределяют центры двух исходных групп на разделяющей прямой:

/? л = М 1+ Я И 2= — 783,63(0,330) —

—75,62(1,167)=— 346,64;

Яв=Х Д +Х 2Я2= — 783,63(0,340) —

— 75,62(1,210)=— 357,81.

Эти три точки изображены на рис. 6.4. Аналогично каждое наблюдаемое значение можно подставить в дискриминантное уравнение и затем нанести полученное число на график. Все это можно сделать на одной диаграмме; заметим, что несколько то­ чек группы А попали в группу В, т. е. расположены по правую сторону от R0, а несколько точек группы В попали в группу А. Это — точки, неправильно расклассифицированные с помощью дискриминантной функции.

226

Критерии значимости

Если поставить некоторые условия для данных, используе­ мых при построении дискриминантной функции, можно провес­ ти проверку значимости разделения на две группы. Основными условиями являются: а) наблюдения в каждой группе прово­ дятся наудачу; б) вероятности того, что неизвестное наблюде­ ние принадлежит любой из групп, равны между собой; в) внут­ ри каждой из групп переменные рассматриваются как случай­ ные величины, распределенные нормально; г) ковариационные матрицы различных групп имеют одинаковый порядок; д) пн од­ но из наблюдении, используемых для построения дискриминант­ ной функции, не было ложно раскласспфнццповано.

Наиболее трудно удовлетворнмы условия «б — г». !\ счастью, дискриминантная функция изменяется незначительно при ма­ лых отклонениях от нормальности или при малых отклонениях дисперсий. Выполнение условий «б» зависит от априорно за­ данного уровня относительных вкладов исследуемых групп. Ес­ ли условие о равенстве вкладов относительных содержаний не выполняется, можно сделать некоторые другие допущения, ко­ торые приводят к смещению значения Rc„ (Подробное изложе­ ние вопросов принятия альтернативных решении в дискриминант­

или многомерными средними групп. Мера расстояния получает­ ся прямо из многомерных статистик. Мы можем получить меру различия между средними двух одномерных выборок, Xi и Х2, просто вычитая одно значение из другого. Однако разность вы­ ражается в тех же единицах, что н исходные наблюдения, и обычно более удобна, если использовать сс в стандартизован­ ной форме. Разделив разность на объединенное стандартное от-

Рис. 6.4. Проекция выборок, представленных в табл. 6.5, на дискриминантную прямую, изображенную на рис. 6.3:

Ял — проекция двумерного среднего для пляжного песка; R B — проекция дву­ мерного среднего для песка, удаленного от берега; Ro — дискриминантный индекс

клонение, мы получаем стандартизованную разность

Возведя обе части (6.19) в квадрат и обозначив знаменатель,, являющийся объединенной дисперсией двух выборок, через sP2,. получим

Предположим, что вместо единственной переменной на каж­ дом наблюдении двух групп измеряются две переменных. Раз­ ность между двумерными средними двух групп может быть вы­ ражена как обыкновенное евклидово расстояние или расстояние по прямой между ними. Обозначая эти две группы через Л и В, получаем

В общем случае, если на каждом наблюдении измеряется т пе­ ременных, то расстояние по прямой между многомерными сред­ ними двух групп есть

т

Квадрат евклидова расстояния есть 2 (.4,—Вг)2; легко прове- *=i

рить, что это то же, что и матричное произведение

Евклидово расстояние и его квадрат, к сожалению, выражают­ ся в единицах, составленных из исходных единиц измерений. Для того чтобы иметь возможность их интерпретировать, их на­ до стандартизировать. Сравнение с формулой (6.19) позволяет предположить, что стандартизация должна содержать деление на многомерный эквивалент дисперсии, которым является ко­ вариационная матрица [sP2J. Конечно, деление — операция, не определенная в матричной алгебре, но ей эквивалентно умноже­ ние на обратную матрицу. Умножая вектор-строку [Л,—В,-]' справа на матрицу, обратную ковариационной матрице, т. е. [SP2J-1, и затем на вектор-столбец [Лг—Вг], получаем стандар­ тизованный квадрат расстояния

Эта мера расстояния между средними двух многомерных групп называется расстоянием Махалонобиса. Подставляя данные

228

Интересно, что мы можем получить ту же меру расстояния (в пределах ошибок округления), подставляя вектор средних значений в уравнение самой дискриминантной функции:

D2 = — 783,63 (0,010) — 75,62 (— 0,043) = 11,17.

Расстояние Мехалонобиса графически представлено на рис. 6.4, где оно равно расстоянию между RA и RB. Значение расстояния Махалонобпса состоит в том, что оно является многомерным ана­ логом (“-критерия для проверки гипотезы о равенстве двух сред­ них, называемого критерием Хотелинга Т2. Этот критерий более подробно рассмотрен в следующем параграфе. Здесь просто от­ метим, что он имеет вид

п может быть преобразован в / ’-критерии. Этот критерий про­ верки гипотезы о равенстве двух многомерных параметров, ис­ пользующий более известную статистику, определен выраже­ нием

нулевая гипотеза заключается в том, что два неизвестных мно­ гомерных средних равны между собой или что расстояние меж­

верки '.гой гипотезы не вызывает сомнений. Если средние зна­ чения двух групп очень близки друг к другу, то их трудно раз­ делить, особенно если обе группы имеют большой разброс. Наоборот, если два средних значения легко разделяются и рас­ сеяние вокруг средних мало, разделение осуществляется отно­ сительно просто. В качестве примера поучительно проверить значимость дискриминантной функции, которую мы только что строили.

Поскольку не все переменные, включенные в дискриминант­

229

ции аналогичен выбору наиболее эффективных зависимых пе­ ременных в уравнении множественной регрессии. Эта задача, однако, более сложная, так как зависимые или предсказывае­ мые переменные в дискриминантной функции составлены из разностей между двумя множествами одинаковых переменных, которые используются как независимые переменные классифи­ кации. В отличие от регрессии, в которой суммы квадратов У не изменяются при добавлении к уравнению различных пере­ менных XI, суммы квадратов разностей между группам1,! А и В претерпевают изменения при добавлении или устранении пере­ менных.

Некоторое представление об эффективности независимых переменных в дискриминантной функции можно получить, вы­ числяя стандартизованные разности

нение переменной i. Так как эта мера не учитывает взаимосвя­ зи переменных, то она полезна только как некоторый общий ориентир эффективности классификации. Пошаговые алгоритм: дискриминантного анализа используют стандартизованные р:

ности в выборе порядка, в котором переменные добавляют -г к дискриминантной функции. Однако значимость различи - комбинаций переменных может быть проверена только с >а мощью вычисления различных функций и определения относи­ тельных вкладов в процесс разделения на два класса, котордают различные уравнения.

Дискриминантный анализ обеспечивает естественный пе-^ ход между двумя большими классами многомерных статисти­ ческих методов. С одной стороны, он тесно связан с множест­ венной регрессией и тренд-анализом. С другой, он может трак­ товаться как задача определения собственных значений тип . метода главных компонент, факторного анализа и других ана­ логичных многомерных методов. Имеются преимущества в ис­ пользовании собственных векторов при вычислении дискрими­ нантной функции, так как она позволяет одновременно осуще­ ствить разделение более чем на две группы. Однако отложим рассмотрение этого вопроса до момента, когда будут изложе­

месторождений тяжелых металлов в густо залесенных горах се­ верной части Швеции. Данные, собранные аэромагнитометром,

230