книги / Статистический анализ данных в геологии. Кн. 2

/.j- ф н ц и о и т м н о ж е с т в е и о п й р е г р е с с и и : ^ = * 0 . 7 8 .

ццентов регрессии, так как их величины зависят от значений самих переменных. Эта зависимость легко прослеживается при построении поверхностей тренда, где коэффициенты при членах высшего порядка дают больший вклад в тренд, чем члены более низкого порядка. Это вытекает из того, что высокая степень пе­ ременной имеет значительно больший порядок, чем первона­ чальная переменная. Соответственно коэффициенты при регрес­ сионных членах более высокого порядка уменьшаются.

Ксчастью, частные коэффициенты регрессии легко выпазить

вединицах стандартного отклонения (Ли [43J). Стандартные коэффициенты частной регрессии В/, находятся по формуле

213

оценка стандартного отклонения величины Y. Так как все стан­ дартные частные коэффициенты регрессии выражаются в едини­ цах стандартного отклонения, то их можно прямо сравнить друг с другом ц определить наиболее эффективные из них.

Вычислив элементы матрицы сумм квадратов и произведе­ ний, необходимых для построения нормальных уравнений, най­ дем диагональные элементы ЕЛ'/,2 н по ним вычислим исправ­ ленные суммы квадратов SSk и затем стандартные отклонения, необходимые для вычисления частных коэффициентов корреля­ ции. Однако можно получить решение нормальных уравнений в таком виде, что при этом прямо получаются значения стандар­ тизованных частных коэффициентов регрессии, в результате че­ го получается значительный выигрыш в вычислительном про­ цессе.

Большая часть ошибок при построении множественно:: рег­ рессии возникает при вычислении элементов матрицы [ЕЛ’] и в процессе ее обращения. Суммы квадратов переменных л мо­ гут возрасти настолько, что при отбрасывании разрядов, выхо­ дящих за пределы разрядной сетки, могут быть потеряны зна­ чащие цифры. Далее, если элементы матрицы [2LY] сильно раз­ личаются по величине, то при ее обращении может произойти дополнительная потеря знаков, в особенности в тех случаях, когда между переменными имеется высокая корреляция Неко­ торые вычислительные программы в состоянии сохранить толь­ ко одну или две значащих цифры в коэффициентах, а с неко­ торыми данными дело может обстоять еще хуже. Исследования показали, что вычислении с использованием двойной точности недостаточно для того, чтобы преодолеть эту трудность. Однако несколько простых изменений в программе позволят сохранить в процессе вычислении от двух до шести значащих цифр и зна­ чительно повысить точность уравнения регрессии [44].

Во-первых, все наблюдения заменим на их отклонения от среднего значения. Это преобразование позволяет уменьшить абсолютную величину переменных и приводит к переменным, имеющим общее среднее значение, равное нулю. При этом пре­ образовании коэффициент Ь0 обращается в нуль, так что поря­ док матрицы системы уравнений снижается на единицу, В ре­ зультате такого преобразования сохраняется несколько знача­ щих цифр. Однако порядок величин элементов матрицы можно еще уменьшить, если использовать вместо них соответствующие коэффициенты корреляции. Это преобразование соответствует записи исходных переменных в стандартной нормальной форме с нулевым средним и единичным стандартным отклонением. Матричное уравнение для определения коэффициентов регрес­ сии тогда примет вид

214

между переменной Y и независимыми переменными Хк. Матри­ ца коэффициентов корреляции между переменными Xk порядка т.<т обозначается через [rxx]. Например, нормальное уравне­ ние для трех независимых переменных имеет вид

Отметим, что в этом уравнении на одну строку и один стол­ бец гденыне, чем в эквивалентном уравнении (6.5 ).

Однако этот метод, основанный на вычислении корреляцион­ но;! матрицы и получении стандартизованного уравнения рег­ рессии, имеет тот недостаток, что он увеличивает объем вычис­ лений. Для сохранения точности коэффициенты корреляции ре­ комендуется вычислять не по формуле (2.24), а на основании определяющего уравнения. Использование формулы (2.24) не­ целесообразно по той причине, что она содержит квадраты ве­ личин ЪХ} и Если эти суммы велики, то их квадраты мо­ гут оказаться неточными за счет отбрасывания разрядов, выхо­ дящих за пределы разрядной сетки. Этой проблемы не возни­ кает, если до вычисления сумм квадратов из каждого наблюде­ ния вычесть среднее значение. Суммы квадратов находятся по формулам (2.16) и (2.19). Для осуществления этой операции требуется использовать исходные данные дважды — первый раз для вычисления среднего значения, а затем при вычитании по­ лученного значения из наблюдений. В то же время как при вычислениях вручную это приводит к значительному увеличе­ нию объема работы, на вычислительной машине такая операция проводится очень просто. Вычисленные коэффициенты должны выдаваться в «нестандартизированном» виде, так как они за­ тем используются для построения уравнения прогноза вместе с необработанными данными. Однако этот недостаток окупается преимуществами возрастающей устойчивости и точности мат­ ричного решения, а стандартизованные коэффициенты дают воз­ можность оценить величины вкладов отдельных переменных в уравнение регрессии. Коэффициенты частной регрессии можно получить из стандартизированных коэффициентов частной рег­ рессии с помощью преобразования

Постоянный член Ь0 находится по формуле

215

Несмотря на то, что суммы квадратов изменяются при стан­ дартизации данных или при использовании матричного уравне­ ния в корреляционной форме, отношения сумм квадратов оста­ ются неизменными. Поэтому критерии значимости, основанные на стандартизованной регрессии, идентичны критериям, основан­ ным на нестандартизованной регрессии. Такие величины, как коэффициент множественной корреляции (R) и процентное вы­ ражение точности аппроксимации (100% R'2), также остаются неизменными.

Данные, приведенные в табл. 6.4, представляют собой харак­ теристики нефтегазоносного бассейна в Арканзасе. Зависимой переменной является оценка запасов нефти в некотором участ­ ке бассейна, вычисленная на основании метода материального баланса. Уравнение материального баланса в сущности язляется соотношением между добычей нефти, добычей газа и давле­ нием. Б него включаются также допущения об объеме ретервуара и начальных объемах нефти, газа и воды. Независимыми переменными являются время заполнения резервуара, давление в нем, общая добыча нефти, кумулятивное отношение добычи газа к добыче нефти. Так как между зависимой переменной и аргументами в уравнении материального баланса имеется не­ явная связь, то мы вправе ожидать необычно высокую внутрен­ нюю корреляцию. Действительно, если модель материального баланса выбрана удачно и паши представления о начатьном состоянии и объеме резервуара правильны, то корреляция, будет

количества газа к добытому объему нефти (фут3/баррель).

216

высокой. Неудачные попытки полностью оценить размеры неф­ тяных запасов могут быть связаны с ошибками в начальных допущениях или с неполным исследованием всех факторов, вхо­ дящих в уравнение материального баланса.

Эти данные содержат некоторые характеристики, представ­ ляющие трудности для анализа. Так как порядки значении изу­ чаемых переменных сильно различаются, то элементы матрицы смешанных произведений также сильно отличаются по величи­ не. Эти данные образуют многомерный временной ряд. Так же, как и в других рядах этого типа, таких, как кривые роста эко­ номики или использования трудовых ресурсов, переменные сильно коррелироваиы. Сохранить достаточное количество цифр в матричных вычислениях или сохранить точность в процессе обращения оказывается затруднительным. Полезно вычислить коэффициенты регрессии, используя матрицу Т.Х и матрицу гхх. Для сравнения стандартизованные частные коэффициенты рег­ рессии должны быть преобразованы к обычному виду (6.10) и (6.11). Различия, которые можно обнаружить, возникают из-за ошибок округления при использовании матрицы 2А'.

Несмотря на то что стандартизованные частные коэффициен­ ты регрессии позволяют находить наиболее важные переменные,

щественный вклад в регрессию и их можно отбросить. Если од­ ну из переменных устранить и снова построить уравнение рег­ рессии, то качество подбора и само уравнение, конечно, изме­ нятся. Если мы решили устранить вторую переменную, уравне­ ние регрессии снова изменится, но изменение может быть совсем иным по сравнению с изменением, которое произойдет в том случае, если первая переменная сохранится в регрессии. Это происходит по тон причине, что эффекты взаимодействия двух отбрасываемых переменных с другими переменными нельзя оцепить без повторного построения регрессионного уравнения. Если необходимо провести исследование большого числа пере­ менных и отбросить те переменные, которые несущественны для данной задачи, то мы не должны ограничиваться простым ис­ следованием частных коэффициентов регрессии.

Увеличение числа независимых переменных в уравнении рег­ рессии всегда ведет к увеличению SSR (исключая те случаи, когда новые переменные полностью коррелироваиы со старыми). Однако это увеличение не может быть значительным. Потерю степеней свободы отклонений можно компенсировать уменьше­ нием SSD, что в действительности приводит к увеличению сред­ него значения квадратов отклонений. Если это происходит, то F-отношение уменьшается, что приводит к сокращению числа

217

членов в уравнении регрессии. Для определения наилучшей возможной регрессии (наиболее значимого ^-отношения) при­ ходится исследовать всевозможные комбинации переменных; ес­ ли переменных немного, это сделать легко, так как число их возможных комбинаций равно 2т. Однако если т велико, эта процедура требует значительных затрат машинного времени. Существуют другие процедуры, которые позволяют получать оптимальную регрессию со значительно меньшими затратами времени. Среди них можно назвать обратную процедуру ис­ ключения, прямую процедуру выбора, методы пошаговой и мно­ гошаговой регрессии. При большом количестве исходных пере­ менных эти методы не всегда приводят к одинаковым уравне­ ниям регрессии, однако результаты, полученные на их основа­ нии, все же эквивалентны. Изложение этих методов не входит в наши задачи, и мы приведем лишь краткое описание одного из них. Эти методы хорошо изложены в некоторых руководствах, например в книгах Дрейпера и Смита [14] и Мараскило и Ле­ вина [46].

Обратная процедура исключения сводится к построению уравнений регрессии, включающих все возможные переменные, и в последующем отборе наименее значимых аргументов. Отбор проводится путем исследования стандартизированных коэффи­ циентов частной регрессии с наименьшими значениями и после­ дующего построения уравнения регрессии, из которого удалены эти переменные. Значимость отбрасываемых переменных прове­ ряется с помощью приемов дисперсионного анализа, аналогич­ ных представленным в табл. 4.16. Если переменная не дает зна­ чимого вклада в регрессию, то она обыкновенно отбрасывается. Затем стандартизированные коэффициенты частной регрессии приведенного уравнения анализируются снова, и процесс повто­ ряется. На каждом шаге число переменных в уравнении рег­ рессии уменьшается на единицу до тех пор, пока все оставшие­ ся переменные не окажутся значимыми.

Весьма полезно исследование набора семи переменных, пред­ ставляющих характеристики бассейна рек (см. рис. 6.1), с целью возможного исключения каких-либо из них. Исследуя стандар­ тизованные коэффициенты частной регрессии и отбрасывая наи­ меньшие из них и снова вычисляя регрессию, мы можем лапти минимальное множество аргументов регрессии.

Повторное применение программы множественной регрес­ сии, очевидно, менее эффективно, чем использование пошагового вычислительного алгоритма, но оно имеет то преимущество, что каждый шаг процесса может быть тщательно проанализирован. После того как будет достигнуто понимание процессов исклю­ чения и изменения, происходящих при вычислении коэффициен­ тов регрессии, можно обратиться к более автоматизированным алгоритмам.

2 1 8

Хотя по внешним признакам теорию множественной регрес­ сии можно отнести к «многомерным» теориям, так как в ней участвует несколько переменных, измеренных на каждом объ­ екте наблюдения, все же по существу своему она является од­

анализ, цель которого — идентификация или распределение объ­ ектов в заранее заданные группы. Разделение на две взаимно исключающие друг друга группы — это процесс, который в вы­ числительном плане является промежуточным между одномер­ ными процедурами и настоящими многомерными методами, в которых много переменных рассматриваются одновременно. Две группы, каждая из которых характеризуется некоторым множеством многомерных переменных, можно разделить с по­ мощью решения некоторого множества совместных уравнений, почти таких же, как те, которые используются в множественной регрессии. Вектор правой части матричного уравнения, однако, не содержит степеней и попарных произведений единственной зависимой переменной, а содержит разности между многомер­ ными средними этих двух групп.

Критерии теории дискриминантных функций включают мно­ гомерные обобщения простых одномерных статистических кри­ териев проверки гипотез о равенстве. Они будут рассмотрены позже, после многомерных методов классификации или распре­ деления объектов в однородные группы. Затем мы рассмотрим методы, в которых используются собственные значения, вклю­ чая метод главных компонент и факторный анализ. Последние параграфы содержат многомерные обобщения дискриминантного анализа и множественной регрессии.

Этот перечень, очевидно, не является исчерпывающим. Одна­ ко рассматриваемые методы были выбраны по той причине, что они нашли применение в науках о Земле. Они включают мно­ жество вычислительных методов и оперируют с рядом фунда­ ментальных понятий. Понимание теории этих методов и соот­ ветствующих ей вычислительных процедур обеспечивает доста­ точную базу для оценки других многомерных методов.

ДИСКРИМИНАНТНЫЕ ФУНКЦИИ

Один из наиболее широко используемых в науках о Земле многомерных методов — дискриминантный анализ. Мы рассмат­ риваем его здесь потому, что, во-первых, он является мощным статистическим методом, и, во-вторых, его можно поставить в один ряд с одномерными задачами, связанными с множествен­ ной регрессией или рассмотренными выше многомерными зада­

2 1 9

чами проверки статистических гипотез. Поэтому он позволяет установить дополнительную связь между одномерной и много­ мерной статистикой.

Определим сначала понятие разделения (дискриминацииJ и покажем, чем оно отличается от близкого к нему понятия клас­ сификации. Предположим, что имеются две группы проб слан­ цев, о которых заранее известно, что они образовались в прес­ новодном и морском бассейнах. Это можно определить на осно­ вании исследования остатков ископаемых организмов. В пробах измерено некоторое число геохимических характеристик, а имен­ но, содержания ванадия, бора, железа и других элементов. За­ дача состоит в нахождении такой линейной комбинации этих переменных, которая даст максимально возможное различие между двумя ранее определенными группами. Если нам удаст­ ся найти такую функцию, то мы сможем использовать ее для отнесения новых образцов к тон или другой исходной группе. Иными словами, новые образцы сланца, не содержащие диагно­ стических ископаемых остатков, можно будет разделить па мор­ ские и пресноводные на основе линейной дискриминантной функ­ ции, построенной по их геохимическим компонентам. (Эта зада­ ча рассматривалась Поттером, Шимпом н Унттерсом [55].)

Задачу классификации можно проиллюстрировать на анало­ гичном примере. Предположим, что мы собрали большую кол­ лекцию образцов сланцев, каждый из которых был подвергнут геохимическому анализу. Можно ли на основе значений изме­ ренных переменных осуществить разделение выборки на относи­ тельно однородные группы (кластеры), отличающиеся друг от друга? Численные методы решения такого рода задач доста­ точно хорошо разработаны и принадлежат к разделу науки, на­ зываемому таксономией. Они будут рассмотрены в следующем разделе. Существует несколько явных различий между этими методами и методами дискриминантного анализа. Классифика­ ция внутренне замкнута, т. е., в отличие от дискриминантного анализа, она не зависит от априорных сведений о соотношении между пробами. В дискриминантном анализе число групп за­ дается заранее, в то время как число кластеров, которые полу­ чаются в результате классификации, не может быть заранее оп­ ределено. Каждая проба из исходного множества в дискрими­ нантном анализе принадлежит к одной из заданных групп. В большинстве задач классификации проба может войти в лю­ бую из групп, возникающих в результате классификации. Дру­ гие различия станут очевидными при рассмотрении этих двух процедур. В результате кластерного анализа сланцев пробы распределяются по группам. Представляет интерес проведение геологического осмысливания найденных таким образом групп.

Простая линейная дискриминантная функция осуществляет преобразование исходного множества измерений, входящих в

220

Р ис. 6.2 . Г р аф и ч еск ое п р ед ста в л ен и е д в у х д в у м ер н ы х р асп р едел ен и й ,

Указаны перекрытия распределений для групп Л и В по осям X i и Х 2; проек­ тирование на дискриминантную линию позволяет различить две группы

выборку, в единственное дискриминантное число. Это число, или преобразованная переменная, определяет положение образ­ ца на прямой, определенной дискриминантной функцией. Поэто­ му мы можем представлять себе дискриминантную функцию как способ преобразования многомерной задачи в одномерную.

Дискриминантный анализ основан на нахождении преобразо­ вания, которое дает минимум отношения разности многомерных средних значений для некоторой пары групп к многомерной дисперсии в пределах двух групп. Если мы изобразим паши две группы совокупностями точек в многомерном пространстве, то легко найти такое направление, вдоль которого эти совокупнос­ ти явно разделяются и в то же время имеют наименьшую вы­ пуклость. Графически эта картина представлена на рис. 6.2. Ес­ ли использовать переменные Xi и Xs, то провести удовлетвори­ тельное разделение групп А и В не удается. Однако можно найти направление, вдоль которого разделение совокупностей очевидно, а выпуклость минимальна. Координаты точек этого

221