Множественная линейная регрессия

нято использовать более надежные критерии для оценки тесноты связи, основываясь на рассчитанных значениях коэффициента корреляции.

Здесь может помочь только эталон, с которым можно было бы сравнить вычисленную характеристику. Статистика как раз и занимается созданием таких эталонов, которые называются критическими или табличными значениями.

Процедуру установления корреляционной зависимости принято называть проверкой гипотезы. Ее принято проводить в следующей последовательности:

−вычисление линейного коэффициента корреляции между совокупностями случайных величин xi и yi;

−его статистическая оценка (проверка значимости).

Статистическую оценку коэффициента корреляции проводят путем сравнения его расчетной величины Rрасч (п. 1.2.1) с табличным (или критическим) показателем Rкрит, значения которого находят по специальной таблице.

Если окажется, что Rрасч ≥ Rкрит, то с заданной степенью вероятности (обычно 95 %) можно утверждать, что между рассматриваемыми числовыми совокупностями существует значимая линейная связь. Или по-другому − гипотеза о значимости линейной связи не отвергается.

В случае же обратного соотношения, т.е. при Rрасч < Rкрит, делается заключение об отсутствии значимой связи.

1.2.2. Метод наименьших квадратов

Для определения коэффициентов уравнения регрессии а применяют разные методы (графический, метод средних), однако наибольшее распространение получил метод наименьших квадратов (МНК).

Пусть обсуждается некоторая зависимость y = f(x), которая отражает какой-то процесс, имеющий плавное течение, и поэтому все параметры системы изменяются постепенно, без скачков. В этих случаях экспериментальные точки, нанесенные на графике, должны бы укладываться на некоторую плавную кривую (в частном случае, прямую). Однако на практике определенный разброс экспериментальных точек наблюдается всегда, что связано с изменчивостью (ошибками) регистрируемых измерений. Понятно, что такого разброса удалось бы избежать, если бы результаты измерений оказались совершенно свободными от ошибок, и тогда точки, отвечающие этим результатам, строго ложились бы на соответствующую плавную кривую, или прямую линию. Поэтому все процессы, которые имеют заведомо плавное течение, принято изображать также плавными кривыми, проводя их не через точки, а так, чтобы кривая проходила по возможности ближе ко всем точкам на графике.

Однако такое указание оставляет при построении кривых определенный произвол. Его частично можно устранить основным положением МНК: сумма квадратов отклоне-

ний εi экспериментальных точек от кривой по вертикальному направлению должна быть наименьшей, т.е. сумма квадратов величин εi, равна минимуму ( ∑εi2 = минимум).

Или иначе − сумма квадратов отклонений известных (экспериментальных) значений исследуемой функции и соответствующих значений функции (теоретическими показателями) должна быть наименьшей.

11

Для простоты и наглядности примера будем рассматривать зависимость показателя y от одного фактора x.

Довольно часто при описании аппроксимирующей функции ограничиваются простым видом полиноминальной зависимости, полагая ее линейной, т.е. в виде уравнения прямой y = а0 + а1x. Здесь свободный член а0 характеризует сдвиг и равен тому значению у, которое получается при х = 0, а коэффициент а1 определяет наклон линии.

Отыскание коэффициентов а0 и а1 осуществляется по МНК.

Пусть имеется n экспериментальных точек (n пар наблюдений): (x1, y1); (x2, y2); … (xn, yn). Введем следующие обозначения: уi – это измеренные (экспериментальные) значения изучаемого параметра, а yˆi – его теоретические (рассчитанные по уравнению) показатели.

Предположим, что экспериментальные точки на графике укладываются так, что по ним вполне возможно провести прямую линию. Значения функции yˆi в этом случае можно записать в виде линейного уравнения:

yˆi = а0 + а1xi .

Расстояние по ординате (вертикали) от точки yi до прямой составит:

а0 + а1xi − yi = εi,

где а0 + а1xi = yˆi − рассчитанное (теоретическое) значение функции; yi − ее измеренное (фактическое) значение и εi − разница (расстояние) между yˆi и yi.

В соответствии с МНК полагаем, что искомая прямая будет наилучшей, если сумма квадратов всех расстояний F(a0, a1) = ∑(а0 + а1xi − yi)2 = ∑εi2 окажется наименьшей.

Минимум этой суммы находится по правилам дифференциального исчисления:

В результате для определения а0 и а1 используются следующие уравнения:

n a0 +∑ xi a1 = ∑ yi ,

∑ xi a0 +∑ xi2 a1 = ∑ yi xi ;

12

1.2.3. Критерий Фишера

Для проверки значимости (пригодности) полученного уравнения регрессии применяют специальные приемы. Такую проверку называют проверкой адекватности модели.

Для количественной проверки гипотезы об адекватности можно использовать так называемый F-критерий (критерий Фишера):

S 2 / m

F = регр . расч Sост2 / (n −m −1)

Понятие и формулы расчета величин Sрегр2 , Sост2 смотрите в п. 1.2.1.

Здесь число степеней свободы f = n – m – 1, где n – число опытов в эксперименте (т.е. объем случайной выборки); m – число изучаемых факторов.

Чтобы определить, велика или мала ошибка в предсказании эмпирических результатов, ее нужно сопоставить с некоторой статистической величиной (эталоном), принимаемой в качестве критической. Вот почему используется расчетный F-критерий, который затем сравнивают с Fкрит (имеются таблицы как приложения к различным изданиям) при числе степеней свободы v1 = m, v2 = n −m −1 и заданном уровне значимости α (уровень

доверительной вероятности).

Если Fрасч < Fкрит, то модель признается адекватной, т.е. с заданной степенью достоверности (надежности) она верно предсказывает реальный результат. Если же Fрасч > Fкрит, то вывод обратный: данное уравнение не может с заданной надежностью прогнозировать эмпирические данные.

Проверка адекватности модели по критерию Фишера дает возможность ответить на вопрос, во сколько раз хуже по сравнению с опытом предсказывает результат модель.

1.2.4. Ошибки прогнозирования (определение качества регрессионного анализа)

Можно воспользоваться двумя приемами для оценки добротности выполненного нами регрессионного анализа. В статистике для этого используют:

1. Стандартную ошибку, которая дает представление о приблизительной величине ошибки прогнозирования.

Обозначим разность между фактическим значением результативного признака и его расчетным значением как ui:

ui = yi − yˆi ,

где yi – фактическое значение результативного признака y; yˆi – расчетное значение y; ui – разность между ними.

Поскольку (среднее значение остатков) равно нулю, то суммарная погрешность равна остаточной дисперсии.

Остаточная дисперсия находится по формуле:

13

Стандартная ошибка уравнения находится по формуле:

Sy = Du ,

где Du – остаточная дисперсия.

Относительная погрешность уравнения регрессии вычисляется как

ε = Syy 100 %,

где Sy – стандартная ошибка; у – среднее значение результативного признака.

Стандартная ошибка коэффициента аi вычисляется по формуле:

Sai = nDSy x .

Для вычисления стандартной ошибки коэффициента a0 используется формула:

где Dx – величина дисперсии:

Чем меньше дисперсия, тем лучше уравнение описывает зависимость.

Стандартные ошибки коэффициентов используются для оценивания параметров уравнения регрессии.

Коэффициенты считаются значимыми, если

2. Коэффициент детерминации (R2), указывающий, какой процент вариации функции у объясняется воздействием факторов хk.

2. ЗАДАНИЕ ДЛЯ САМОСТОЯТЕЛЬНОЙ РАБОТЫ

Для одного предприятия даны значения 11-ти показателей за пять лет с разбивкой по кварталам, т.е. имеется 20 наблюдений для 11 показателей. Требуется исследовать зависимость одного из показателей (производительность труда) y от всех остальных показателей (факторов) xi, i = 4, 5, … 13. Работа состоит из трех частей:

1.Выбрать три существенных фактора. Выбор можно сделать по двум критериям:

•рассчитать коэффициент корреляции между производительностью труда и каждым фактором (чем больше коэффициент, тем существеннее фактор);

•рассчитать коэффициент парной корреляции между факторами (если для какой-то пары факторов он больше 0,99, то при выборе факторов взять только один фактор из этой пары).

14

2. Построить многофакторную линейную модель (уравнение регрессии) по трем выбранным факторам

где у – производительность труда; х1, х2, х3 – выбранные факторы. Оценить качество уравнения регрессии по следующим критериям:

•коэффициент корреляции (R);

•F-статистика (критерий Фишера);

•стандартная ошибка (Sy).

Оценить степень влияния каждого фактора на исследуемый показатель.

3. Спрогнозировать производительность труда по модели (1) на все кварталы следующего года. Оценить точность прогноза в процентах. Для прогнозирования y значения факторов за соответствующий квартал следующего года из табл. 2 подставить в уравнение регрессии (1), полученные таким образом значения производительности труда сравнить с теми, что в табл. 2. Отклонение в процентах и будет характеризовать точность. Если точность прогноза (ошибки) меньше 7 %, то выбор факторов сделан правильно.

Замечание. Фактор обозначить через хi, где i – номер колонки, в которой находятся статистические данные по этому показателю. Такое обозначение сохранить при любых расчетах.

В табл. 2 представлена информация для каждого варианта. Номер варианта означает две последние цифры года, начиная с которого берутся статистические данные по всем показателям за пять лет.

Например, вариант 88. Для исследования берется информация за 5 лет с 1988 по 1992 год. Прогнозируется производительность труда на 1993 год по кварталам. Для этого значения факторов за соответствующий квартал 1993 года подставляются в модель (1).

15

16

Продолжение табл. 2

17

Окончание табл. 2

18

ренностью можно утверждать, что между двумя рассматриваемыми совокупностями переменных существует линейная связь. Иными словами, значение какой-то одной из этих случайных величин (y) существенным образом зависит от того, какое значение принимает другая (x).

Если окажется, что r = 1 (или −1), то имеет место классический случай чисто функциональной зависимости (т.е. реализуется идеальная взаимосвязь).

Познакомимся со способом оценки корреляционной связи посредством расчета коэффициента корреляции, рассмотрев конкретный пример.

Зная коэффициент корреляции, можно дать качественно-количественную оценку тесноты связи.

Определим коэффициенты корреляции с помощью Мастера функций. Действуем в следующей последовательности:

•активизируем ячейку D23, куда и будет помещено первое расчетное значение ко-

эффициента корреляции;

•запустим Мастер функций, в всплывающем диалоговом окне укажем требуемую категорию – Статистические, а затем выделим нужную функцию Коррел, после чего – ОК;

•в появившейся панели Коррел нужно заполнить текстовые поля для Массив 1 (диапазон ячеек С2:С21) и для Массив 2 (D2:D21);

•и наконец нажмем кнопку ОК.

20