Наблюдаем следующий результат (рис. 7.15).

Рис. 7.15

Далее рассмотрим логистическую регрессию.

Логистическая регрессия

Логистическая регрессия — это алгоритм, используемый для бинарной класси­ фикации. Логистическая функция применяется для описания взаимодействия между входными признаками и целевой переменной. Это один из простейших методов классификации, который используется для моделирования бинарной зависимой переменной.

Допущения

Логистическая регрессия предполагает следующее:

zz Набор обучающих данных не содержит пропущенных значений. zz Метка представляет собой бинарную категориальную переменную.

zz Метка является порядковой — другими словами, категориальной переменной с упорядоченными значениями.

zz Все признаки или входные переменные независимы друг от друга.

Установление отношений

Для логистической регрессии прогнозируемое значение рассчитывается следу­ ющим образом:

Давайте предположим, что z = wX + j.

Так что теперь:

Предыдущее соотношение может быть графически представлено следующим образом (рис. 7.16).

Рис. 7.16

Обратите внимание, что если z велико, σ (z) будет равно 1. Если z очень мало или является большим отрицательным числом, σ (z) будет равно 0. Итак, цель логистической регрессии — найти верные значения для w и j.

Логистическая регрессия названа в честь функции, которая исполь­ зуется для ее описания и называется логистической или сигмоидной функцией.

Функции потерь и стоимости

Функция потерь (loss function) используется для измерения ошибки в конкрет­ ном примере в обучающих данных. Функция стоимости (cost function) вычис­ ляет ошибку (в целях ее минимизации) во всем наборе обучающих данных. Функция lossиспользуется только для одного примера в наборе. Функция cost обозначает общую стоимость: с ее помощью высчитывается суммарное откло­ нение фактических значений от прогнозируемых. Оно зависит от выбора w и h.

Функция loss, используемая в логистической регрессии, выглядит так:

Loss (y′(i), y(i)) = –(y(i) log y′(i) + (1 – y(i)) log (1 – y′(i)).

Обратите внимание‚ что, когда y(i) = 1, Loss(y′(i), y(i)) = –log y′(i). Минимизация потерь приведет к большому значению y′(i). Поскольку это сигмоидная функция, максимальное значение будет равно 1.

Если y(i) = 0, Loss (y′(i), y(i)) = –log (1 – y′(i)). Минимизация потерь приведет к тому, что y′(i) будет как можно меньше, то есть 0.

Функция cost в логистической регрессии выглядит следующим образом:

Когда применять логистическую регрессию

Логистическая регрессия отлично подходит для бинарных классификаторов. Она не так эффективна, если объем данных огромен, а их качество не самое лучшее. Логистическая регрессия способна фиксировать более простые отно­ шения. Хотя она‚ как правило‚ не обеспечивает максимальной производитель­ ности, но зато устанавливает очень хороший начальный ориентир.

Использование логистической регрессии в задаче классификации

В этом разделе мы увидим применение алгоритмов логистической регрессии в задаче классификации:

1.Создадим модель логистической регрессии и обучим ее, используя обучаю­ щие данные:

from sklearn.linear_model import LogisticRegression classifier = LogisticRegression(random_state = 0) classifier.fit(X_train, y_train)

2.Теперь спрогнозируем значения контрольных данных и создадим матрицу ошибок:

y_pred = classifier.predict(X_test)

cm = metrics.confusion_matrix(y_test, y_pred) cm

После выполнения кода результат будет таким (рис. 7.17).

Рис. 7.17

3. Оценим показатели производительности:

accuracy= metrics.accuracy_score(y_test,y_pred) recall = metrics.recall_score(y_test,y_pred) precision = metrics.precision_score(y_test,y_pred) print(accuracy,recall,precision)

4. Получим следующий результат (рис. 7.18).

Рис. 7.18

Далее мы рассмотрим метод опорных векторов (алгоритм SVM).

Метод опорных векторов (SVM)

Метод опорных векторов (SVM, support vector machine) — это классификатор, который находит оптимальную гиперплоскость, максимально увеличивающую зазор между двумя классами. Максимизировать зазор — это и есть цель опти­ мизации с помощью SVM. Зазор определяется как расстояние между разделя­ ющей гиперплоскостью (границей принятия решения) и обучающими выбор­ ками, ближайшими к этой гиперплоскости, которые называются опорными векторами. Начнем с очень простого примера, где есть лишь два измерения, X1 и X2. Нам нужна линия, отделяющая нолики от крестиков. Работа алгоритма показана на следующей схеме (рис. 7.19).

Рис. 7.19

Мы нарисовали две линии, и обе они идеально отделяют крестики от ноликов. Однако нам необходимо определить одну оптимальную линию (или границу принятия решения), которая даст наилучшие шансы правильно классифици­ ровать большинство дополнительных примеров. Разумным выбором может быть линия, расположенная между этими двумя классами и равноудаленная от них, что обеспечит небольшой буфер для каждого класса, как показано на рис. 7.20.

Подготовим классификатор с помощью SVM.

Зазор

Опорные векторы

Граница принятия решений

«Положительная» «Отрицательная» гиперплоскость гиперплоскость

Рис. 7.20

Использование алгоритма SVM для задачи классификации

1.Прежде всего создадим экземпляр классификатора SVM, после чего исполь­ зуем обучающую часть размеченных данных для его обучения. Гиперпараметр kernel определяет тип преобразования, применяемого к входным данным, чтобы сделать их линейно разделимыми:

2.После обучения сгенерируем несколько предсказаний и посмотрим на мат­ рицу ошибок:

y_pred = classifier.predict(X_test)

cm = metrics.confusion_matrix(y_test, y_pred) cm

3. Результат будем следующим (рис. 7.21).

Рис. 7.21

4. Теперь рассмотрим метрики производительности:

accuracy= metrics.accuracy_score(y_test,y_pred) recall = metrics.recall_score(y_test,y_pred) precision = metrics.precision_score(y_test,y_pred) print(accuracy,recall,precision)