Лекция №3 Непараметрическое (независящее от распределения) обучение дискриминантных функций
3.1. Пространство весов
Мы уже обсуждали тот факт, что вектор образа X представляется как точка в пространстве образов и что пространство может быть разбито на подобласти для образов, принадлежащих различным категориям. Решающая поверхность, которая делит пространство может быть линейной, кусочно-линейной или нелинейной и может быть в общем виде представлена как:
где и
представляют собой образ и весовой вектор. Проблема обучения системы состоит в том, чтобы найти вектор W, показанный на рис.3.1 на основе априорной информации, полученной от обучающей выборки. Возможно и даже более удобно исследовать поведение обучающих алгоритмов в пространстве весов. Пространство весов есть (n+1) - размерности Эвклидова пространства, в котором координаты 1 2 ... n+1. Для каждого прототипа , k=1,2,...,M, m=1,2,...,Nk (где M представляет число категорий и Nk представляет собой число прототипов, принадлежащих к категории K, в пространстве W (пространство весов) имеется гиперплоскость, в которой
любой весовой вектор W на положительной стороне гиперплоскости дает wТz.. 0. Т.е., если прототип принадлежит категории 1, любой весовой вектор W на этой стороне гиперплоскости будет вероятно классифицировать . Аналогичные аргументы могут быть рассмотрены для любого весового вектора на другой стороне гиперплоскости, где wТz.. 0.
Возьмем 2-х классовую проблему для иллюстрации. Предположим, что мы имеем последовательность N1 образов, принадлежащих 1 с общим числом образов N = N1 + Nl. Предположим также, что 1 и 2 -два линейно разделяемых класса. Тогда может быть найден вектор , такой,что:
и
где . и представляют собой категории 1 и 2 соответственно.
В общем, для N образов имеется N гиперплоскостей в весовом пространстве. Область решения для категории 1 в W - пространстве это область, которая лежит на положительной стороне N1 гиперплоскостей для категории 1 и на отрицательной для N2 гиперплоскостей для категории 2. Предположим, что мы имеем три прототипа Z1, Z2, Z3 и знаем, что все они принадлежат категории 1 . Три гиперплоскости могут быть нарисованы в W - пространстве, как показано на Рис.3.1а, заштрихованная область на Рис.3.1а показывает решающие области в двухклассовой проблеме. В этой области
и
Т.е. любое в этом районе будет вероятно классифицировать прототипы Z1, Z2, Z3 как принадлежащие 1 , в то время как поперечно заштрихованные области, показанные на рис.3в
d1
d2
но d3 любой из этой области будет классифицировать Z1 и Z2 как принадлежащий категории 1 и классифицировать Z3 как относящийся к категории 2 .
К ак обсуждалось в части 2 решающая поверхность для двухклассовой задачи предполагает, что d(w,x) будет больше 0 для всех образов из одного класса и меньше 0 для образов, принадлежащих к другому классу. Но если все заменить на их отрицательные значения - , то решающая поверхность может быть обобщена как часть пространства, в котором:
Tz0 = -
наша проблема становится в нахождении , которое обеспечивает положительность всех неравенств.
Иногда может быть желательно иметь ограничение (порог) в дискриминантной функции, такой что:
, (3.6)
где T0 ограничение (порог). Любой , удовлетворяющий неравенству (3.6) является весовым вектором решения. Решающая область теперь изменяется так, как показано на рис.3.2.
В заштрихованной области: оба и - положительные, в то время как отметим, что вдоль исходной гиперплоскости образа
, (3.7)
и что вектор Z (расширенный Z) является перпендикулярным к гиперплоскости и направлен в ее положительную сторону. Тогда линия отстоит от на расстояние . Доказательство этого оставим читателю.