- •Об авторе
- •Предисловие
- •Для кого эта книга
- •О чем эта книга
- •Что вам потребуется при чтении этой книги
- •Условные обозначения
- •От издательства
- •Глава 1. Обзор алгоритмов
- •Что такое алгоритм
- •Этапы алгоритма
- •Определение логики алгоритма
- •Псевдокод
- •Использование сниппетов
- •Создание плана выполнения
- •Введение в библиотеки Python
- •Библиотеки Python
- •Реализация Python с помощью Jupyter Notebook
- •Методы разработки алгоритмов
- •Параметры данных
- •Параметры вычислений
- •Анализ производительности
- •Анализ пространственной сложности
- •Анализ временной сложности
- •Оценка эффективности
- •Выбор алгоритма
- •«О-большое»
- •Проверка алгоритма
- •Точные, приближенные и рандомизированные алгоритмы
- •Объяснимость алгоритма
- •Резюме
- •Глава 2. Структуры данных, используемые в алгоритмах
- •Структуры данных в Python
- •Список
- •Кортеж
- •Словарь
- •Множество
- •DataFrame
- •Матрица
- •Абстрактные типы данных
- •Вектор
- •Стек
- •Очередь
- •Базовый принцип использования стеков и очередей
- •Дерево
- •Резюме
- •Глава 3. Алгоритмы сортировки и поиска
- •Алгоритмы сортировки
- •Обмен значений переменных в Python
- •Сортировка пузырьком
- •Сортировка вставками
- •Сортировка слиянием
- •Сортировка Шелла
- •Сортировка выбором
- •Алгоритмы поиска
- •Линейный поиск
- •Бинарный поиск
- •Интерполяционный поиск
- •Практическое применение
- •Резюме
- •Глава 4. Разработка алгоритмов
- •Знакомство с основными концепциями разработки алгоритма
- •Вопрос 1. Даст ли разработанный алгоритм ожидаемый результат?
- •Вопрос 2. Является ли данный алгоритм оптимальным способом получения результата?
- •Вопрос 3. Как алгоритм будет работать с большими наборами данных?
- •Понимание алгоритмических стратегий
- •Стратегия «разделяй и властвуй»
- •Стратегия динамического программирования
- •Жадные алгоритмы
- •Практическое применение — решение задачи коммивояжера
- •Использование стратегии полного перебора
- •Использование жадного алгоритма
- •Алгоритм PageRank
- •Постановка задачи
- •Реализация алгоритма PageRank
- •Знакомство с линейным программированием
- •Практическое применение — планирование производства с помощью линейного программирования
- •Резюме
- •Глава 5. Графовые алгоритмы
- •Представление графов
- •Типы графов
- •Особые типы ребер
- •Эгоцентрические сети
- •Анализ социальных сетей
- •Введение в теорию сетевого анализа
- •Кратчайший путь
- •Создание окрестностей
- •Показатели центральности
- •Вычисление показателей центральности с помощью Python
- •Понятие обхода графа
- •BFS — поиск в ширину
- •DFS — поиск в глубину
- •Практический пример — выявление мошенничества
- •Простой анализ мошенничества
- •Анализ мошенничества методом сторожевой башни
- •Резюме
- •Глава 6. Алгоритмы машинного обучения без учителя
- •Обучение без учителя
- •Обучение без учителя в жизненном цикле майнинга данных
- •Современные тенденции исследований в области обучения без учителя
- •Практические примеры
- •Алгоритмы кластеризации
- •Количественная оценка сходства
- •Иерархическая кластеризация
- •Оценка кластеров
- •Применение кластеризации
- •Снижение размерности
- •Метод главных компонент (PCA)
- •Ограничения PCA
- •Поиск ассоциативных правил
- •Примеры использования
- •Анализ рыночной корзины
- •Ассоциативные правила
- •Оценка качества правила
- •Алгоритмы анализа ассоциаций
- •Практический пример — объединение похожих твитов в кластеры
- •Тематическое моделирование
- •Кластеризация
- •Алгоритмы обнаружения выбросов (аномалий)
- •Использование кластеризации
- •Обнаружение аномалий на основе плотности
- •Метод опорных векторов
- •Резюме
- •Глава 7. Традиционные алгоритмы обучения с учителем
- •Машинное обучение с учителем
- •Терминология машинного обучения с учителем
- •Благоприятные условия
- •Различие между классификаторами и регрессорами
- •Алгоритмы классификации
- •Задача классификации
- •Оценка классификаторов
- •Этапы классификации
- •Алгоритм дерева решений
- •Ансамблевые методы
- •Логистическая регрессия
- •Метод опорных векторов (SVM)
- •Наивный байесовский алгоритм
- •Алгоритмы регрессии
- •Задача регрессии
- •Линейная регрессия
- •Алгоритм дерева регрессии
- •Алгоритм градиентного бустинга для регрессии
- •Среди алгоритмов регрессии победителем становится...
- •Практический пример — как предсказать погоду
- •Резюме
- •Глава 8. Алгоритмы нейронных сетей
- •Введение в ИНС
- •Эволюция ИНС
- •Обучение нейронной сети
- •Анатомия нейронной сети
- •Градиентный спуск
- •Функции активации
- •Инструменты и фреймворки
- •Keras
- •Знакомство с TensorFlow
- •Типы нейронных сетей
- •Перенос обучения
- •Практический пример — использование глубокого обучения для выявления мошенничества
- •Методология
- •Резюме
- •Глава 9. Алгоритмы обработки естественного языка
- •Знакомство с NLP
- •Терминология NLP
- •Библиотека NLTK
- •Мешок слов (BoW)
- •Эмбеддинги слов
- •Окружение слова
- •Свойства эмбеддингов слов
- •Рекуррентные нейросети в NLP
- •Использование NLP для анализа эмоциональной окраски текста
- •Практический пример — анализ тональности в отзывах на фильмы
- •Резюме
- •Глава 10. Рекомендательные системы
- •Введение в рекомендательные системы
- •Типы рекомендательных систем
- •Рекомендательные системы на основе контента
- •Рекомендательные системы на основе коллаборативной фильтрации
- •Гибридные рекомендательные системы
- •Ограничения рекомендательных систем
- •Проблема холодного старта
- •Требования к метаданным
- •Проблема разреженности данных
- •Предвзятость из-за социального влияния
- •Ограниченные данные
- •Области практического применения
- •Практический пример — создание рекомендательной системы
- •Резюме
- •Глава 11. Алгоритмы обработки данных
- •Знакомство с алгоритмами обработки данных
- •Классификация данных
- •Алгоритмы хранения данных
- •Стратегии хранения данных
- •Алгоритмы потоковой передачи данных
- •Применение потоковой передачи
- •Алгоритмы сжатия данных
- •Алгоритмы сжатия без потерь
- •Практический пример — анализ тональности твитов в режиме реального времени
- •Резюме
- •Глава 12. Криптография
- •Введение в криптографию
- •Понимание важности самого слабого звена
- •Основная терминология
- •Требования безопасности
- •Базовое устройство шифров
- •Типы криптографических методов
- •Криптографические хеш-функции
- •Симметричное шифрование
- •Асимметричное шифрование
- •Практический пример — проблемы безопасности при развертывании модели МО
- •Атака посредника (MITM)
- •Избежание маскарадинга
- •Шифрование данных и моделей
- •Резюме
- •Глава 13. Крупномасштабные алгоритмы
- •Введение в крупномасштабные алгоритмы
- •Определение эффективного крупномасштабного алгоритма
- •Терминология
- •Разработка параллельных алгоритмов
- •Закон Амдала
- •Гранулярность задачи
- •Балансировка нагрузки
- •Проблема расположения
- •Запуск параллельной обработки на Python
- •Разработка стратегии мультипроцессорной обработки
- •Введение в CUDA
- •Кластерные вычисления
- •Гибридная стратегия
- •Резюме
- •Глава 14. Практические рекомендации
- •Введение в практические рекомендации
- •Печальная история ИИ-бота в Твиттере
- •Объяснимость алгоритма
- •Алгоритмы машинного обучения и объяснимость
- •Этика и алгоритмы
- •Проблемы обучающихся алгоритмов
- •Понимание этических аспектов
- •Снижение предвзятости в моделях
- •Решение NP-трудных задач
- •Упрощение задачи
- •Адаптация известного решения аналогичной задачи
- •Вероятностный метод
- •Когда следует использовать алгоритмы
- •Практический пример — события типа «черный лебедь»
- •Резюме
Обучение без учителя |
151 |
zz Алгоритмы обнаружения выбросов, или аномалий (anomaly detection algorithms).
ОБУЧЕНИЕ БЕЗ УЧИТЕЛЯ
Обучение без учителя (unsupervised learning) — это процесс придания струк туры неструктурированным данным путем обнаружения и использования присущих им общих признаков. Если набор данных не создан каким-либо случайным процессом, то в данных в многомерном пространстве задачи суще ствуют некоторые шаблоны. Алгоритмы обучения без учителя обнаруживают их и используют для структурирования данных. Эта концепция показана на рис. 6.1.
- |
|
C |
|
|
|
Рис. 6.1
Обучение без учителя структурирует данные, обнаруживая новые признаки в существующих шаблонах.
Обучение без учителя в жизненном цикле майнинга данных
Чтобы понять роль обучения без учителя, в первую очередь необходимо взгля нуть на жизненный цикл майнинга данных (data mining) в целом. Существуют различные методологии, разделяющие его на независимые этапы, называемые фазами. В настоящее время есть два популярных способа построения жизнен ного цикла майнинга данных:
zz CRISP-DM (Cross-Industry Standard Process for Data Mining); zzSEMMA (Sample, Explore, Modify, Model, Access).
152 |
|
Глава 6. Алгоритмы машинного обучения без учителя |
|||
CRISP-DM был разработан консорциумом датамайнеров, представляющих |
|||||
такие компании, как Chrysler и SPSS (Statistical Package for Social Science). |
|||||
SEMMA был предложен компанией SAS (Statistical Analysis System). В книге |
|||||
мы рассмотрим CRISP-DM и попытаемся понять место обучения без учителя |
|||||
в жизненном цикле майнинга данных. Отметим, что SEMMA состоит из схожих |
|||||
этапов. |
|
|
|
|
|
Жизненный цикл CRISP-DM состоит из шести фаз, которые показаны на рис. 6.2. |
|||||
|
|
|
|
|
|
1. . |
|
|
|
||
- |
2. • |
|
|||
|
|
|
3. • • • |
||
|
|
|
|
|
|
6. ƒ„ . |
|
• • < |
5. † • |
|
|
- € |
4. |
||||
• |
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Рис. 6.2 |
|
|
Давайте по очереди разберем каждую фазу. |
|
zz Фаза 1. Понимание бизнес-целей. На данном этапе происходит понимание задачи с позиции бизнеса и определяются ее требования. Оценка масштаба задачи и правильное ее описание в терминах машинного обучения (МО) — важная часть этапа. Например, для задачи бинарной классификации иногда полезно сформулировать требования в терминах гипотезы, которая может быть доказана или отклонена. Эта фаза также посвящена документированию ожиданий от модели МО (она будет обучена на этапе моделирования). Так, для задачи классификации нам необходимо задать минимально приемлемую точность модели, которая может быть развернута в производственной среде.
Обучение без учителя |
153 |
Важно отметить, что первый этап CRISP-DM связан с пониманием с позиции бизнеса. Здесь мы фокусируемся на том, что нужно сделать, а не на том, как именно это будет сделано.
zz Фаза 2. Изучение данных. На этом этапе мы исследуем данные и ищем под ходящие для решения задачи датасеты (наборы данных). Необходимо оценить качество данных и их структуру, а также обнаружить полезные закономер ности. Затем мы должны выявить подходящий признак, который можно использовать в качестве метки (или целевой переменной) в соответствии с требованиями фазы 1. Алгоритмы обучения без учителя способны сыграть ключевую роль в достижении следующих целей:
yy обнаружить закономерности в датасете;
yy изучить структуру датасета, проанализировав обнаруженные закономер ности;
yy определить или вывести целевую переменную.
zz Фаза 3. Подготовка данных. Речь идет о подготовке данных для модели МО, которую мы будем обучать. Размеченные данные разделяются на две нерав ные части. Большая часть называется обучающими данными (training data) и используется для дальнейшего обучения модели. Меньшая часть называ ется проверочными данными (testing data) и применяется для оценки модели (фаза 5). В качестве инструмента подготовки данных используются алгорит мы МО без учителя. С их помощью мы преобразовываем неструктурирован ные данные в структурированные и создаем дополнительные параметры, которые могут быть полезны при обучении модели.
zz Фаза 4. Моделирование. На данном этапе мы используем обучение с учителем, чтобы сформулировать обнаруженные закономерности. Необходимо произ вести подготовку данных в соответствии с требованиями выбранного алго ритма обучения с учителем и определить конкретный признак, который будет использоваться в качестве метки. На этапе подготовки мы разделили данные на проверочные и обучающие. Теперь нужно составить математиче ские формулировки для описания взаимосвязей в интересующих нас зако номерностях. Это делается путем обучения модели с помощью набора обу чающих данных, созданного на этапе 3. Полученное математическое описание зависит от выбора алгоритма.
zz Фаза 5. Оценка. Этот этап посвящен тестированию недавно обученной мо дели с использованием проверочных данных. Если результат не соответству ет требованиям, установленным на этапе понимания бизнес-целей, мы по вторяем цикл, начиная с фазы 1. Это проиллюстрировано на рис. 6.2.
154 |
Глава 6. Алгоритмы машинного обучения без учителя |
zz Фаза 6. Внедрение. Если результат совпадает с ожиданиями или превосходит их, то обученная модель развертывается в рабочей среде и начинает генери ровать решение задачи, сформулированной на фазе 1.
Вторая и третья фазы жизненного цикла CRISP-DM связаны с пони манием данных и их подготовкой для обучения модели, что включает в себя обработку данных. На этом этапе некоторые организации при влекают к работе дата-инженеров.
Очевидно, что процесс поиска решения задачи целиком зависит от данных. Со четание машинного обучения с учителем и без учителя используется для вы работки приемлемого решения. В этой главе основное внимание уделяется роли обучения без учителя.
Инжиниринг данных включает в себя фазы 2 и 3 и является наи более трудоемкой частью машинного обучения. Две эти фазы спо собны занять до 70 % времени и ресурсов типового проекта МО. Важную роль в инжиниринге данных играют алгоритмы обучения без учителя.
В следующих разделах содержится более подробная информация об алгоритмах без учителя.
Современные тенденции исследований в области обучения без учителя
В течение многих лет исследования алгоритмов МО были в большей степени сосредоточены на методах обучения с учителем. Поскольку эти методы при меняются непосредственно для формирования логических выводов, их преиму щества с точки зрения времени, затрат и точности относительно легко подда ются измерению. Эффективность алгоритмов МО без учителя была признана не так давно. Поскольку обучение без учителя не управляется человеком, оно в меньшей степени зависит от предположений и потенциально может обеспечить сходимость решения по всем параметрам. Хотя масштаб и требования к обра ботке таких алгоритмов сложнее контролировать, они обладают большим по тенциалом для выявления скрытых закономерностей. Специалисты работают над объединением методов МО с учителем и без учителя, чтобы получить новые мощные алгоритмы.