- •Об авторе
- •Предисловие
- •Для кого эта книга
- •О чем эта книга
- •Что вам потребуется при чтении этой книги
- •Условные обозначения
- •От издательства
- •Глава 1. Обзор алгоритмов
- •Что такое алгоритм
- •Этапы алгоритма
- •Определение логики алгоритма
- •Псевдокод
- •Использование сниппетов
- •Создание плана выполнения
- •Введение в библиотеки Python
- •Библиотеки Python
- •Реализация Python с помощью Jupyter Notebook
- •Методы разработки алгоритмов
- •Параметры данных
- •Параметры вычислений
- •Анализ производительности
- •Анализ пространственной сложности
- •Анализ временной сложности
- •Оценка эффективности
- •Выбор алгоритма
- •«О-большое»
- •Проверка алгоритма
- •Точные, приближенные и рандомизированные алгоритмы
- •Объяснимость алгоритма
- •Резюме
- •Глава 2. Структуры данных, используемые в алгоритмах
- •Структуры данных в Python
- •Список
- •Кортеж
- •Словарь
- •Множество
- •DataFrame
- •Матрица
- •Абстрактные типы данных
- •Вектор
- •Стек
- •Очередь
- •Базовый принцип использования стеков и очередей
- •Дерево
- •Резюме
- •Глава 3. Алгоритмы сортировки и поиска
- •Алгоритмы сортировки
- •Обмен значений переменных в Python
- •Сортировка пузырьком
- •Сортировка вставками
- •Сортировка слиянием
- •Сортировка Шелла
- •Сортировка выбором
- •Алгоритмы поиска
- •Линейный поиск
- •Бинарный поиск
- •Интерполяционный поиск
- •Практическое применение
- •Резюме
- •Глава 4. Разработка алгоритмов
- •Знакомство с основными концепциями разработки алгоритма
- •Вопрос 1. Даст ли разработанный алгоритм ожидаемый результат?
- •Вопрос 2. Является ли данный алгоритм оптимальным способом получения результата?
- •Вопрос 3. Как алгоритм будет работать с большими наборами данных?
- •Понимание алгоритмических стратегий
- •Стратегия «разделяй и властвуй»
- •Стратегия динамического программирования
- •Жадные алгоритмы
- •Практическое применение — решение задачи коммивояжера
- •Использование стратегии полного перебора
- •Использование жадного алгоритма
- •Алгоритм PageRank
- •Постановка задачи
- •Реализация алгоритма PageRank
- •Знакомство с линейным программированием
- •Практическое применение — планирование производства с помощью линейного программирования
- •Резюме
- •Глава 5. Графовые алгоритмы
- •Представление графов
- •Типы графов
- •Особые типы ребер
- •Эгоцентрические сети
- •Анализ социальных сетей
- •Введение в теорию сетевого анализа
- •Кратчайший путь
- •Создание окрестностей
- •Показатели центральности
- •Вычисление показателей центральности с помощью Python
- •Понятие обхода графа
- •BFS — поиск в ширину
- •DFS — поиск в глубину
- •Практический пример — выявление мошенничества
- •Простой анализ мошенничества
- •Анализ мошенничества методом сторожевой башни
- •Резюме
- •Глава 6. Алгоритмы машинного обучения без учителя
- •Обучение без учителя
- •Обучение без учителя в жизненном цикле майнинга данных
- •Современные тенденции исследований в области обучения без учителя
- •Практические примеры
- •Алгоритмы кластеризации
- •Количественная оценка сходства
- •Иерархическая кластеризация
- •Оценка кластеров
- •Применение кластеризации
- •Снижение размерности
- •Метод главных компонент (PCA)
- •Ограничения PCA
- •Поиск ассоциативных правил
- •Примеры использования
- •Анализ рыночной корзины
- •Ассоциативные правила
- •Оценка качества правила
- •Алгоритмы анализа ассоциаций
- •Практический пример — объединение похожих твитов в кластеры
- •Тематическое моделирование
- •Кластеризация
- •Алгоритмы обнаружения выбросов (аномалий)
- •Использование кластеризации
- •Обнаружение аномалий на основе плотности
- •Метод опорных векторов
- •Резюме
- •Глава 7. Традиционные алгоритмы обучения с учителем
- •Машинное обучение с учителем
- •Терминология машинного обучения с учителем
- •Благоприятные условия
- •Различие между классификаторами и регрессорами
- •Алгоритмы классификации
- •Задача классификации
- •Оценка классификаторов
- •Этапы классификации
- •Алгоритм дерева решений
- •Ансамблевые методы
- •Логистическая регрессия
- •Метод опорных векторов (SVM)
- •Наивный байесовский алгоритм
- •Алгоритмы регрессии
- •Задача регрессии
- •Линейная регрессия
- •Алгоритм дерева регрессии
- •Алгоритм градиентного бустинга для регрессии
- •Среди алгоритмов регрессии победителем становится...
- •Практический пример — как предсказать погоду
- •Резюме
- •Глава 8. Алгоритмы нейронных сетей
- •Введение в ИНС
- •Эволюция ИНС
- •Обучение нейронной сети
- •Анатомия нейронной сети
- •Градиентный спуск
- •Функции активации
- •Инструменты и фреймворки
- •Keras
- •Знакомство с TensorFlow
- •Типы нейронных сетей
- •Перенос обучения
- •Практический пример — использование глубокого обучения для выявления мошенничества
- •Методология
- •Резюме
- •Глава 9. Алгоритмы обработки естественного языка
- •Знакомство с NLP
- •Терминология NLP
- •Библиотека NLTK
- •Мешок слов (BoW)
- •Эмбеддинги слов
- •Окружение слова
- •Свойства эмбеддингов слов
- •Рекуррентные нейросети в NLP
- •Использование NLP для анализа эмоциональной окраски текста
- •Практический пример — анализ тональности в отзывах на фильмы
- •Резюме
- •Глава 10. Рекомендательные системы
- •Введение в рекомендательные системы
- •Типы рекомендательных систем
- •Рекомендательные системы на основе контента
- •Рекомендательные системы на основе коллаборативной фильтрации
- •Гибридные рекомендательные системы
- •Ограничения рекомендательных систем
- •Проблема холодного старта
- •Требования к метаданным
- •Проблема разреженности данных
- •Предвзятость из-за социального влияния
- •Ограниченные данные
- •Области практического применения
- •Практический пример — создание рекомендательной системы
- •Резюме
- •Глава 11. Алгоритмы обработки данных
- •Знакомство с алгоритмами обработки данных
- •Классификация данных
- •Алгоритмы хранения данных
- •Стратегии хранения данных
- •Алгоритмы потоковой передачи данных
- •Применение потоковой передачи
- •Алгоритмы сжатия данных
- •Алгоритмы сжатия без потерь
- •Практический пример — анализ тональности твитов в режиме реального времени
- •Резюме
- •Глава 12. Криптография
- •Введение в криптографию
- •Понимание важности самого слабого звена
- •Основная терминология
- •Требования безопасности
- •Базовое устройство шифров
- •Типы криптографических методов
- •Криптографические хеш-функции
- •Симметричное шифрование
- •Асимметричное шифрование
- •Практический пример — проблемы безопасности при развертывании модели МО
- •Атака посредника (MITM)
- •Избежание маскарадинга
- •Шифрование данных и моделей
- •Резюме
- •Глава 13. Крупномасштабные алгоритмы
- •Введение в крупномасштабные алгоритмы
- •Определение эффективного крупномасштабного алгоритма
- •Терминология
- •Разработка параллельных алгоритмов
- •Закон Амдала
- •Гранулярность задачи
- •Балансировка нагрузки
- •Проблема расположения
- •Запуск параллельной обработки на Python
- •Разработка стратегии мультипроцессорной обработки
- •Введение в CUDA
- •Кластерные вычисления
- •Гибридная стратегия
- •Резюме
- •Глава 14. Практические рекомендации
- •Введение в практические рекомендации
- •Печальная история ИИ-бота в Твиттере
- •Объяснимость алгоритма
- •Алгоритмы машинного обучения и объяснимость
- •Этика и алгоритмы
- •Проблемы обучающихся алгоритмов
- •Понимание этических аспектов
- •Снижение предвзятости в моделях
- •Решение NP-трудных задач
- •Упрощение задачи
- •Адаптация известного решения аналогичной задачи
- •Вероятностный метод
- •Когда следует использовать алгоритмы
- •Практический пример — события типа «черный лебедь»
- •Резюме
8
Алгоритмы нейронных сетей
На сегодняшний день искусственные нейронные сети, ИНС (или ANN — Artificial Neural Networks) являются одним из наиболее важных методов машинного обу чения. Этому способствуют необходимость решения все более сложных задач, лавинообразный рост объемов данных и появление таких технологий, как легко доступные дешевые кластеры. Такие кластеры способны обеспечить вычисли тельную мощность, необходимую для разработки крайне сложных алгоритмов.
ИНС — стремительно развивающаяся область исследований, отвечающая за важнейшие достижения в таких отраслях, как робототехника, обработка есте ственного языка и создание беспилотных автомобилей.
Основной структурной единицей ИНС является нейрон. ИНС позволяет ис пользовать потенциал большого количества нейронов, организуя их в много слойную архитектуру. Сигнал проходит через слои и различными способами обрабатывается в каждом из них до тех пор, пока не будет сгенерирован требу емый результат. Скрытые слои в ИНС выступают в качестве уровней абстракции, что позволяет осуществлять глубокое обучение. Этот метод широко использует ся при реализации мощных приложений, таких как Amazon Alexa, Google Photos и поиск по изображениям в Google.
В этой главе мы познакомимся с основными понятиями ИНС, рассмотрим компоненты и типы нейронных сетей, а также различные виды функций акти вации. Затем подробно обсудим алгоритм обратного распространения ошибки, который чаще всего используется для обучения нейронной сети. Далее мы по знакомимся с переносом обучения, с помощью которого можно значительно упростить и частично автоматизировать обучение моделей. Наконец, разберем
234 Глава 8. Алгоритмы нейронных сетей
практический пример использования глубокого обучения для выявления фаль шивых документов.
Ниже приведены основные концепции, обсуждаемые в этой главе: zz Введение в ИНС.
zz Эволюция ИНС.
zz Обучение нейронной сети. zz Инструменты и фреймворки. zz Перенос обучения.
zzПрактический пример — использование глубокого обучения для выявления мошенничества.
Начнем с изучения основ ИНС.
ВВЕДЕНИЕ В ИНС
В1957 году, вдохновившись работой нейронов в человеческом мозге, Фрэнк Розенблатт предложил концепцию нейронных сетей. Чтобы в полной мере по нять ИНС, будет полезным получить представление о том, как связаны нейро ны в человеческом мозге. Рассмотрим слоистую структуру нейронов, представ ленную на следующей схеме (рис. 8.1).
Вчеловеческом мозге дендриты действуют как датчики, которые улавливают сигнал. Затем сигнал передается на аксон, представляющий собой длинный тонкий отросток нервной клетки. Работа аксона заключается в передаче сигна ла мышцам, железам и другим нейронам. Прежде чем перейти к следующему нейрону, сигнал проходит через соединение, называемое синапсом. Обратите внимание, что по этому органическому конвейеру сигнал движется до тех пор, пока не достигнет нужной мышцы или железы, где он вызовет необходимую реакцию. Обычно требуется от семи до восьми миллисекунд, чтобы сигнал про шел через цепочку нейронов и достиг места назначения.
Вдохновившись этим шедевром обработки сигналов, созданным самой природой, Фрэнк Розенблатт спроектировал метод, позволяющий обрабатывать цифровую информацию послойно для решения сложных математических задач. Результа том его первой попытки создания нейронной сети стала довольно простая сеть, напоминающая модель линейной регрессии. Она не имела никаких скрытых слоев и была названа перцептроном (рис. 8.2).
Введение в ИНС |
235 |
|
|
2- |
|
3- |
1- |
||||
|
|
|
|
|
Рис. 8.1
Рис. 8.2
Сформулируем математическое описание перцептрона. В левой части преды дущей схемы представлены входные сигналы. Каждый сигнал (x1, x2 .. xn) умно жается на присвоенный ему вес (w1, w2 ... wn), а затем результаты суммируются, и получается взвешенная сумма:
236 |
Глава 8. Алгоритмы нейронных сетей |
Обратите внимание, что это бинарный классификатор, поскольку конечный выход перцептрона является истинным или ложным в зависимости от выхода агрегатора (на схеме показан как Σ). Агрегатор выдаст истинный сигнал, если обнаружит валидный сигнал хотя бы на одном из входов.
Давайте узнаем, как нейронные сети эволюционировали с течением времени.
ЭВОЛЮЦИЯ ИНС
В предыдущем разделе мы узнали о создании перцептрона‚ простой нейронной сети без каких-либо слоев. Позже было обнаружено, что перцептрон имеет се рьезные ограничения. В 1969 году Марвин Мински и Сеймур Пейперт провели исследования и пришли к выводу, что перцептрон не способен обучаться какойлибо сложной логике.
Более того, эти исследования показали, что будет затруднительно обучить его даже такой простой логической функции, как XOR (исключающее «или»). Это вызвало снижение интереса к МО в целом и нейронным сетям в частности и по ложило начало эпохе, получившей название зимы искусственного интеллекта. Исследователи по всему миру не воспринимали ИИ всерьез, считая, что он неспособен решать хоть сколько-нибудь сложные задачи.
Одной из основных причин так называемой зимы ИИ стала ограниченность доступных в то время аппаратных возможностей. Либо не было необходимых вычислительных мощностей, либо они были непомерно дорогими. К концу 1990-х годов достижения в области распределенных вычислений обеспечили доступность инфраструктуры, что привело к окончанию зимы искусственного интеллекта. Эта оттепель активизировала исследования в области ИИ.
В конечном итоге наступила эпоха, которую можно назвать весной искусственного интеллекта. Ее характеризует большой интерес к ИИ в целом и нейронным сетям в частности.
Для более сложных задач исследователи разработали многослойную нейронную сеть — многослойный перцептрон. Эта сеть имеет несколько слоев, как показано на рис. 8.3:
zz входной слой;
zz скрытый слой (слои); zz выходной слой.
Эволюция ИНС |
237 |
Глубокая нейронная сеть — это нейронная сеть с одним или несколь кими скрытыми слоями. Глубокое обучение — это процесс обучения такой ИНС.
1- |
2- |
3- |
4- |
( ) |
(1- ) |
(2- ) |
( ) |
|
|
|
|
|
|
|
Рис. 8.3 |
|
Нейрон является основной единицей сети, и каждый нейрон любого слоя связан со всеми нейронами следующего слоя. Для сложных сетей количество таких соединений резко возрастает. Мы рассмотрим различные способы сокращения этих взаимосвязей без большой потери качества.
Сформулируем задачу.
Входными данными является вектор признаков x размерности n.
Нейронная сеть должна предсказывать значения. Прогнозируемые значения представлены в виде y′.
Наша задача — на основе некоторых входных данных определить вероятность того, что транзакция является мошеннической. Другими словами: при опреде ленном значении x какой будет вероятность того, что y = 1? Математически это можно представить так: