- •Об авторе
- •Предисловие
- •Для кого эта книга
- •О чем эта книга
- •Что вам потребуется при чтении этой книги
- •Условные обозначения
- •От издательства
- •Глава 1. Обзор алгоритмов
- •Что такое алгоритм
- •Этапы алгоритма
- •Определение логики алгоритма
- •Псевдокод
- •Использование сниппетов
- •Создание плана выполнения
- •Введение в библиотеки Python
- •Библиотеки Python
- •Реализация Python с помощью Jupyter Notebook
- •Методы разработки алгоритмов
- •Параметры данных
- •Параметры вычислений
- •Анализ производительности
- •Анализ пространственной сложности
- •Анализ временной сложности
- •Оценка эффективности
- •Выбор алгоритма
- •«О-большое»
- •Проверка алгоритма
- •Точные, приближенные и рандомизированные алгоритмы
- •Объяснимость алгоритма
- •Резюме
- •Глава 2. Структуры данных, используемые в алгоритмах
- •Структуры данных в Python
- •Список
- •Кортеж
- •Словарь
- •Множество
- •DataFrame
- •Матрица
- •Абстрактные типы данных
- •Вектор
- •Стек
- •Очередь
- •Базовый принцип использования стеков и очередей
- •Дерево
- •Резюме
- •Глава 3. Алгоритмы сортировки и поиска
- •Алгоритмы сортировки
- •Обмен значений переменных в Python
- •Сортировка пузырьком
- •Сортировка вставками
- •Сортировка слиянием
- •Сортировка Шелла
- •Сортировка выбором
- •Алгоритмы поиска
- •Линейный поиск
- •Бинарный поиск
- •Интерполяционный поиск
- •Практическое применение
- •Резюме
- •Глава 4. Разработка алгоритмов
- •Знакомство с основными концепциями разработки алгоритма
- •Вопрос 1. Даст ли разработанный алгоритм ожидаемый результат?
- •Вопрос 2. Является ли данный алгоритм оптимальным способом получения результата?
- •Вопрос 3. Как алгоритм будет работать с большими наборами данных?
- •Понимание алгоритмических стратегий
- •Стратегия «разделяй и властвуй»
- •Стратегия динамического программирования
- •Жадные алгоритмы
- •Практическое применение — решение задачи коммивояжера
- •Использование стратегии полного перебора
- •Использование жадного алгоритма
- •Алгоритм PageRank
- •Постановка задачи
- •Реализация алгоритма PageRank
- •Знакомство с линейным программированием
- •Практическое применение — планирование производства с помощью линейного программирования
- •Резюме
- •Глава 5. Графовые алгоритмы
- •Представление графов
- •Типы графов
- •Особые типы ребер
- •Эгоцентрические сети
- •Анализ социальных сетей
- •Введение в теорию сетевого анализа
- •Кратчайший путь
- •Создание окрестностей
- •Показатели центральности
- •Вычисление показателей центральности с помощью Python
- •Понятие обхода графа
- •BFS — поиск в ширину
- •DFS — поиск в глубину
- •Практический пример — выявление мошенничества
- •Простой анализ мошенничества
- •Анализ мошенничества методом сторожевой башни
- •Резюме
- •Глава 6. Алгоритмы машинного обучения без учителя
- •Обучение без учителя
- •Обучение без учителя в жизненном цикле майнинга данных
- •Современные тенденции исследований в области обучения без учителя
- •Практические примеры
- •Алгоритмы кластеризации
- •Количественная оценка сходства
- •Иерархическая кластеризация
- •Оценка кластеров
- •Применение кластеризации
- •Снижение размерности
- •Метод главных компонент (PCA)
- •Ограничения PCA
- •Поиск ассоциативных правил
- •Примеры использования
- •Анализ рыночной корзины
- •Ассоциативные правила
- •Оценка качества правила
- •Алгоритмы анализа ассоциаций
- •Практический пример — объединение похожих твитов в кластеры
- •Тематическое моделирование
- •Кластеризация
- •Алгоритмы обнаружения выбросов (аномалий)
- •Использование кластеризации
- •Обнаружение аномалий на основе плотности
- •Метод опорных векторов
- •Резюме
- •Глава 7. Традиционные алгоритмы обучения с учителем
- •Машинное обучение с учителем
- •Терминология машинного обучения с учителем
- •Благоприятные условия
- •Различие между классификаторами и регрессорами
- •Алгоритмы классификации
- •Задача классификации
- •Оценка классификаторов
- •Этапы классификации
- •Алгоритм дерева решений
- •Ансамблевые методы
- •Логистическая регрессия
- •Метод опорных векторов (SVM)
- •Наивный байесовский алгоритм
- •Алгоритмы регрессии
- •Задача регрессии
- •Линейная регрессия
- •Алгоритм дерева регрессии
- •Алгоритм градиентного бустинга для регрессии
- •Среди алгоритмов регрессии победителем становится...
- •Практический пример — как предсказать погоду
- •Резюме
- •Глава 8. Алгоритмы нейронных сетей
- •Введение в ИНС
- •Эволюция ИНС
- •Обучение нейронной сети
- •Анатомия нейронной сети
- •Градиентный спуск
- •Функции активации
- •Инструменты и фреймворки
- •Keras
- •Знакомство с TensorFlow
- •Типы нейронных сетей
- •Перенос обучения
- •Практический пример — использование глубокого обучения для выявления мошенничества
- •Методология
- •Резюме
- •Глава 9. Алгоритмы обработки естественного языка
- •Знакомство с NLP
- •Терминология NLP
- •Библиотека NLTK
- •Мешок слов (BoW)
- •Эмбеддинги слов
- •Окружение слова
- •Свойства эмбеддингов слов
- •Рекуррентные нейросети в NLP
- •Использование NLP для анализа эмоциональной окраски текста
- •Практический пример — анализ тональности в отзывах на фильмы
- •Резюме
- •Глава 10. Рекомендательные системы
- •Введение в рекомендательные системы
- •Типы рекомендательных систем
- •Рекомендательные системы на основе контента
- •Рекомендательные системы на основе коллаборативной фильтрации
- •Гибридные рекомендательные системы
- •Ограничения рекомендательных систем
- •Проблема холодного старта
- •Требования к метаданным
- •Проблема разреженности данных
- •Предвзятость из-за социального влияния
- •Ограниченные данные
- •Области практического применения
- •Практический пример — создание рекомендательной системы
- •Резюме
- •Глава 11. Алгоритмы обработки данных
- •Знакомство с алгоритмами обработки данных
- •Классификация данных
- •Алгоритмы хранения данных
- •Стратегии хранения данных
- •Алгоритмы потоковой передачи данных
- •Применение потоковой передачи
- •Алгоритмы сжатия данных
- •Алгоритмы сжатия без потерь
- •Практический пример — анализ тональности твитов в режиме реального времени
- •Резюме
- •Глава 12. Криптография
- •Введение в криптографию
- •Понимание важности самого слабого звена
- •Основная терминология
- •Требования безопасности
- •Базовое устройство шифров
- •Типы криптографических методов
- •Криптографические хеш-функции
- •Симметричное шифрование
- •Асимметричное шифрование
- •Практический пример — проблемы безопасности при развертывании модели МО
- •Атака посредника (MITM)
- •Избежание маскарадинга
- •Шифрование данных и моделей
- •Резюме
- •Глава 13. Крупномасштабные алгоритмы
- •Введение в крупномасштабные алгоритмы
- •Определение эффективного крупномасштабного алгоритма
- •Терминология
- •Разработка параллельных алгоритмов
- •Закон Амдала
- •Гранулярность задачи
- •Балансировка нагрузки
- •Проблема расположения
- •Запуск параллельной обработки на Python
- •Разработка стратегии мультипроцессорной обработки
- •Введение в CUDA
- •Кластерные вычисления
- •Гибридная стратегия
- •Резюме
- •Глава 14. Практические рекомендации
- •Введение в практические рекомендации
- •Печальная история ИИ-бота в Твиттере
- •Объяснимость алгоритма
- •Алгоритмы машинного обучения и объяснимость
- •Этика и алгоритмы
- •Проблемы обучающихся алгоритмов
- •Понимание этических аспектов
- •Снижение предвзятости в моделях
- •Решение NP-трудных задач
- •Упрощение задачи
- •Адаптация известного решения аналогичной задачи
- •Вероятностный метод
- •Когда следует использовать алгоритмы
- •Практический пример — события типа «черный лебедь»
- •Резюме
Разработка стратегии мультипроцессорной обработки |
339 |
Запуск параллельной обработки на Python
Самый простой способ запустить параллельную обработку на Python — это клонировать текущий процесс, который запустит новый параллельный процесс, называемый дочерним.
Программисты Python (хотя они и не биологи) создали собственный процесс клонирования. Как и в случае с клонированной овцой, кло нированный процесс является точной копией исходного процесса.
РАЗРАБОТКА СТРАТЕГИИ МУЛЬТИПРОЦЕССОРНОЙ ОБРАБОТКИ
Первоначально крупномасштабные алгоритмы использовались для работы на огромных машинах, называемых суперкомпьютерами.
Эти суперкомпьютеры использовали одну область памяти. Все ресурсы были локальными — физически размещены на одной машине. Благодаря этому связь между процессорами (CPU) была очень быстрой, и они могли использовать одну и ту же переменную в общей области памяти. В результате развития систем и роста потребности в крупномасштабных алгоритмах суперкомпьютеры полу чили распределенную общую память (distributed shared memory‚ DSM), где каждая нода обработки владела частью физической памяти. Наконец, были разработаны слабо связанные кластеры, которые полагаются на обмен сообще ниями между нодами. Для крупномасштабных алгоритмов необходимо найти несколько механизмов выполнения, работающих параллельно, чтобы решать сложные задачи (рис. 13.4).
Существуют три стратегии задействования механизмов выполнения:
zz Поиск внутри. Задействовать ресурсы, уже имеющиеся на компьютере. Ис пользовать сотни ядер GPU для запуска крупномасштабного алгоритма.
zz Поиск снаружи. С помощью распределенных вычислений найти больше вы числительных ресурсов, которые можно одновременно применить для ре шения масштабной проблемы.
zz Гибридная стратегия. Использовать распределенные вычисления и при этом на каждой ноде задействовать GPU (или массив GPU) для ускорения вы полнения алгоритма.
340 |
|
Глава 13. Крупномасштабные алгоритмы |
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
CPU |
CPU |
|
|
CPU |
CPU |
CPU |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Рис. 13.4 |
|
|
|
Введение в CUDA
Графические процессоры изначально были разработаны для обработки графи ки, оптимизации работы с мультимедийными данными обычного компьютера. В связи с этим они обладают определенными особенностями, которые отличают их от процессоров (CPU). Например, у них тысячи ядер по сравнению с огра ниченным числом ядер CPU. Их тактовая частота намного ниже, чем у CPU. GPU имеют свою собственную DRAM (динамическую память). Например, RTX 2080 от Nvidia имеет 8 ГБ оперативной памяти. Обратите внимание, что GPU являются специализированными устройствами обработки и не имеют некоторых функций CPU, таких как прерывание или адресация к устройству (например, клавиатуры и мыши). Вот как выглядит архитектура графических процессоров (рис. 13.5).
Вскоре после того, как GPU стали распространенным явлением, специалисты по обработке данных начали изучать их на предмет возможности эффективно го выполнения параллельных операций. Поскольку типичный GPU имеет ты сячи ALU (arithmetic logic unit; арифметико-логическое устройство), он может генерировать тысячи одновременных процессов. Это делает GPU архитектурой, оптимизированной для параллельных вычислений. Следовательно, алгоритмы параллельных вычислений лучше всего запускать на GPU. Например, поиск объектов в видео выполняется по меньшей мере в 20 раз быстрее на GPU по сравнению с CPU. Графовые алгоритмы, которые обсуждались в главе 5, также работают намного быстрее на графических процессорах, чем на обычных.
Разработка стратегии мультипроцессорной обработки |
341 |
|
|
|
|
Рис. 13.5
Чтобы мечты дата-сайентистов о полноценном использовании GPU для алго ритмов воплотились в жизнь, в 2007 году Nvidia создала платформу с открытым исходным кодом под названием CUDA (Compute Unified Device Architecture) . CUDA превращает CPU и GPU в хост (host) и устройство (device) соответ ственно. Хост, то есть центральный процессор, отвечает за вызов устройства, которым является графический процессор. Архитектура CUDA имеет различные уровни абстракций, которые можно представить следующим образом (рис. 13.6).
Python
CUDA-C/C+ Fortran Python GPU
CUDA
CUDA Driver API (‡ˆ‰ Š ˆ )
• • CUDA -€
NVIDIA GPU
Рис. 13.6
Обратите внимание, что CUDA работает поверх графических процессоров Nvidia. Она нуждается в поддержке ядром операционной системы. Изначаль но CUDA поддерживалась ядром Linux. Совсем недавно она получила полную поддержку Windows. Кроме того‚ существует CUDA Driver API, который действует как мост между API языка программирования и драйвером CUDA. На верхнем уровне расположена поддержка C, C+ и Python.
342 |
Глава 13. Крупномасштабные алгоритмы |
Проектирование параллельных алгоритмов на CUDA
Давайте разберемся, как именно GPU ускоряет определенные операции обра ботки. Как известно, процессоры предназначены для последовательной обра ботки данных. Это значительно увеличивает время выполнения некоторых приложений. Рассмотрим пример обработки изображения размером 1920 × 1200 (можно подсчитать, что это 2 204 000 пикселей). Последовательная обработка на традиционном CPU займет много времени. Современные GPU, такие как Tesla от Nvidia, способны генерировать невероятное количество параллельных потоков для обработки этих 2 204 000 пикселей. В большинстве мультимедийных приложений пиксели могут обрабатываться независимо друг от друга‚ что дает значительное ускорение. Если сопоставить каждый пиксель с потоком, все они обработаются за постоянное время O (1).
Но обработка изображений — не единственная область применения паралле лизма данных для ускорения процесса. Его можно использовать и при подго товке данных для библиотек машинного обучения. Также GPU может значи тельно сократить время выполнения таких распараллеливаемых алгоритмов, как:
zz майнинг криптовалюты;
zz крупномасштабные симуляции; zz анализ ДНК;
zzанализ видео и фотографий.
GPU не предназначены для работы по принципу SPMD (single program, multiple data, единая программа — множество данных). Например, если нужно вычислить хеш для блока данных, используется одна программа, которую нельзя распа раллелить. В подобных сценариях GPU будут работать медленнее.
Код для запуска на GPU помечен специальными ключевыми словами CUDA — kernels (ядра). Они используются для обозначения функций, которые будут вызываться на GPU для параллельной обработки. Осно вываясь на ключевых словах, компилятор GPU отделяет код‚ который должен выполняться на GPU‚ от кода для CPU.
Использование GPU для обработки данных на Python
GPU отлично подходят для обработки данных в многомерной структуре данных. Эти структуры по своей природе являются распараллеливаемыми. Давайте узнаем, как используется GPU в Python.