- •Об авторе
- •Предисловие
- •Для кого эта книга
- •О чем эта книга
- •Что вам потребуется при чтении этой книги
- •Условные обозначения
- •От издательства
- •Глава 1. Обзор алгоритмов
- •Что такое алгоритм
- •Этапы алгоритма
- •Определение логики алгоритма
- •Псевдокод
- •Использование сниппетов
- •Создание плана выполнения
- •Введение в библиотеки Python
- •Библиотеки Python
- •Реализация Python с помощью Jupyter Notebook
- •Методы разработки алгоритмов
- •Параметры данных
- •Параметры вычислений
- •Анализ производительности
- •Анализ пространственной сложности
- •Анализ временной сложности
- •Оценка эффективности
- •Выбор алгоритма
- •«О-большое»
- •Проверка алгоритма
- •Точные, приближенные и рандомизированные алгоритмы
- •Объяснимость алгоритма
- •Резюме
- •Глава 2. Структуры данных, используемые в алгоритмах
- •Структуры данных в Python
- •Список
- •Кортеж
- •Словарь
- •Множество
- •DataFrame
- •Матрица
- •Абстрактные типы данных
- •Вектор
- •Стек
- •Очередь
- •Базовый принцип использования стеков и очередей
- •Дерево
- •Резюме
- •Глава 3. Алгоритмы сортировки и поиска
- •Алгоритмы сортировки
- •Обмен значений переменных в Python
- •Сортировка пузырьком
- •Сортировка вставками
- •Сортировка слиянием
- •Сортировка Шелла
- •Сортировка выбором
- •Алгоритмы поиска
- •Линейный поиск
- •Бинарный поиск
- •Интерполяционный поиск
- •Практическое применение
- •Резюме
- •Глава 4. Разработка алгоритмов
- •Знакомство с основными концепциями разработки алгоритма
- •Вопрос 1. Даст ли разработанный алгоритм ожидаемый результат?
- •Вопрос 2. Является ли данный алгоритм оптимальным способом получения результата?
- •Вопрос 3. Как алгоритм будет работать с большими наборами данных?
- •Понимание алгоритмических стратегий
- •Стратегия «разделяй и властвуй»
- •Стратегия динамического программирования
- •Жадные алгоритмы
- •Практическое применение — решение задачи коммивояжера
- •Использование стратегии полного перебора
- •Использование жадного алгоритма
- •Алгоритм PageRank
- •Постановка задачи
- •Реализация алгоритма PageRank
- •Знакомство с линейным программированием
- •Практическое применение — планирование производства с помощью линейного программирования
- •Резюме
- •Глава 5. Графовые алгоритмы
- •Представление графов
- •Типы графов
- •Особые типы ребер
- •Эгоцентрические сети
- •Анализ социальных сетей
- •Введение в теорию сетевого анализа
- •Кратчайший путь
- •Создание окрестностей
- •Показатели центральности
- •Вычисление показателей центральности с помощью Python
- •Понятие обхода графа
- •BFS — поиск в ширину
- •DFS — поиск в глубину
- •Практический пример — выявление мошенничества
- •Простой анализ мошенничества
- •Анализ мошенничества методом сторожевой башни
- •Резюме
- •Глава 6. Алгоритмы машинного обучения без учителя
- •Обучение без учителя
- •Обучение без учителя в жизненном цикле майнинга данных
- •Современные тенденции исследований в области обучения без учителя
- •Практические примеры
- •Алгоритмы кластеризации
- •Количественная оценка сходства
- •Иерархическая кластеризация
- •Оценка кластеров
- •Применение кластеризации
- •Снижение размерности
- •Метод главных компонент (PCA)
- •Ограничения PCA
- •Поиск ассоциативных правил
- •Примеры использования
- •Анализ рыночной корзины
- •Ассоциативные правила
- •Оценка качества правила
- •Алгоритмы анализа ассоциаций
- •Практический пример — объединение похожих твитов в кластеры
- •Тематическое моделирование
- •Кластеризация
- •Алгоритмы обнаружения выбросов (аномалий)
- •Использование кластеризации
- •Обнаружение аномалий на основе плотности
- •Метод опорных векторов
- •Резюме
- •Глава 7. Традиционные алгоритмы обучения с учителем
- •Машинное обучение с учителем
- •Терминология машинного обучения с учителем
- •Благоприятные условия
- •Различие между классификаторами и регрессорами
- •Алгоритмы классификации
- •Задача классификации
- •Оценка классификаторов
- •Этапы классификации
- •Алгоритм дерева решений
- •Ансамблевые методы
- •Логистическая регрессия
- •Метод опорных векторов (SVM)
- •Наивный байесовский алгоритм
- •Алгоритмы регрессии
- •Задача регрессии
- •Линейная регрессия
- •Алгоритм дерева регрессии
- •Алгоритм градиентного бустинга для регрессии
- •Среди алгоритмов регрессии победителем становится...
- •Практический пример — как предсказать погоду
- •Резюме
- •Глава 8. Алгоритмы нейронных сетей
- •Введение в ИНС
- •Эволюция ИНС
- •Обучение нейронной сети
- •Анатомия нейронной сети
- •Градиентный спуск
- •Функции активации
- •Инструменты и фреймворки
- •Keras
- •Знакомство с TensorFlow
- •Типы нейронных сетей
- •Перенос обучения
- •Практический пример — использование глубокого обучения для выявления мошенничества
- •Методология
- •Резюме
- •Глава 9. Алгоритмы обработки естественного языка
- •Знакомство с NLP
- •Терминология NLP
- •Библиотека NLTK
- •Мешок слов (BoW)
- •Эмбеддинги слов
- •Окружение слова
- •Свойства эмбеддингов слов
- •Рекуррентные нейросети в NLP
- •Использование NLP для анализа эмоциональной окраски текста
- •Практический пример — анализ тональности в отзывах на фильмы
- •Резюме
- •Глава 10. Рекомендательные системы
- •Введение в рекомендательные системы
- •Типы рекомендательных систем
- •Рекомендательные системы на основе контента
- •Рекомендательные системы на основе коллаборативной фильтрации
- •Гибридные рекомендательные системы
- •Ограничения рекомендательных систем
- •Проблема холодного старта
- •Требования к метаданным
- •Проблема разреженности данных
- •Предвзятость из-за социального влияния
- •Ограниченные данные
- •Области практического применения
- •Практический пример — создание рекомендательной системы
- •Резюме
- •Глава 11. Алгоритмы обработки данных
- •Знакомство с алгоритмами обработки данных
- •Классификация данных
- •Алгоритмы хранения данных
- •Стратегии хранения данных
- •Алгоритмы потоковой передачи данных
- •Применение потоковой передачи
- •Алгоритмы сжатия данных
- •Алгоритмы сжатия без потерь
- •Практический пример — анализ тональности твитов в режиме реального времени
- •Резюме
- •Глава 12. Криптография
- •Введение в криптографию
- •Понимание важности самого слабого звена
- •Основная терминология
- •Требования безопасности
- •Базовое устройство шифров
- •Типы криптографических методов
- •Криптографические хеш-функции
- •Симметричное шифрование
- •Асимметричное шифрование
- •Практический пример — проблемы безопасности при развертывании модели МО
- •Атака посредника (MITM)
- •Избежание маскарадинга
- •Шифрование данных и моделей
- •Резюме
- •Глава 13. Крупномасштабные алгоритмы
- •Введение в крупномасштабные алгоритмы
- •Определение эффективного крупномасштабного алгоритма
- •Терминология
- •Разработка параллельных алгоритмов
- •Закон Амдала
- •Гранулярность задачи
- •Балансировка нагрузки
- •Проблема расположения
- •Запуск параллельной обработки на Python
- •Разработка стратегии мультипроцессорной обработки
- •Введение в CUDA
- •Кластерные вычисления
- •Гибридная стратегия
- •Резюме
- •Глава 14. Практические рекомендации
- •Введение в практические рекомендации
- •Печальная история ИИ-бота в Твиттере
- •Объяснимость алгоритма
- •Алгоритмы машинного обучения и объяснимость
- •Этика и алгоритмы
- •Проблемы обучающихся алгоритмов
- •Понимание этических аспектов
- •Снижение предвзятости в моделях
- •Решение NP-трудных задач
- •Упрощение задачи
- •Адаптация известного решения аналогичной задачи
- •Вероятностный метод
- •Когда следует использовать алгоритмы
- •Практический пример — события типа «черный лебедь»
- •Резюме
86 |
Глава 3. Алгоритмы сортировки и поиска |
Когда алгоритм сортировки выбором выполнится, результат будет следующим (рис. 3.13).
Рис. 3.13
На выходе мы получаем отсортированный список.
Анализ производительности сортировки выбором
Наихудшая производительность алгоритма сортировки выбором — O(N 2), ана логично сортировке пузырьком. Поэтому его не следует использовать для об работки больших наборов данных. Тем не менее сортировка выбором — это более продуманный алгоритм, чем сортировка пузырьком, и его средняя произ водительность лучше из-за сокращения числа обменов значений.
Выбор алгоритма сортировки
Выбор правильного алгоритма сортировки зависит как от размера, так и от со стояния имеющихся входных данных. Для небольших отсортированных списков использование продвинутого алгоритма приведет к ненужному усложнению кода при незначительном приросте производительности. Например, не следует использовать сортировку слиянием для небольших наборов данных. Сортиров ка пузырьком будет намного проще как для понимания‚ так для и реализации. Если данные частично отсортированы, мы можем воспользоваться этим преиму ществом и применить сортировку вставкой. Для больших наборов данных лучше всего использовать алгоритм сортировки слиянием.
АЛГОРИТМЫ ПОИСКА
Качественный алгоритм поиска — это один из самых важных инструментов для работы со сложными структурами данных. Самый простой и не слишком эф фективный подход заключается в поиске совпадений в каждой точке данных. Но по мере увеличения объема данных нам потребуются все более сложные алгоритмы поиска.
Алгоритмы поиска |
87 |
В этом разделе представлены следующие алгоритмы поиска:
zz линейный поиск (linear search); zz бинарный поиск (binary search);
zzинтерполяционный поиск (interpolation search).
Давайте рассмотрим каждый из них более подробно.
Линейный поиск
Одна из простейших стратегий поиска данных состоит в том, чтобы просто перебрать все элементы в поисках цели. В каждой точке данных выполняется поиск совпадения. При обнаружении искомых данных алгоритм возвращает результат и выходит из цикла. В противном случае он продолжает поиск до тех пор, пока не достигнет конца структуры данных. Очевидным недостатком алгоритма является то, что он очень медленный, поскольку осуществляет ис черпывающий поиск. Преимущество же заключается в том, что данные не нужно сортировать, как того требуют другие алгоритмы, представленные в этой главе.
Давайте посмотрим на код для линейного поиска:
def LinearSearch(list, item): index = 0
found = False
# Сравниваем значение с каждым элементом данных while index < len(list) and found is False:
if list[index] == item: found = True
else:
index = index + 1 return found
Давайте теперь посмотрим на вывод нашего кода (рис. 3.14).
Рис. 3.14
88 |
Глава 3. Алгоритмы сортировки и поиска |
Обратите внимание, что запуск функции linearSearch возвращает значение True, если данные найдены.
Производительность линейного поиска
Как было сказано выше, перед нами простой алгоритм, который выполняет ис черпывающий поиск. Его наихудшая сложность — O(N).
Бинарный поиск
Необходимым условием для работы алгоритма бинарного поиска является упо рядоченность данных. Алгоритм итеративно делит список на две части и от слеживает самые низкие и самые высокие индексы, пока не найдет искомое значение:
def BinarySearch(list, item): first = 0
last = len(list)-1 found = False
while first<=last and not found: midpoint = (first + last)//2 if list[midpoint] == item:
found = True else:
if item < list[midpoint]: last = midpoint-1
else:
first = midpoint+1
return found
Вывод выглядит следующим образом (рис. 3.15).
Рис. 3.15
Обратите внимание, что вызов функции BinarySearch вернет значение True, если значение найдено в списке ввода.
Алгоритмы поиска |
89 |
Производительность бинарного поиска
Бинарный (говорят также «двоичный») поиск назван так потому, что на каждой итерации алгоритм разделяет данные на две части. Если данные содержат N эле ментов, для итерации потребуется максимум O(logN) шагов. Это означает, что алгоритм имеет время выполнения O(logN).
Интерполяционный поиск
Бинарный поиск основан на логике, согласно которой он сосредотачивается на средней части данных. Интерполяционный поиск более сложен. Он использует целевое значение для оценки положения элемента в отсортированном массиве. Давайте попробуем понять это на примере. Предположим, мы хотим найти слово в словаре английского языка, например river. Мы будем использовать эту информацию для интерполяции и начнем поиск слов, начинающихся с r. В обоб щенном виде интерполяционный поиск может быть реализован следующим образом:
def IntPolsearch(list,x ): idx0 = 0
idxn = (len(list) - 1) found = False
while idx0 <= idxn and x >= list[idx0] and x <= list[idxn]:
# Ищем срединную точку
mid = idx0 +int(((float(idxn - idx0)/( list[idxn] - list[idx0])) * ( x - list[idx0])))
# Сравниваем значение в средней точке со значением поиска if list[mid] == x:
found = True return found
if list[mid] < x: idx0 = mid + 1
return found
Вывод выглядит следующим образом (рис. 3.16).
Рис. 3.16