- •Об авторе
- •Предисловие
- •Для кого эта книга
- •О чем эта книга
- •Что вам потребуется при чтении этой книги
- •Условные обозначения
- •От издательства
- •Глава 1. Обзор алгоритмов
- •Что такое алгоритм
- •Этапы алгоритма
- •Определение логики алгоритма
- •Псевдокод
- •Использование сниппетов
- •Создание плана выполнения
- •Введение в библиотеки Python
- •Библиотеки Python
- •Реализация Python с помощью Jupyter Notebook
- •Методы разработки алгоритмов
- •Параметры данных
- •Параметры вычислений
- •Анализ производительности
- •Анализ пространственной сложности
- •Анализ временной сложности
- •Оценка эффективности
- •Выбор алгоритма
- •«О-большое»
- •Проверка алгоритма
- •Точные, приближенные и рандомизированные алгоритмы
- •Объяснимость алгоритма
- •Резюме
- •Глава 2. Структуры данных, используемые в алгоритмах
- •Структуры данных в Python
- •Список
- •Кортеж
- •Словарь
- •Множество
- •DataFrame
- •Матрица
- •Абстрактные типы данных
- •Вектор
- •Стек
- •Очередь
- •Базовый принцип использования стеков и очередей
- •Дерево
- •Резюме
- •Глава 3. Алгоритмы сортировки и поиска
- •Алгоритмы сортировки
- •Обмен значений переменных в Python
- •Сортировка пузырьком
- •Сортировка вставками
- •Сортировка слиянием
- •Сортировка Шелла
- •Сортировка выбором
- •Алгоритмы поиска
- •Линейный поиск
- •Бинарный поиск
- •Интерполяционный поиск
- •Практическое применение
- •Резюме
- •Глава 4. Разработка алгоритмов
- •Знакомство с основными концепциями разработки алгоритма
- •Вопрос 1. Даст ли разработанный алгоритм ожидаемый результат?
- •Вопрос 2. Является ли данный алгоритм оптимальным способом получения результата?
- •Вопрос 3. Как алгоритм будет работать с большими наборами данных?
- •Понимание алгоритмических стратегий
- •Стратегия «разделяй и властвуй»
- •Стратегия динамического программирования
- •Жадные алгоритмы
- •Практическое применение — решение задачи коммивояжера
- •Использование стратегии полного перебора
- •Использование жадного алгоритма
- •Алгоритм PageRank
- •Постановка задачи
- •Реализация алгоритма PageRank
- •Знакомство с линейным программированием
- •Практическое применение — планирование производства с помощью линейного программирования
- •Резюме
- •Глава 5. Графовые алгоритмы
- •Представление графов
- •Типы графов
- •Особые типы ребер
- •Эгоцентрические сети
- •Анализ социальных сетей
- •Введение в теорию сетевого анализа
- •Кратчайший путь
- •Создание окрестностей
- •Показатели центральности
- •Вычисление показателей центральности с помощью Python
- •Понятие обхода графа
- •BFS — поиск в ширину
- •DFS — поиск в глубину
- •Практический пример — выявление мошенничества
- •Простой анализ мошенничества
- •Анализ мошенничества методом сторожевой башни
- •Резюме
- •Глава 6. Алгоритмы машинного обучения без учителя
- •Обучение без учителя
- •Обучение без учителя в жизненном цикле майнинга данных
- •Современные тенденции исследований в области обучения без учителя
- •Практические примеры
- •Алгоритмы кластеризации
- •Количественная оценка сходства
- •Иерархическая кластеризация
- •Оценка кластеров
- •Применение кластеризации
- •Снижение размерности
- •Метод главных компонент (PCA)
- •Ограничения PCA
- •Поиск ассоциативных правил
- •Примеры использования
- •Анализ рыночной корзины
- •Ассоциативные правила
- •Оценка качества правила
- •Алгоритмы анализа ассоциаций
- •Практический пример — объединение похожих твитов в кластеры
- •Тематическое моделирование
- •Кластеризация
- •Алгоритмы обнаружения выбросов (аномалий)
- •Использование кластеризации
- •Обнаружение аномалий на основе плотности
- •Метод опорных векторов
- •Резюме
- •Глава 7. Традиционные алгоритмы обучения с учителем
- •Машинное обучение с учителем
- •Терминология машинного обучения с учителем
- •Благоприятные условия
- •Различие между классификаторами и регрессорами
- •Алгоритмы классификации
- •Задача классификации
- •Оценка классификаторов
- •Этапы классификации
- •Алгоритм дерева решений
- •Ансамблевые методы
- •Логистическая регрессия
- •Метод опорных векторов (SVM)
- •Наивный байесовский алгоритм
- •Алгоритмы регрессии
- •Задача регрессии
- •Линейная регрессия
- •Алгоритм дерева регрессии
- •Алгоритм градиентного бустинга для регрессии
- •Среди алгоритмов регрессии победителем становится...
- •Практический пример — как предсказать погоду
- •Резюме
- •Глава 8. Алгоритмы нейронных сетей
- •Введение в ИНС
- •Эволюция ИНС
- •Обучение нейронной сети
- •Анатомия нейронной сети
- •Градиентный спуск
- •Функции активации
- •Инструменты и фреймворки
- •Keras
- •Знакомство с TensorFlow
- •Типы нейронных сетей
- •Перенос обучения
- •Практический пример — использование глубокого обучения для выявления мошенничества
- •Методология
- •Резюме
- •Глава 9. Алгоритмы обработки естественного языка
- •Знакомство с NLP
- •Терминология NLP
- •Библиотека NLTK
- •Мешок слов (BoW)
- •Эмбеддинги слов
- •Окружение слова
- •Свойства эмбеддингов слов
- •Рекуррентные нейросети в NLP
- •Использование NLP для анализа эмоциональной окраски текста
- •Практический пример — анализ тональности в отзывах на фильмы
- •Резюме
- •Глава 10. Рекомендательные системы
- •Введение в рекомендательные системы
- •Типы рекомендательных систем
- •Рекомендательные системы на основе контента
- •Рекомендательные системы на основе коллаборативной фильтрации
- •Гибридные рекомендательные системы
- •Ограничения рекомендательных систем
- •Проблема холодного старта
- •Требования к метаданным
- •Проблема разреженности данных
- •Предвзятость из-за социального влияния
- •Ограниченные данные
- •Области практического применения
- •Практический пример — создание рекомендательной системы
- •Резюме
- •Глава 11. Алгоритмы обработки данных
- •Знакомство с алгоритмами обработки данных
- •Классификация данных
- •Алгоритмы хранения данных
- •Стратегии хранения данных
- •Алгоритмы потоковой передачи данных
- •Применение потоковой передачи
- •Алгоритмы сжатия данных
- •Алгоритмы сжатия без потерь
- •Практический пример — анализ тональности твитов в режиме реального времени
- •Резюме
- •Глава 12. Криптография
- •Введение в криптографию
- •Понимание важности самого слабого звена
- •Основная терминология
- •Требования безопасности
- •Базовое устройство шифров
- •Типы криптографических методов
- •Криптографические хеш-функции
- •Симметричное шифрование
- •Асимметричное шифрование
- •Практический пример — проблемы безопасности при развертывании модели МО
- •Атака посредника (MITM)
- •Избежание маскарадинга
- •Шифрование данных и моделей
- •Резюме
- •Глава 13. Крупномасштабные алгоритмы
- •Введение в крупномасштабные алгоритмы
- •Определение эффективного крупномасштабного алгоритма
- •Терминология
- •Разработка параллельных алгоритмов
- •Закон Амдала
- •Гранулярность задачи
- •Балансировка нагрузки
- •Проблема расположения
- •Запуск параллельной обработки на Python
- •Разработка стратегии мультипроцессорной обработки
- •Введение в CUDA
- •Кластерные вычисления
- •Гибридная стратегия
- •Резюме
- •Глава 14. Практические рекомендации
- •Введение в практические рекомендации
- •Печальная история ИИ-бота в Твиттере
- •Объяснимость алгоритма
- •Алгоритмы машинного обучения и объяснимость
- •Этика и алгоритмы
- •Проблемы обучающихся алгоритмов
- •Понимание этических аспектов
- •Снижение предвзятости в моделях
- •Решение NP-трудных задач
- •Упрощение задачи
- •Адаптация известного решения аналогичной задачи
- •Вероятностный метод
- •Когда следует использовать алгоритмы
- •Практический пример — события типа «черный лебедь»
- •Резюме
12
Криптография
В этой главе представлены криптографические алгоритмы. Мы начнем с основ, обсудим алгоритмы симметричного шифрования; затем нас ждут алгоритмы хеширования MD5 и SHA. Далее мы познакомимся с ограничениями и уязви мостями симметричных алгоритмов. После обсудим алгоритмы асимметрично го шифрования и создание цифровых сертификатов. Наконец, разберем прак тический пример, в котором обобщаются все эти методы.
К концу главы вы получите базовое представление о различных вопросах, свя занных с криптографией.
В главе обсуждаются следующие темы:
zz Введение в криптографию.
zz Типы криптографических методов.
zzПрактический пример — проблемы безопасности при внедрении моде ли МО.
Давайте начнем с основных концепций.
ВВЕДЕНИЕ В КРИПТОГРАФИЮ
Методы защиты секретов существуют уже много веков. Самые ранние по пытки обезопасить и скрыть данные от противников восходят к древним
308 |
Глава 12. Криптография |
надписям, обнаруженным на памятниках в Египте, где использовался специ альный алфавит, известный лишь нескольким доверенным людям. Эта ранняя форма безопасности называется неясностью (obscurity) и используется в раз личных формах по сей день. Чтобы такой метод работал, крайне важно за щитить ключ для понимания алфавита. В годы Первой и Второй мировых войн поиск надежных способов шифрования секретных сообщений стал за дачей первостепенной важности. В конце XX века, с появлением электро ники и компьютеров, были разработаны сложные алгоритмы защиты данных. Так возникла совершенно новая область — криптография. В этой главе пред ставлены ее алгоритмические аспекты. Цель алгоритмов шифрования — обес печить безопасный обмен данными между двумя процессами или пользова телями. В криптографических алгоритмах используются математические функции.
Понимание важности самого слабого звена
Иногда при разработке цифровой инфраструктуры уделяется слишком много внимания защите отдельных элементов в ущерб сквозной безопасности. В ре зультате из виду упускаются слабые места и уязвимости в системе, которые впоследствии могут быть использованы хакерами для доступа к конфиденци альным данным. Защищенность цифровой инфраструктуры в целом определя ется защищенностью ее самого слабого звена. Воспользовавшись слабым звеном, хакер может получить доступ к конфиденциальным данным в обход систем безопасности. Нет смысла укреплять парадную дверь, если открыты двери с черного хода.
По мере того как алгоритмы и методы защиты цифровой инфраструктуры становятся все более и более сложными, злоумышленники также оттачивают свои приемы. Важно помнить, что использование уязвимостей — один из самых простых способов взлома системы для доступа к конфиденциальной инфор мации.
В 2014 году кибератака на канадский Национальный исследователь ский совет (NRC), по некоторым оценкам, обошлась в сотни миллио нов долларов. Злоумышленникам удалось похитить исследовательские данные и материалы интеллектуальной собственности‚ собранные за 10 лет. Хакеры использовали лазейку в программном обеспечении Apache, которое было установлено на веб-серверах, и получили доступ к конфиденциальным данным.
Введение в криптографию |
309 |
В этой главе мы рассмотрим уязвимости различных алгоритмов шифрования.
Начнем с терминологии.
Основная терминология
Ниже представлена базовая терминология, связанная с криптографией.
zz Шифр. Алгоритм, выполняющий определенную криптографическую функ цию.
zz Открытый (исходный) текст. Незашифрованные данные (текстовый файл, видео, растровое изображение или оцифрованная речь). Обозначим откры тый текст как P (plain text).
zz Зашифрованный текст. Это текст, полученный после применения алгоритмов криптографии к открытому тексту. Обозначим его как C (cipher text).
zz Набор шифров. Набор компонентов криптографического ПО. Прежде чем обмениваться сообщениями с использованием криптографии, сначала не обходимо согласовать этот набор. Важно убедиться, что используется одна и та же реализация криптографических функций.
zz Шифрование. Процесс преобразования открытого текста (P) в зашифрован ный текст (C). Математически это можно представить формулой encrypt(P) = C.
zz Расшифровка. Процесс преобразования зашифрованного текста обратно в исходный текст.
Математически это представляется как decrypt(C) = P.
zz Криптоанализ. Методы, используемые для анализа надежности криптогра фических алгоритмов. Аналитик пытается восстановить исходный текст без доступа к секретному ключу.
zz Персональные данные (personally identifiable information‚ PII). Информация, позволяющая определить личность человека (сама по себе или в совокуп ности с другими данными). Это может быть номер социального страхования, дата рождения или девичья фамилия матери.
Требования безопасности
Прежде всего необходимо точно определить требования безопасности системы. Исходя из них можно выбрать подходящий криптографический метод и обна
310 |
Глава 12. Криптография |
ружить потенциальные лазейки в системе. Чтобы установить требования безо пасности, нужно выполнить следующие три шага:
zz идентифицировать субъекты; zz определить цели безопасности;
zz установить степень конфиденциальности данных.
Рассмотрим эти шаги один за другим.
Идентификация субъектов
Один из способов определить субъекты — ответить на следующие четыре во проса, чтобы понять потребности системы в контексте безопасности:
zz Какие приложения необходимо защитить? zz От кого необходимо защищать приложения? zz Где их нужно защищать?
zzПочему они должны быть защищены?
Как только ответы на вопросы получены, можно переходить к определению целей безопасности цифровой системы.
Определение целей безопасности
Криптографические алгоритмы обычно используются для достижения одной или нескольких целей безопасности:
zz Аутентификация. Говоря простым языком, это проверка того, что пользова тель является тем, за кого он себя выдает. В результате аутентификации подтверждается его личность. Сначала пользователь называет себя, а затем предоставляет информацию, которая известна только ему и может быть получена только от него.
zz Конфиденциальность. Данные, которые необходимо защитить, называются конфиденциальными. Конфиденциальность — это концепция ограничения до ступа к таким данным: доступ возможен только для авторизованных пользо вателей. Чтобы обеспечить конфиденциальность информации во время пере дачи или хранения, необходимо преобразовать данные таким образом, чтобы их могли прочитать только авторизованные пользователи. Для этого применя ются алгоритмы шифрования, которые мы обсудим позже в этой главе.
Введение в криптографию |
311 |
zz Целостность. Означает, что данные никоим образом не были изменены во время их передачи или хранения. Например, стек протоколов TCP/IP вы числяет контрольную сумму или использует циклический избыточный код (cyclic redundancy check, CRC) для проверки целостности данных.
zz Неотказуемость (non-repudiation). Отправителю информации приходит подтверждение доставки данных, а получателю — подтверждение личности отправителя. Это обеспечивает неопровержимые доказательства того, что сообщение было отправлено или доставлено. Таким образом можно убедить ся в получении данных или обнаружить точки сбоев связи.
Чувствительность информации
Важно оценить секретность информации и подумать о том, насколько серьез ными будут последствия, если данные окажутся скомпрометированы. Выбрать подходящий криптографический алгоритм поможет классификация данных, основанная на чувствительности содержащейся в них информации. Рассмотрим типичные категории данных.
zz Общедоступные или несекретные данные. Все, что доступно для публичного использования. Например, информация, найденная на веб-сайте компании или информационном портале правительства.
zz Внутренние или конфиденциальные данные. Хотя они и не предназначены для общественного пользования, раскрытие таких данных не принесет большого вреда. Например, если будут обнародованы электронные письма сотрудника, жалующегося на своего менеджера, это способно поставить компанию в неловкое положение, но не приведет к разрушительным по следствиям.
zz Чувствительные или секретные данные. Данные, которые не предназначены для публичного использования, а их обнародование будет иметь пагубные последствия для отдельного лица или организации. Например, утечка под робностей о будущем iPhone может нанести ущерб бизнесу Apple и дать преимущество конкурентам, таким как Samsung.
zz Сверхчувствительные или сверхсекретные данные. Это информация, которая при раскрытии нанесет огромный ущерб организации. Она может включать номера социального страхования клиентов, номера кредитных карт или другую сверхчувствительную информацию. Сверхсекретные данные защи щены несколькими уровнями безопасности и требуют специального разре шения на доступ.