книги хакеры / журнал хакер / 180_compressed

130

SYN/ACK

ХАКЕР 01 /180/ 2014

ХАКЕР 01 /180/ 2014

Испытание сверхнагрузкой

131

риведенные цифры могут вызывать зависть даже

с дублированием размазаны все метаданные, теперь она хра-

у тех, кто не понаслышке знаком с понятием highload,

нит данные в чанках размером 1 Мб и имеет переработанную

однако ничего удивительного в них нет. Все пере-

систему очередей, ориентированную не столько на эффектив-

численные сервисы управляются обычными серве-

ное использование канала, сколько на скорость отдачи дан-

Прами, основанными на самых обычных Linux-дистрибутивах

ных.

и открытом общедоступном софте (за исключением разве

Поверх GFS работает BigTable и MapReduce. Первая пред-

что Google). Вопрос только в том, какие инструменты исполь-

ставляет собой своего рода NoSQL базу данных, основное

зуются и насколько хороши системные архитекторы.

INFO

достоинство которой в превосходной масштабируемости

В этой статье я не буду рассказывать об архитектуре вы-

и вместимости данных (речь идет о петабайтах). Вторая —

соконагруженных систем, а вместо этого расскажу о ПО, кото-

Автор Varnish — Пол-

это алгоритм распределенной обработки данных, который

рое они используют. Какие приложения, почему именно они,

Хеннинг Камп (Poul-

в Google используется для многих задач, включая извлечение

и как их использование позволяет поднять общую производи-

Henning Kamp), леген-

данных из BigTable.

тельность сервиса.

дарный FreeBSD-хакер,

В свое время MapReduce стал настоящим открытием

GFS, BIGTABLE И MAPREDUCE

известный как автор Jail,

в сфере распределенных систем, так как впервые предла-

подсистемы ввода-выво-

гал такой механизм обработки данных, в котором вся задача

Пятнадцать лет назад для поддержки высоконагруженных

да GEOM и части файло-

от начала и до конца могла быть распараллелена. Там, где дру-

сайтов применялись довольно простые и примитивные по се-

вой системы UFS2.

гие алгоритмы полагались на параллельные вычисления толь-

годняшним меркам методы. В основном вся оптимизация сво-

ко частично, разбивая задачу на множество небольших под-

дилась к покупке NAS и нескольких серверов, которые исполь-

задач, результаты которых затем так или иначе приходилось

зовались для запуска MySQL и веб-серверов. Более крупные

приводить к общему результату на одном сервере, MapReduce

компании имели сразу несколько таких конфигураций, распо-

позволял эффективно распараллелить всю задачу, и ее ре-

лагающихся в разных частях планеты и обслуживающих раз-

зультат в уже практически готовом виде возвращался обратно.

личные группы клиентов.

В 2006-м, спустя два года после обнародования Google

В условиях статичных веб-сайтов, низких скоростей и не-

подробностей реализации MapReduce, был опубликован ис-

большой доли интернетизации такие схемы работали доста-

ходный текст открытого клона GFS и MapReduce под названи-

точно эффективно и покрывали запросы многих компаний.

ем Apache Hadoop. Его взяли на вооружение Last.fm, Facebook,

Однако для Google, которая быстро вышла на международную

The New York Times, eBay и тысячи других компаний, а в 2008

арену и фактически предлагала один и тот же сервис по всей

году Hadoop установил мировой рекорд производительности

планете, без возможности логического разделения запросов

сортировки данных, обработав 1 Тб на кластере из 910 узлов

и данных по каким-либо типам, такая архитектура быстро пре-

за 309 секунд.

вратилась в крайне неэффективную.

PRESTO, ИЛИ MAPREDUCE ОТ FACEBOOK

Google нужна была система, которая позволяла бы обра-

батывать большое количество данных с помощью множества

Facebook довольно быстро взял на вооружение Hadoop

серверов по всему миру и сохранять их в одно доступное ото-

как эффективное средство для выполнения разного рода ана-

всюду хранилище, при этом чтобы доступ к данным из любой

литических запросов, требующих обработки больших объемов

точки был быстрым. Тогдашние средства параллельной обра-

данных (главная логика работы осталась основанной на тра-

ботки и хранения данных для такой задачи не подходили, по-

диционной модели распределенных баз данных), но снабдила

этому пришлось изобретать свое.

его обвеской, известной теперь под именем Apache Hive. По-

Так появились Google File System, а чуть позже MapReduce

следняя, в частности, позволила писать запросы на специаль-

и BigTable. Итак, первое звено цепочки: Google File System —

ном диалекте SQL, который затем преобразовывался в распа-

распределенная (не путать с кластерной, например Lustre)

раллеленную MapReduce-задачу.

файловая система, изначально рассчитанная на хранение

Некоторое время такая связка вполне успешно работала,

огромных объемов данных на множестве дешевых серве-

но из-за неэффективности преобразования SQL в MapReduce-

ров, которые могут быть значительно удалены друг от друга.

задачи и общих проблем архитектуры ее производительность

По сегодняшним меркам GFS имеет достаточно простой ди-

стала недостаточной, и программисты Facebook начали ре-

зайн: множество серверов хранят данные в чанках размером

шать вопрос о замене Hive на более быструю альтернативу.

в 64 Мб, каждый чанк имеет уникальный идентификатор, этот

Так появился проект Presto, исходники которого были открыты

идентификатор вместе с адресом чанка хранится на одном

в конце 2013 года.

из мастер-серверов, к которому обращается клиент за опре-

По сути, Presto (prestodb.io) — это распределенный движок

деленным файлом. Для производительности данные клиенту

SQL-запросов, который разбивает один запрос на множество

возвращаются напрямую с чанк-серверов, а для сохранности

более мелких, и каждый из них выполняется параллельно от-

данных используется избыточность, то есть хранение одних

дельным рабочим потоком в отношении собственного участка

и тех же чанков на трех и более серверах.

данных из БД. Presto не использует MapReduce и не привязан

В рамках проекта Colossus в 2008 году файловая система

к какой-либо базе данных, но задействует в своей работе ком-

была модифицирована с учетом потребностей современного

Принцип работы Google

поненты Hive. По словам разработчиков Facebook, производи-

мира: высокая скорость доступа к информации, увеличение

File System

тельность движка получилась в десять раз выше по сравнению

количества единиц информации с уменьшением размера каж-

с Hive/MapReduce, что позволило справиться с быстрой об-

дой из них (твит, пост в Facebook и так далее). GFS 2.0 полу-

работкой стремительно растущего количества данных, общий

чила распределенную систему мастер-серверов, по которым

Архитектура Presto

объем которых уже перевалил за 300 Пб.

-Дубли

рование

GFSМастер-сервер

Сервера

Hive

Клиент

Мастер-

Metastore

GFSМастер-сервер

сервера

Клиент

Presto

обработчик

Presto

Presto

Presto

HDFS

консольный

координатор

обработчик

C0

C1

C1

C0

C1

клиент

C5

C2

C5

C2

C2

Presto

обработчик

Чанк-сервер 1

Чанк-сервер 2

Чанк-сервер N

132

SYN/ACK

ХАКЕР 01 /180/ 2014

APACHE CASSANDRA

туальную машину Hhvm, которая вместо перевода PHP в пред-

Кроме идей MapReduce и Google File System в лице Hadoop,

ставление на C++ исполняет оптимизированный байт-код PHP

Facebook также взял на вооружение идею базы данных

с использованием JIT. Причиной ее создания послужили тех-

BigTable, реализовав ее в виде открытого продукта, который

нические ограничения, накладываемые на PHP-скрипты, при-

теперь носит имя Apache Cassandra (cassandra.apache.org).

годные для транслирования в C++, а также особенности языка,

Как и BigTable и HBase, входящий в состав Hadoop, это рас-

такие как динамическая типизация, которая не позволяет соз-

пределенная NoSQL база данных с очень высокой степенью

дать эффективный код на основе статического анализа.

масштабируемости и возможностью практически неограни-

INFO

Написанный скрипт пропускался через компилятор, сна-

ченного роста.

чала транслирующий его в промежуточное абстрактное пред-

Cassandra основана на полностью распределенной hash-

Google File System

ставление AST (Abstract Syntax Tree), а затем в байт-код HHBC

системе Dynamo и задействует разработанную Google модель

выросла из проекта

(HipHop bytecode). Байт-код HHBC, в свою очередь, запускал-

хранения данных на базе семейства столбцов (ColumnFamily,

BigFiles, авторами кото-

ся в виртуальной машине в режиме интерпретации либо ди-

вложенные хеши). Для хранения данных используется фай-

рого были Ларри Пейдж

намической трансляции в машинные инструкции с помощью

ловая система HDFS (клон GFS) из состава того же Hadoop,

и Сергей Брин.

JIT-компилятора.

а для обеспечения надежности — все тот же гугловский

В целом виртуальная машина не смогла вывести скорость

принцип избыточности, при котором данные автоматически

исполнения PHP выше уровня первой реализации HipHop,

реплицируются на несколько узлов, равномерно распреде-

но зато заметно упростила разработку скриптов, которые те-

ляясь по всему кластеру. Этот же подход служит и для повы-

перь не нужно модифицировать для получения возможности

шения доступности данных: благодаря наличию копий данных

трансляции в C++. Общее же следствие применения HipHop —

на многих узлах нескольких кластеров и дата-центров клиент

возможность снизить затраты на оборудование на 70%.

может получать информацию с наиболее близкого узла.

MEMCACHED И REDIS

Главное достоинство Cassandra, а также ее собратьев

BigTable и HBase — в линейном росте масштабируемости.

Любой крупный веб-сервис для повышения производитель-

По сути, это означает, что для базы данных безразлично ко-

ности так или иначе использует один из способов кеширо-

личество узлов-участников и она одинаково хорошо работа-

вания данных. Зачастую для выполнения этой задачи служат

ет как на двух серверах, так и на тысяче. При этом система

Memcached (memcached.org) и Redis (redis.io), которые хра-

переконфигурируется в полностью автоматическом режиме

нят наиболее часто используемые данные в оперативной па-

и автоматически подхватывает новые узлы. В качестве язы-

мяти. Это позволяет избежать лишних и долгих обращений

ка запросов в Cassandra используется CQL (Cassandra Query

к базе данных и отдавать клиенту ответ настолько быстро, на-

Language), своего рода сильно урезанный и упрощенный SQL,

сколько это вообще возможно.

не позволяющий выполнять сложные запросы, включающие

Наиболее известный кеширующий сервер на данный мо-

в себя сортировку и другие постобработки.

мент — это Memcached, разработанный более десяти лет на-

В 2009 году код Cassandra был передан фонду Apache и се-

зад для LiveJournal. Сегодня он используется в большей части

годня используется для обслуживания баз данных в таких ком-

высоконагруженных веб-сервисов. По своей сути это доволь-

паниях, как Adobe, CERN, Cisco, IBM, HP, Comcast, Disney, eBay,

но простое распределенное хранилище данных (не решусь на-

Netflix, Sony, Rackspace, Reddit, Digg и Twitter.

зывать его БД), позволяющее временно сохранять в оператив-

PHP В СТИЛЕ HIPHOP

ной памяти множество пар ключ — значение, которые клиент

в лице веб-сервиса может в любой момент добавлять и извле-

Еще одна интересная разработка Facebook — это HipHop

кать в обход обращения к базе данных.

(github.com/facebook/hhvm), транслятор исходного текста

Memcached имеет очень простой API, состоящий только

PHP в C++. Транслятор был открыт еще в начале 2010 года

из базовых операций вроде установки соединения, добавле-

и уже тогда использовался для оптимизации почти всех PHP-

ния, обновления и удаления данных. Поэтому клиент должен

файлов, выполняющих 90% запросов пользователей.

сам заботиться о поддержании кеша в актуальном состоянии,

HipHop появился как ответ на возрастающие нагрузки, с ко-

что обычно выливается в работу по принципу «смотрим зна-

торыми стало все труднее справляться без постоянной закуп-

чение в кеше, если такого нет — обращаемся к базе данных,

ки дополнительных серверов и усложнения инфраструктуры

а при добавлении данных в БД дополнительно помещаем их

сервиса. Традиционно с самых первых версий Facebook был

в Memcached». Сильная сторона такой архитектуры в нулевых

основан на PHP и MySQL, что в будущем создало для компании

простоях сервиса, так как падение или замена Memcached-

массу проблем с расширяемостью и производительностью.

сервера будет считаться промахом мимо кеша, а сам сервис

Поскольку выпилить PHP уже не представлялось возможным,

продолжит свою работу без всяких проблем.

возникла идея сделать так, чтобы все можно было переписать

В 2009 году у Memcached появилась серьезная альтерна-

на C++ в автоматическом режиме.

тива под названием Redis. По сути, это все тот же Memcached,

Работа над HipHop продолжалась полтора года, за это вре-

Масштабируемость

но обладающий несколькими важными отличиями. Одно

мя программисты смогли переписать почти всю среду испол-

Cassandra полностью

из основных — это возможность хранить не только строки,

нения PHP и создать транслятор, способный перевести в C++

линейна

но и такие типы данных, как массивы, словари, множества

почти любой PHP-код за исключением нескольких конструк-

и битмапы. Это существенно расширяет область применения

ций, таких как eval(). Как результат, общую нагрузку на CPU

кеширования.

удалось снизить примерно на 50% (позже на 70%) и достичь

Memcached: клиент

Вторая особенность — это поддержка репликации данных

существенной экономии оперативной памяти.

должен сам добавить

на соседние серверы, благодаря чему Redis более масшта-

После публикации первой версии HipHop программисты

значение в кеш, если

бируем и устойчив к сбоям, чем Memcached. Размазывание

продолжили эксперименты и уже через два года выкатили вир-

его там нет

разных данных по многим серверам выполняется так же,

ХАКЕР 01 /180/ 2014

Испытание сверхнагрузкой

133

Схема работы прокси-сервера Varnish

Поток принятия

Ожидание нового

Механизм, который

Механизм,

подключений

обрабатывает пулы

Ожидание

определя-

Запросить корневой

соединения

потоков и добавляет

специального сигнала

ющий вре-

узел из двоичной кучи

новые потоки в случае

мя жизни

Принятие

превышения заданного

объектов

подключения

лимита

Добавить новый поток

к пулу при необходимости

Нет

Истекло ли время

Создание сессии

жизни объекта?

Поиск доступного

Рабочий

Да

поток n

Есть

потока

Нет

Удалить объект

ли сессия

в списке?

Ожидать

Есть

Присвоение

Да

пробуждения

Да

ли простаива-

сессии к потоку

Механизм,

ющий рабочий

и пробуждение

поток?

Принять сессию

Опрос файловых дескрип-

определяющий,

как много

торов активной сессии

Нет

запросов

Запуск процесса

в соединении

Сбросить

Да

Заполнен

Ожидаются

Нет

соединение

ли список?

Нет

Больше

ли данные?

ли данных ожи-

Нет

дается в

Да

сессии?

Добавить

Сбросить состояние сессии

Да

Закрыть сокет

в список

в начальное и найти для

и удалить сессию

Сбросить состоя-

этой сессии рабочий поток

Сигнал для механизма, обрабатывающего пулы потоков

ние в начальное

как и в Memcached, — на основе значения хеша, которое кли-

запрос от клиента, а затем отдает его одному из бэкенд-серве-

ент использует для выбора нужного сервера. Более высокая

ров либо одной из машин с установленным Varnish, она, в свою

устойчивость к сбоям также достигается за счет возможности

очередь, либо возвращает кешированную страницу клиенту,

создания снапшотов кеша на диске, который можно восстано-

либо обращается для этого к одному из бэкенд-серверов.

вить в любой момент.

В плане балансировки нагрузки возможности nginx до-

Ну и последнее: Redis — однопоточный сервер, исполь-

статочно стандартны. По умолчанию используется алгоритм

зующий для работы epoll и kqueue, что делает его более бы-

round-robin с возможностью назначения приоритета каждому

стрым и масштабируемым в рамках одной машины. Согласно

INFO

серверу. Поддерживаются бэкап-серверы, которые будут ис-

тестам производительности, Redis опережает Memcached

пользованы в случае, если один или несколько основных не-

не менее чем на 20%. С другой стороны, они оба настолько бы-

Идеи BigTable были

доступны. Проверка на доступность также настраивается, есть

стры, что в условиях удешевления серверов это уже не имеет

использованы также

возможность выбора количества проверок и тайм-аута между

никакого значения.

в базах данных MongoDB

ними. Чтобы клиенты всегда работали через один сервер (на

VARNISH

и CouchDB.

котором может быть кеш, актуальный именно для этого клиен-

та), имеется поддержка IP-хешей, на основе которых опреде-

Еще один распространенный способ кеширования данных —

ляется сервер назначения.

это использование HTTP-акселератора Varnish (www.varnish-

Обычно всего этого вполне хватает, чтобы настроить эф-

cache.org). Обычно он работает как внешний или промежуточ-

фективную систему балансировки нагрузки.

ный (между Apache и nginx, например) веб-сервер, который

ВЫВОДЫ

кеширует все запрашиваемые страницы, позволяя ускорить

отдачу страниц. На динамических веб-сайтах он обычно не ис-

Все описанные в статье системы (кроме гугловских) абсолютно

пользуется, но, если сайт достаточно статичный (скажем,

бесплатны, имеют открытый исходный текст и при достаточ-

СМИ или страница компании), его применение может дать

ном умении могут быть использованы для создания масштаби-

ощутимый прирост скорости отдачи веб-страниц.

руемых систем, выдерживающих огромные нагрузки. Вопрос

Varnish — это прокси-сервер, который, в отличие от Squid

лишь в том, стоит ли платить за специализированный софт.

и других, изначально создан с целью работы в качестве HTTP-

акселератора. По этой причине Varnish имеет более простой

дизайн, ограниченную поддержку протоколов (без FTP, SMTP),

поддержку балансировки нагрузки (round-robin и случайный

выбор) и очень развитый язык написания конфигураций VCL

(Varnish Configuration Language), который позволяет тонко на-

строить прокси под нужды любого веб-сайта.

Как Memcached и Redis, акселератор Varnish в основном

полагается на хранение кеша в оперативной памяти и в иде-

але устанавливается на выделенную машину. В условиях не-

большого объема RAM он может временно сбрасывать кеш

на диск, причем делает это не самостоятельно, а полностью

полагается на операционную систему. Так удается избежать

оверхеда, который может произойти, когда ОС и приложе-

ние начинают одновременно сбрасывать страницы памяти

на диск. В целях снижения оверхеда Varnish также хранит логи

в оперативной памяти, для их записи на диск используется от-

дельный поток.

NGINX

Nginx (nginx.org/ru/), благодаря своей архитектуре, способен

обрабатывать огромное количество запросов, что сделало его

очень популярным решением для балансировки загрузки и от-

Varnish снабжен

дачи статических данных, таких как изображения и JS-скрипты.

превосходным веб-

Обычно nginx выступает в роли фронтенда, который получает

интерфейсом

ХАКЕР 01 /180/ 2014

Абсолютная власть

135