книги хакеры / журнал хакер / 184_Optimized

Скрипт для бенчмарка

Напомню, что данные тесты нужно проводить на всех планировщиках, а не только на текущем. Для их переключения есть два способа. Первый способ — использовать параметр загрузки ядра elevator. При этом нужно будет редактировать файл /etc/default/grub и обновлять загрузочный конфиг GRUB. Второй способ не требует перезагрузки и состоит в указании планировщика через sysfs. Например, для указания планировщика CFQ на устройстве /dev/sda достаточно следующей команды:

# echo cfq > /sys/block/sda/queue/scheduler

Лично мне в конечном итоге оказалось проще написать скрипт, который запускает по пять проходов каждого теста (за исключением Bonnie++ — в нем указывается параметр -x) для каждого планировщика. Посмотрим же, что у нас получилось.

АНАЛИЗРЕЗУЛЬТАТОВТЕСТИРОВАНИЯ

Поскольку написание статьи связано с планировщиком BFQ, сосредоточимся именно на нем.

Запись с помощью dd у меня заняла в среднем 137,71 с, что, конечно, немного больше, чем при использовании планировщика Deadline (в среднем 136,89 с), но меньше, чем при использовании других планировщиков, — например, при сравнении с CFQ BFQ опережает его почти на 4 с.

Чтение же с помощью dd столь значительной разницы не показало. Тем не менее в этом тесте BFQ впереди планеты всей, а CFQ опять аутсайдер.

Тесты с помощью hdparm (чтение как из кеша, так и из дискового буфера) по неизвестным причинам вывели на первое место планировщик Deadline. Впрочем, полагаться на результат именно этого теста особого смысла нет — выглядит он слишком уж синтетическим.

Замер общего времени выполнения распаковки ядра снова вывел BFQ на второе место — хотя и этот тест выглядит не менее синтетическим, чем предыдущий.

А теперь перейдем к результатам Bonnie++. Результатов там много, но я покажу только самые основные. Рассматривать я буду исключительно максимальную задержку для одной операции (опять же усредненную). При использовании функции putc() задержка у нашего кандидата на включение в ядро составляет 12 901 мкс, что выводит его на первое место. То же самое можно сказать и про запись блока — при данном тесте BFQ вырывается далеко вперед. А вот при чтении блока выигрывает CFQ с его 9082,6 мкс, BFQ же в этом тесте (как и в тесте на перезапись блока) стоит на втором месте. В тесте последовательного создания файлов BFQ на втором месте, зато в тестах рандомного создания/удаления он вновь лидирует.

Как видим, в среднем BFQ уверенно занимает первое-вто- рое место. К сожалению, у меня нет возможности проверить SSD-накопители, так что трудно сказать, какой из планировщиков подходит в случае их использования, но для жестких дисков BFQ определенно неплох, так что его можно смело включать в качестве планировщика по умолчанию на большинстве домашних компьютеров.

ţśŢţŤřŤ Ť ťŦŤŬśŧŧś ŚŤŗŖŘšśţŞŵ BFQ Ř ŤŧţŤŘţũŴ ŘśŨŠũ ŵŚŦŖ

Я начал работу над BFQ вместе с Фабио Чеккони (Fabio Checconi) в 2008 году. Фабио написал первую версию кода. Затем мы протестировали его, исправили ошибки и немного улучшили функционал. Мы думали, что этого будет достаточно для добавления в ядро:

•https://lkml.org/lkml/2008/4/1/234

•https://lkml.org/lkml/2008/11/11/148

Однако BFQ не приняли в основную ветку ядра, несмотря на позитивный отклик общественности. Причиной тому послужили замечания Дженса Аксбо (Jens Axboe). С одной стороны, он был обеспокоен сложностью движка планировщика, сетовал на то, что эта сложность обернется проблемами с поддержкой кода, если его добавят в ядро. С другой — он был убежден, что в Linux должен быть только один главный планировщик ввода/вывода. Им был (и есть) CFQ.

Хотя BFQ не вошел в ядро, некоторые продвинутые пользователи стали скачивать его с нашего сайта. BFQ также был включен в некоторые модифицированные ядра, например Zen Kernel.

Тем временем я наткнулся на одну занимательную ветку LKML (https://lkml.org/lkml/2009/9/25/210) по теме ввода/вывода. В

ней обсуждалось время старта некоторых популярных приложений, таких как Firefox и терминал. Я был поражен, насколько оно может быть мало. По сути, такое время достигалось только при последовательном чтении соответствующего бинарного файла. Я вдохновился этой идеей и придумал новую фичу для планировщика: необходимо определять и давать привилегии интерактивным приложениям. После добавления этого и некоторых других незначительных улучшений я представил (goo.gl/oJjfTS) BFQ-v1 в июле

2010-го.

С этого момента BFQ начал набирать обороты: за прошедшие годы некоторые модифицированные Linux-ядра, Android-ядра, дистрибутивы Linux приняли BFQ в качестве планировщика по умолчанию или дополнительного планировщика (pf-kernel, многие ядра для Android, CyanogenMod, Sabayon, Gentoo Linux, Arch Linux, OpenMandriva, Rosa, ныне Manjaro). Кроме того, по моим данным, в

течение последних нескольких лет каждый день планировщик скачивают несколько десятков пользователей разных дистрибутивов.

Между тем я продолжал добавлять новые функции и усовершенствования, например эвристические методы распознавания интерактивных приложений. Я добавил поддержку новых характеристик жестких дисков, например NCQ, а также оптимизировал работу с SSD. К счастью, в этой работе мне помогали такие хорошие люди, как Франческо Аллертсен (Francesco Allertsen), Мауро Андреолини

(Mauro Andreolini) и особенно Арианна Аванцини (Arianna Avanzini).

За несколько лет она внесла большой вклад в проект BFQ, разработала новые решения и подготовила патчи для множеств версий ядра.

Все расширения для правильной обработки новых устройств, которые Арианна и я добавили в BFQ, были до этого добавлены и

вCFQ. Вместе с этим в CFQ появлялись некоторые другие полезные функции. Мы не только портируем все эти функции в BFQ, но и по возможности дорабатываем их для улучшения пропускной способности, времени отклика и быстроты исполнения. Так, нами был разработан унифицированный механизм обработки ввода/вывода QEMU для достижения высоких показателей пропускной способности.

Поддерживать такую высокую скорость разработки совсем не легко. Без поддержки Арианны проект, скорее всего, пришлось бы закрыть. Однако с выходом версии v7r3 мы в конце концов сделали это: теперь BFQ поддерживает весь спектр популярных устройств для хранения информации. Кроме этого, весь функционал, который я планировал реализовать, теперь работает стабильно. Наконец-то код выглядит зрелым и достаточно стройным.

Вот почему я думаю, что сейчас BFQ готов для представления

вLKML. С этой целью мы уже подготовили патчсет для ревью. Но, прежде чем приступить к добавлению в основную ветку, нам нужно закончить тестирование версии v7r3 и выпустить релиз. Надеюсь, мы сможем это сделать в ближайшую неделю.

Паоло Валенте (Paolo Valente), основатель планировщика BFQ

SYN/ACK

Предводитель

апачей

Drupal – Static, requests/second, higher is better

2124.1

2115.1

2120.4

2043.9

2294.3

2155

2120.7

2127.9

2126.3 2064.1

HIAWATHA Ş APPARMOR

Чтобы запустить Hiawatha под контролем AppArmor,

создай файл /etc/apparmor.d/usr.sbin.hiawatha со сле-

дующим содержимым (последние две строки — расположение корня веб-сайта):

#include

/usr/sbin/hiawatha {

#include

capability dac_override,

capability net_bind_service,

capability sys_chroot,

capability setgid,

capability setuid,

network inet tcp,

/usr/sbin/hiawatha mr,

/usr/sbin/cgi-wrapper mr,

/etc/passwd r,

/etc/group r,

/etc/hiawatha/** r,

/etc/nsswitch.conf r,

/var/log/hiawatha/* rw,

/var/run/hiawatha.pid w,

/var/lib/hiawatha/* rw,

/var/www/** rw,

/home/*/public_html/** r,

}

А затем включи защиту:

$ sudo aa-enforce hiawatha

(от DDoS, понятное дело, любой сервер уйдет в аут).

ПЕРВОЕЗНАКОМСТВО

Hiawatha распространяется под лицензией GPL, но из-за низкой популярности не включен в репозитории популярных Linux-дистрибутивов. Зато он довольно давно есть в портах FreeBSD и Arch Linux, а также в виде прекомпилированного пакета для OS X и Windows. Лично я ставил веб-сервер в Arch и Ubuntu, поэтому и говорить буду о них. Итак, в Arch установка тривиальная:

$ yaourt -S hiawatha

Отвечаем на стандартные вопросы, дожидаемся окончания компиляции, вводим свой пароль, и мы готовы. В Ubuntu придется приложить несколько больше усилий и скомпилировать веб-сервер самостоятельно. Для этого устанавливаем необходимые devel-пакеты:

$ sudo apt-get install build-essential libc6-dev

libssl-dev dpkg-dev debhelper fakeroot

libxml2-dev libxslt1-dev cmake

Скачиваем и распаковываем свежую версию исходников сервера:

$ cd /tmp

$wget https://www.hiawatha-webserver.org/files/ hiawatha-9.4.tar.gz

$tar -xzf hiawatha-9.4.tar.gz

Собираем и устанавливаем:

$ cd hiawatha-9.4/extra

$ ./make_debian_package

$ cd ..

$ sudo dpkg -i hiawatha_9.4_amd64.deb