книги хакеры / журнал хакер / 194_compressed

2.Не плоди везде и всюду строки под предлогом, что весь пакет данных в JSON или XML, по сути, одна большая строка. Данные почти всегда приходят типизированными, и тип им дан не просто так. Не так уж

иудобно обрабатывать рост/возраст/вес/сумму в виде строки. Особенно учитывая то, что для хранения строки почти наверняка использован контейнер std::string/std::wstring и это привело к копированию данных строкового представления числа и наверняка к выделению данных на куче, вместо того чтобы привести к целому числу, или UUID, или логическому значению true/false.

3.Оптимизируй по максимуму процесс экранирования строк, преобразования целых и вещественных чисел и логических констант в строку и обратно. Вообще, процесс сериализации и десериализации должен быть тем местом в коде, в котором ты должен быть уверен. Ты должен знать, что уж тут-то не тратится ни одного лишнего кванта времени ни на одно преобразование. Ну не нужно для замены \" на " в строке реализовывать алгоритм кубической сложности! Также стоит минимизировать создание промежуточных объектов типа std::string для хранения временных результатов, вполне достаточно указателей на исходную строку

истроку с выводимым результатом.

4.Убей в себе желание использовать std::stringstream. Помни о том, что в итоге придется делать str() или бегать итератором еще раз по всему, что насобиралось. Это не говоря о сегментированности памяти после активного использования std::stringstream во всех местах, где нужна сериализация!

5.Еще раз: приоритет указателей на символы в строке перед всяческими промежуточными std::string с временными результатами!

6.Если используешь функции Boost, замеряй время выполнения их работы в сравнении с простейшими велосипедами. Если оказывается, что функции Boost работают в 35 раз медленнее прямого подхода, не делающего ничего лишнего, значит, используются они зря!

7.Не бойся страшного кода, если на кону эффективность выполнения самого узкого участка кода. Пусть у тебя будет switch в две страницы кода, который выполняет работу 100 миллионов итераций за две секунды, чем полиморфизм с кучей visitor’ов и огромным стеком вызовов, выполняющих ту же работу за пять секунд. Помни, что это по пять серверов вместо каждых двух!

8.Файлы и прочие бинарные данные не стоит пихать строками в XML/ JSON/YAML, есть смысл запросить и передать их отдельным запросом. Самое бестолковое занятие — запаковывать большой бинарный пакет в строку, перекодируя каждый байт, чтобы потом передать его снова как байты, но уже в текстовом протоколе.

9.Нет ничего зазорного в том, чтобы отказаться от чего-то ненужного или опционального. Например, совершенно необязательно на каждый чих в сериализации писать в лог или генерировать «Войну и мир». Минимизируй любые затраты на сериализацию, не корми Сериализатор сверх того, что он должен получить как неизбежное зло.

10.Нет никаких авторитетов, за всеми нужно проверять, экспериментируй, замеряй, не верь никому — ни разработчикам библиотек, ни автору книг, ни автору этой статьи, ни самому себе. Верь результату выполнения своего кода, верь только тем цифрам, которые тебе нужно улучшить.

Не делай ничего лишнего сверх того, что ты должен делать.

FIN

Итак, наш Сериализатор если не повержен, то уж точно останется недокормленным. Из неизбежного пожирателя эффективности приложения он превратился в твоего послушного слугу. Мы прошли игру под названием Академия C++ до конца. Пришла пора титров.

Мы вместе боролись с шаблонами и метапрограммированием, побеждали статическую типизацию и получали динамическую типизацию в C++, мы оптимизировали процессы создания новых объектов, избавляясь от лишних обращений за памятью к куче, мы научились работать с байтами и строками как с разными сущностями, а также познали суть работы чисел с плавающей точкой. Сегодняшний рассказ об эффектив-

119

ной сериализации завершает полугодовой цикл лекций в нашей Академии C++.

Надеюсь, тебе понравилось, пусть временами и было немного сложно. Пришлось продираться через механизмы предикатов времени компиляции, стандарты представления вещественных чисел и кодировки строк, но все равно было здорово получать в конце лекции небольшую высокоуровневую библиотеку.

Не стесняйся применять новые знания! Ведь только путем проб и ошибок ты получаешь бесценный и в чем-то уникальный опыт. Ни одна книга и ни одна статья в журнале не заменит набитых тобой самим шишек. Дерзай, пробуй! Вероятно, библиотеки STL в свое время не было бы, если бы Александр Степанов не решил, что миру C++ не хватает библиотеки с обобщенными алгоритмами и удобными контейнерами с общей логикой. Не думай, что опыт дается с рождением, он прямо пропорционален пройденному тобой пути по дороге освоения новых возможностей.

Главное, чтобы то, что ты делаешь, то, что создаешь сам, тебе нравилось. Это значит — ты на верном пути. Так держать!

НОВШЕСТВА ЯДРА LINUX-2014

Роман Ярыженко rommanio@yandex.ru

АДСКАЯКУХНЯ

ОБЗОР СРЕДСТВ ВИРТУАЛИЗАЦИИ И КОНТЕЙНЕРОВ ВО FREEBSD

Роман Ярыженко rommanio@yandex.ru

BSD-системы всегда отличались консерватизмом, и в большинстве случаев это было им на пользу. Однако с аппаратной виртуализацией у них вышел промах — ее разработчики BSD-систем начали (и продолжают) внедрять позже всех остальных ОС. Относительно недавно вышла новая версия FreeBSD, в которой, в частности, заявлена улучшенная поддержка гипервизора bhyve и некоторые незначительные изменения в ПО контейнеризации Jail. Рассмотрим данные технологии подробнее.

Svetlanamiku@shutterstock.com

ВВЕДЕНИЕ

Поддержка аппаратной виртуализации (в качестве хостовой системы) во FreeBSD появилась недавно — первое упоминание о bhyve встречается в новостях 2011 года. С одной стороны, в других ОС эта поддержка гораздо более зрела. С другой же — при разработке bhyve были учтены моменты, которые могли возникнуть, разрабатывайся он с нуля. Кроме того, чтобы не плодить сущности, в гостевых системах используется virtIO (как и в KVM

иXen).

Авот технология для создания контейнеров во FreeBSD существует с давних пор под названием Jail. В основе ее лежит группа системных вызовов (jail(), jail_get(), jail_set(), jail_remove() и jail_attach()). Вопреки распространенному мнению, в последних версиях FreeBSD они не вызывают chroot(), хотя и используют некоторые общие с данным системным вызовом процедуры. Из преимуществ Jail, помимо собственно изоляции, можно отметить также гибкое управление ресурсами с помощью RCTL (для включения данной функции, однако, требуется перекомпиляция ядра).

Посмотрим, насколько удобно использовать данные технологии по сравнению с их аналогами из других ОС.

О последнем этапе стоит рассказать подробнее. Поскольку bhyve пока не поддерживает ни BIOS, ни UEFI, а инициализировать виртуальное оборудование все же необходимо, для этого был сделан модифицированный загрузчик для FreeBSD. Аналогично есть и bhyve-модифицированный GRUB 2, служащий для загрузки иных систем. Но вот ты его отредактировал. Теперь можно и запускать:

# ./bhyverun.sh fbsd101

Устанавливаем стандартным образом. Для нормального завершения работы нужно перезагрузиться и в приглашении loader’а набрать quit.

Вместо использования файла образа можно взять функцию ZFS под названием zvol. Прежде всего создадим этот самый zvol:

# zfs create -V 6g zroot/fbsd

УСТАНОВКА FREEBSD НА BHYVE

Для использования данной системы виртуализации необходима версия FreeBSD не ниже 10 (а с процессором AMD — не ниже 11-CURRENT). Чтобы ее включить, нужно добавить следующие строки в файл boot/ loader.conf:

if_bridge_load="YES"

if_tap_load="YES"

vmm_load="YES"

После перезагрузки (или добавления данных модулей с помощью kldload) нужно создать бридж и интерфейс tap для поднятия сети в будущей виртуальной машине:

#ifconfig bridge0 create

#ifconfig tap0 create

#sysctl net.link.tap.up_on_open=1

Затем объединяем tap0 и реальный интерфейс в бридж и запускаем его — в моем случае для этого потребовались следующие команды:

#ifconfig bridge0 addm em0 addm tap0

#ifconfig bridge0 up

Создаем файл образа, куда будем ставить систе-

му:

# truncate -s 6g fbsd101.img

Затем либо качаем bootonly-образ, либо используем образ DVD, который ты применял при установке FreeBSD (файл устройства по неизвестным причинам для этих целей не подходит). Копируем скрипт, облегчающий запуск виртуальной машины, и редактируем в нем нужные параметры:

#cp /usr/share/examples/bhyve/ vmrun.sh bhyverun.sh

#chmod +x bhyverun.sh

Скрипт довольно большой и делает следующее:

1.Проверяет, является ли вызывающий пользователь привилегированным.

2.Проверяет, загружен ли модуль vmm.ko.

3.Смотрит задаваемые опции.

4.Проверяет, является ли файл жесткого диска загрузочным образом.

5.Наконец, загружает с помощью bhyveload ядро FreeBSD и передает ему управление через bhyve.

Устанавливаем FreeBSD обычным путем, указав вместо файла образа zvol (в моем случае — /dev/zvol/zroot/fbsd), а метод разбиения «ZFS - Automatic Root-on-ZFS». После установки для запуска вводим примерно следующие две команды (так как скрипт не всегда корректно работает):

#bhyveload -m 2G -d /dev/zvol/zroot/fbsd fbsd

#bhyve -c 1 -m 2G -A -H -P -s0:0,hostbridge -s 1:0, virtio-net,tap0 -s 2:0,ahci-hd,/dev/zvol/zroot/ fbsd -s 31,lpc -l com1,stdio fbsd

Иработаем как обычно.

BHYVE: УСТАНОВКА LINUX

Для установки Linux потребуется установить grub2-bhyve:

# pkg install grub2-bhyve

Затем нужно скачать образ дистрибутива (я взял CentOS 7) и создать файл device.map и образ диска.

#fetch http://centos-mirror.rbc.ru/pub/centos/7.0.1406/ isos/x86_64/CentOS-7.0-1406-x86_64-Minimal.iso

#mv CentOS-7.0-1406-x86_64-Minimal.iso centos.iso

#truncate -s 6g cebtos.img

РЕЖИМ СОВМЕСТИМОСТИ С LINUX

FreeBSD поддерживает частичную совместимость с Linux, что позволяет запускать некоторые Linux-приложения. Фактически режим совместимости представляет собой реализацию Linux ABI и системных вызовов. Для установки слоя совместимости нужно выполнить следующую команду:

# pkg install linux_base-c6

Затем загрузить модуль, отвечающий за ABI и подмонтировать linprocfs:

#kldload linux

#mount -t linprocfs linproc /compat/linux/proc/

Все. Можно использовать некоторые программы, написанные для Linux.

Содержимое device.map:

(hd0) ./centos.img

(cd0) ./centos.iso

Запускаем grub-bhyve и набираем соответствующие команды для загрузки ядра:

#grub-bhyve -m device.map -r cd0 -M 2048M centos-bhyve

grub> linux (cd0)/isolinux/vmlinuz text grub> initrd (cd0)/isolinux/initrd.img grub> boot

Здесь нужно объяснить некоторые детали. Поскольку bhyve пока не поддерживает графический режим, нужно запустить установку в текстовом, для чего и передаем ядру параметр text. Кроме того, команда boot ядро, конечно, в память загружает — но управление не передает. Для передачи же управления используется следующая команда:

#bhyve -A -H -P -s 0:0,hostbridge -s 1:0,lpc -s 2:0,virtio-net,tap0 -s 3:0,virtio-blk,./centos.img -s 4:0, ahci-cd,./centos.iso -l com1,stdio -c 1 -m 2048M centos-bhyve

Разберем опции:

•-A — генерировать таблицы ACPI (в которых хранится, например, количество процессоров);

•-H — реализует инструкцию HLT в виртуальном CPU. Если эту опцию не указать, реальный процессор будет загружен на 100%;

•-P — приостанавливает VCPU по получении им инструкции PAUSE;

•множество опций -s конфигурируют слоты PCI. После первой запятой указывается, какое устройство будет эмулироваться или пробрасываться. После второй указывается конфигурация для данного устройства — так, в примере выше для virtio-blk указан путь к образу. При необходимости для сетевого интерфейса таким же способом можно указать MAC-адрес;

•-l — предназначено для маппинга COM-портов;

•-c — количество виртуальных процессоров;

•-m — память.

Помимо указанных, есть еще и дополнительные опции:

•-C — включать память гостевой ОС в файлы дампа;

•-e — принудительно завершать работу bhyve, если гостевая ОС обращается к неэмулируемым портам ввода-вывода, — что полезно для целей отладки;

•-p vcpu:hostcpu — привязать указанный VCPU к CPU хостовой машины;

•-U uuid — уникальный идентификатор в структуре SMBIOS System Information. Если его не указать, генерируется на основе имени хоста хостовой системы и имени виртуальной машины;

•-w — игнорировать обращения к нереализованным регистрам MSR, что опять же полезно для отладки;

•-W — использовать в эмулируемой системе старую систему прерываний (MSI) вместо более новой (MSI-X);

•-x — использовать в гостевой системе режим x2APIC;

•-Y — отключить генерацию MPTable.

После загрузки запустится Anaconda в самом что ни на есть текстовом режиме (даже без использования ncurses — просто черно-белый терминал, навевающий ностальгические мысли о временах DOS). Установка более чем стандартна. После ее за-

Anaconda в самом что ни на есть текстовом режи-

ме — просто черно-белый терминал, навевающий

ностальгические мысли о временах DOS

нуль-модемное устройство, для которого прежде всего необходимо загрузить модуль ядра nmdm:

# kldload nmdm

Затем в опции -l указываем вместо stdio /dev/ nmdm0A и подключаемся к нему:

# cu -l /dev/nmdm0B -s 115200

Кроме того, при создании виртуальной машины создается также и файл в каталоге /dev/vmm, что позволяет быстро посмотреть список загруженных машин.

НАСТРОЙКА JAIL

FreeBSD поддерживает также аналог LXC — Jail. Мы будем рассматривать его вкупе с ZFS. Создадим ФС:

#mkdir /usr/jail

#zfs create -o compress=lz4 -o mountpoint=/usr/jail zroot/jail

#zfs create zroot/jail/.base101x64

Вторая команда создает сжатую ZFS, а третья — собственно ту ФС, куда мы будем его развертывать и откуда затем клонировать. Скачиваем файлы FreeBSD 10.1 и распаковываем их:

#cd /var/tmp

#fetch ftp://ftp.freebsd.org/pub/FreeBSD/ releases/amd64/10.1-RELEASE/base.txz

#fetch ftp://ftp.freebsd.org/pub/FreeBSD/ releases/amd64/10.1-RELEASE/lib32.txz

#fetch ftp://ftp.freebsd.org/pub/FreeBSD/ releases/amd64/10.1-RELEASE/games.txz

#fetch ftp://ftp.freebsd.org/pub/FreeBSD/ releases/amd64/10.1-RELEASE/src.txz

#tar -JxvC /usr/jail/.base101x64/ -f base.txz

#tar -JxvC /usr/jail/.base101x64/ -f lib32.txz

#tar -JxvC /usr/jail/.base101x64/ -f games.txz

#tar -JxvC /usr/jail/.base101x64/ -f src.txz

Сделаем некоторую базовую настройку (скопируем resolv.conf, поставим пароль, создадим каталог /usr/home и симлинк /home, установим обновления):

#cp /etc/resolv.conf /usr/jail/

.base10x64/etc/

# chroot /usr/jail/.base10x64

Jail# passwd

Jail# mkdir /usr/ports

Jail# mkdir /usr/home

Jail# ln -s /usr/home /home

Jail# cd /etc/mail

Jail# make aliases

Jail# freebsd-update fetch install

Создадим снапшот текущего «чистого» Jail.

# zfs snapshot zroot/jail/.base101x64@clean

Конфигурируем шаблон дальше. Создадим в Jail

#Не запускаем sendmail sendmail_enable="NO"

#Очищаем временные каталоги clear_tmp_enable="YES"

#Syslog не будет принимать входящие подключения

syslogd_flags="-ss"

#Выключаем RPCBIND

rpcbind_enable="NO"

##

## Services

##

sshd_enable="NO"

На данном этапе можно также добавить все настройки и программы, которые необходимо иметь во всех песочницах. После этого выходим из chroot и на хостовой системе снова делаем снапшот:

# zfs snapshot zroot/jail/.base101x64@p0

Здесь p0 — номер условного «патча».

На хостовой же системе создаем файл /etc/jail.conf следующего содержания:

#Глобальные параметры

#Действие, выполняемое перед запуском песочниц. В данном случае пробрасывается каталог /usr/ports хостовой системы.

Обрати внимание — триггеры exec.prestart и exec.poststop

выполняются на хостовой системе exec.prestart = "/sbin/mount -t nullfs -o ro /usr/ports/ /usr/jail/$name/usr/ports";

#Скрипты в Jail, выполняемые во время запуска и остановки exec.start = "/bin/sh /etc/rc";

exec.stop = "/bin/sh /etc/rc.shutdown";

#После остановки отмонтируем проброшенную файловую систему exec.poststop = "/sbin/umount -f /usr/jail/$name/usr/ports";

#Сбрасываем в Jail почти все переменные окружения exec.clean;

#Монтируем в Jail devfs

mount.devfs;

# Файл в формате fstab, описывающий, какие ФС монтировать

в Jail

mount.fstab = "/etc/fstab.$name";

#Запрещаем монтирование в самом Jail allow.nomount;

#Параметры подстановки

#Путь к корню основан на имени Jail path = "/usr/jail/$name";

#Тестовый Jail

test {

# Устанавливаем имя хоста для Jail

host.hostname = "testjail";

# Включаем отдельный сетевой стек (требуется, чтобы

ядро было скомпилировано с опцией VIMAGE)

vnet = "new"

interface = "lo0";

}

Затем создаем на основе того снапшота, что был

ный вызов mount и запрещено изменять время больше, чем на секунду;

•3 — те же ограничения, что и на предыдущем, плюс запрет на изменение правил брандмауэра.

Параметр devfs_ruleset указывает, какой набор правил devfs будет применяться для контейнера. Везде пишут, что по умолчанию ни единого набора не применяется, — и при использовании команды /sbin/jail все верно. Однако в случае со стандартным скриптом запуска /etc/rc,d/jail это не так — применяется набор правил, заточенный специально для Jail и описанный в /etc/defaults/devfs.rules.

Во FreeBSD поддерживаются также вложенные контейнеры. Для их использования надо установить параметр children.max, указывающий максимальное количество вложенных контейнеров. По умолчанию он равен нулю, то есть вложенные контейнеры создавать запрещается. Текущее же количество потомков можно посмотреть в переменной children.cur.

С помощью параметра enforce_statfs можно управлять видимостью точек монтирования. При установке его в 0 процесс может получать информацию обо всех