книги хакеры / журнал хакер / 183_Optimized

Матрица виртуализации

ПРОСТОТАИУДОБСТВОДЛЯПОЛЬЗОВАТЕЛЯ

В отличие от Xen, KVM поддерживает только аппаратную виртуализацию

ивообще выглядит проще. Поэтому можно часто встретить применение KVM обычными юниксовыми пользователями. KVM поддерживает проброс USB-

иPCI-устройств, появившийся относительно недавно. Я не буду расписывать его архитектуру, а сразу перейду к созданию виртуальных машин. Установим нужные пакеты (после этого лучше перезагрузиться) и проверим работоспособность:

$sudo apt-get install qemu-kvm libvirt-bin ubuntu-vm- builder bridge-utils virtinst

$ virsh -c qemu:///system list

После выполнения последней команды должен появиться список запущенных виртуальных машин. Поскольку у нас никаких виртуальных машин еще нет, он будет пустым. Исправим эту ситуацию.

Первым делом установим систему. Для этого необходимо создать образ диска:

$ qemu-img create -f qcow2 image.qcow2 5G

Следом набираем команду, которая создает конфигурационный файл и запускает виртуальную машину, и подключаемся к ней:

$ sudo virt-install --connect qemu:///system -n freebsd -r

512 --disk path=./image.qcow2,format=qcow2 -c /media/rom/

DATA/Torrents/freebsd/FreeBSD-10.0-RELEASE-amd64-dvd1.iso

--vnc --noautoconsole --os-variant freebsd8

$ gvncviewer localhost

Рассмотрим проброс USB-устройств. Для его осуществления нужно узнать VID и PID пробрасываемого устройства (с помощью команды lsusb) и добавить в конфиг виртуальной машины freebsd.xml следующие строки:

#<...> <devices>

#<...>

<hostdev mode='subsystem' type='usb'>

<source>

<vendor id='0x0a12'/>

<product id='0x0001'/>

</source>

</hostdev>

</devices>

И перезапустить ее.

Настройка проброса PCI-устройств для хостовой системы почти аналогична таковой для Xen. Только вместо установки параметра ядра xen-pciback.hide необходимо подключить пробрасываемое устройство к драйверу pci-stub. При этом помимо номера устройства надо знать еще и его VID/PID, который

Архитектура KVM

узнаем с помощью команды lcpci -n. Затем создаем конфиг /etc/modprobe.d/ kvm.conf для модуля kvm:

options kvm allow_unsafe_assigned_interrupts=1

Затем выполняем комбинацию команд rmmod kvm / modprobe kvm и добавляем соответствующие строчки в конфиг виртуальной машины freebsd.xml.

Стоит также упомянуть технологию SPICE. Она изначально разрабатывалась в качестве замены VNC для виртуальных машин и не требует наличия сети. В контексте проброса видеокарт SPICE примечательна тем, что позволяет на хостовой машине эмулировать видеокарту и пробрасывать реальную видеокарту на гостевую систему. Однако видеокарта, эмулируемая SPICE, целиком виртуальная и не имеет никакого устройства вывода, поэтому могут возникнуть некоторые сложности. Если же хочется «всего и сразу» — и проброс, и беспроблемное переключение, — можно попробовать пробрасывать не напрямую, а через драйвер VFIO.

Unixoid

L X C

КОНТЕЙНЕРЫДЛЯВСЕХИКАЖДОГО

Об архитектуре LXC я писал не так давно, поэтому повторяться смысла нет. Лучше кратко рассказать о создании контейнера и некоторых полезных командах. Наиболее легким способом создать контейнер будет использование команды lxc-create:

$ sudo lxc-create -n ubuntu-container -t ubuntu

Она разворачивает с помощью debootstrap минимальную версию Ubuntu — причем по умолчанию используется та версия дистрибутива, которая стоит на хосте.

Для запуска же используем другую команду:

$ sudo lxc-start -n ubuntu-container -d

Эта команда запускает контейнер в фоновом режиме. Так что для подключения к нему уже нужно использовать команду lxc-console c тем же параметром. После этого можно работать с контейнером точно так же, как и со свежеустановленной системой. Для нормального завершения работы контейнера используй команду (на хосте) lxc-stop с параметром -s, для «жесткого» — ее же с параметром -k, а для уничтожения остановленного контейнера — lxc-destroy. Параметр имени контейнера обязателен для всех этих команд.

Теперь посмотрим конфиг данного контейнера, который находится в файле /var/lib/lxc/ubuntu-container/config. Он состоит из следующих ча-

стей: сеть, терминалы, безопасность (AppArmor) и устройства. Опишу парочку интересных опций, которые можно туда добавить:

•lxc.network.type — тип сети в контейнере. Значения могут быть следующими: veth — в контейнере создается интерфейс и связывается с бриджем на хосте, указываемом в параметре lxc.network.link; vlan и macvlan — аналогично (у последнего имеется несколько опций, но их описание выходит за рамки данной статьи); phys — физический интерфейс (опять же указывается в lxc.network.link);

Аппаратное обеспечение

•lxc.mount — указывает файл (формата fstab), в котором описано, что монтировать в контейнер;

•lxc.cap.drop — capabilities, которые будут отсутствовать в контейнере.

Еще раз отмечу, что LXC — технология крайне молодая. Так, User namespaces в их «завершенном» виде появились только в ядре 3.8, да и то включены они не везде. Однако технология эта уже может применяться для нужд пользователя, например, в прошлом номере мы писали о ее использовании для безопасного веб-серфинга.

Матрица виртуализации

ТРАДИЦИОННЫЙВЫБОРХОСТИНГОВ

OpenVZ является наиболее старой технологией контейнерной виртуализации на архитектуре PC — его прародитель, Virtuozzo, возник в 2001-м, еще до того, как в Solaris появились зоны и контейнеры.

Стоит рассказать об одной особенности OpenVZ, которой нет в аналогах, — vSwap. Допустим, у контейнера задан лимит памяти и некое приложение превысило его. В обычном случае приложение прибивается ядром и все его данные теряются. vSwap представляет собой оперативную память, замедленную в несколько раз, и при его использовании приложение, если превысит лимит, не прибивается ядром, а терпеливо ждет, когда память освободится.

Основное понятие в OpenVZ — VE (Virtual Environments, виртуальные окружения), аналог контейнеров. Их поддержка обеспечивается патчсетом, добавляющим ко множеству сущностей (процессы, сокеты...) поле VEID, которое идентифицирует контейнер. Стабильная версия данного патчсета на момент написания статьи поддерживала только ядро 2.6.32 (которое является основой для RHEL6-based-дистрибутивов). Это ограничивает его применение данными системами.

Конечно, пакет с OpenVZ-ядром есть и для Debian-based-систем, но RHELbased предпочтительнее — относительно них и будем рассматривать. К счастью, компилировать ядро и утилиты не нужно — есть уже готовые пакеты. Установим их, добавив предварительно репозиторий, и перезагрузимся на свежеустановленное ядро:

#wget -P /etc/yum.repos.d/ http://ftp.openvz.org/openvz.repo

#rpm --import http://ftp.openvz.org/RPM-GPG-Key-OpenVZ

#yum install vzkernel vzctl vzquota ploop

#reboot

Теперь сделаем контейнер с тем же самым CentOS. Для начала понадобится загрузить шаблон:

#wget -P /vz/template/cache/ http://download.openvz.org/ template/precreated/centos-6-x86.tar.gz

Затем введем собственно команды для его создания и запуска (адреса взяты с потолка):

#vzctl create 12 --ostemplate centos-6-x86

#vzctl set 12 --ipadd 10.20.30.5 --save

Сеть

Архитектура OpenVZ

#vzctl set 12 --nameserver 192.168.1.1 --save

#vzctl start 12

Для входа в оболочку контейнера нужно набрать команду vzctl enter 12, а для выхода exit — разработчики решили не мудрить с сочетаниями клавиш. Остановка же и уничтожение контейнеров осуществляются с помощью команд vzctl stop и vzctl destroy соответственно — конечно, с указанием его идентификатора.

В целом OpenVZ — более зрелое и отработанное решение, чем LXC. Кроме того, оно лучшее по производительности и масштабируемости в силу своей архитектуры. И действительно, огромное количество хостеров предоставляет VPS на его основе.

Создание и запуск контейнера OpenVZ

OPENVZ

SYN/ACK

Прощай, Nagios!

ПЕРВЫЙ ВЗГЛЯД НА ФРЕЙМВОРК МОНИТОРИНГА SENSU

Nomadic Las @ Flickr.com

Евгений Зобнин execbit.ru

Система мониторинга — один из ключевых компонентов сложных вычислительных систем, состоящих из множества серверов и сервисов. На протяжении многих лет стандартом де-факто в этой области был разработанный еще в прошлом веке Nagios, который прекрасно справляется со своей работой, но имеет явные проблемы с разрозненным API, медленным discovery и общей сложностью. Шон Портер (Sean Porter) решил исправить эти недочеты, написав новую систему мониторинга с нуля.

SENSU?

Sensu представляет собой monitoring router,

то есть фреймворк, обеспечивающий механизмы, необходимые для сбора и накопления статистики работы серверов. На каждом сервере запускается агент (клиент) Sensu, использующий набор скриптов для проверки работоспособности сервисов, их состояния и сбора любой другой информации. С помощью RabbitMQ вся эта информация передается скриптам-обработчикам (handler) на сервере, которые решают, что с ней делать. Обработчик может отправлять информацию в Pagerduty, IRC, Twitter, отдавать ее другой системе мониторинга/визуализации (Graphite, например) или сохранять в базу данных. Все скрипты проверки

иобработки могут быть написаны на любом языке

иобычно состоят из нескольких строк.

Sensu написан на Ruby и задействует в своей работе RabbitMQ и Redis. Он имеет простую,

Прощай, Nagios!

ориентированную на обмен сообщениями (вместо пулинга, как в Nagios) масштабируемую архитектуру с акцентом на облачные окружения. Sensu поддерживает API плагинов Nagios, что открывает доступ к огромному количеству разных видов проверок, а также из коробки умеет работать с системами автоматической конфигурации Puppet и Chef. Код системы насчитывает всего несколько тысяч строк кода.

КОМПОНЕНТЫSENSUИТЕРМИНОЛОГИЯ

Код Sensu разделен на несколько простых компонентов, каждый из которых в идеале должен работать на «своей» машине:

•Sensu server — центральный компонент Sensu. Задача сервера — сбор и хранение информации, полученной от клиентов (агентов), установленных на серверах, подлежащих мониторингу. Сервер инициирует соединение с каждым агентом и ждет от них сообщений с информацией, которую затем добавляет в базу данных Redis. По-хорошему Sensu server должен работать на выделенной машине.

•Sensu client — агент, собирающий информацию. Клиент должен быть запущен на каждой машине, которую необходимо мониторить. Его задача проста — запускать скрипты проверки и отправлять результат их работы серверу. Периодичность проверок может как быть задана сервером, так и определяться агентом (так называемые независимые проверки).

•Sensu API — сервер, реализующий REST API.

Нужен для отдачи накопленных сервером данных, а также данных топологии Sensu-сети для их последующей обработки и отображения. API может быть использован для принудительного запуска проверок и удаления агентов из сети. Обычно запускается на одной машине с сервером.

•Sensu dashboard — веб-панель управления. Необходима для отображения информации о структуре сети Sensu и данных мониторинга в удобном виде. Может быть запущена либо рядом с сервером, либо на выделенной машине. Использует Sensu API для коммуникации с сервером.

Для безопасного обмена данными между компонентами Sensu использует SSL-соединение поверх RabbitMQ и базовую HTTP-аутентификацию для доступа к API. Соединение между сервером и Redis не защищено, поэтому, если в сети предполагается использование нескольких Sensuсерверов и Redis будет вынесен на отдельную машину, потребуется ограничение доступа с помощью брандмауэра.

УСТАНОВКА

К сожалению, Sensu нет в официальных репозиториях Debian и Red Hat, но зато его авторы любезно подготовили DEB-, RPM- и даже MSI-пакеты. Рассмотрим установку на примере Debian/Ubuntu.

Добавляем ключ репозитория Sensu:

$wget -q http://repos.sensuapp.org/ apt/pubkey.gpg -O- | sudo apt-key add -

Добавляем репозиторий:

$ sudo -s

org/apt sensu main" > /etc/apt/

sources.list.d/sensu.list

Обновляем базу пакетов и устанавливаем:

#apt-get update

#apt-get install sensu

RabbitMQиRedis

В результате установки пакета мы должны получить полный комплект компонентов Sensu в каталоге /opt/sensu, а также набор init-скриптов в /etc/ init.d. Операцию установки необходимо выполнить как на машине-сервере (где будет работать Sensu server), так и на серверах, подлежащих мониторингу (где будет запущен Sensu client). Далее на машину-сервер следует установить RabbitMQ

и Redis.

Устанавливаем Erlang и RabbitMQ:

$ sudo -s

#apt-get -y install erlang-nox

#wget http://www.rabbitmq.com/ rabbitmq-signing-key-public.asc

#apt-key add rabbitmq-signing-key- public.asc

#apt-get update

#apt-get install rabbitmq-server

#update-rc.d rabbitmq-server defaults

#/etc/init.d/rabbitmq-server start

Устанавливаем Redis:

# apt-get install redis-server

SSL-сертификаты

На машине-сервере необходимо сгенерировать SSL-сертификаты, которые будут использоваться для общения с клиентами. Сделать это можно с помощью скрипта ssl_certs.sh:

#cd /tmp

#wget http://sensuapp.org/docs/0.12/ tools/ssl_certs.tar

#tar -xvf ssl_certs.tar

#cd ssl_certs

#./ssl_certs.sh generate

Копируем сертификаты в каталог /etc/ rabbitmq/ssl:

Схема работы

Sensu

INFO

Большинство стандартных плагинов Sensu имеют набор опций командной строки, а также справку, которая либо находится в начале исходника, либо доступна с помощью опции -h.

#mkdir -p /etc/rabbitmq/ssl

#cp sensu_ca/cacert.pem /etc/rabbitmq/ssl

#cp server/cert.pem /etc/rabbitmq/ssl

#cp server/key.pem /etc/rabbitmq/ssl

Создаем конфиг RabbitMQ (/etc/rabbitmq/ rabbitmq.config), который заставит его ожидать SSL-соединения на 5671-м порту:

[

{rabbit, [

{ssl_listeners, [5671]},

{ssl_options, [

{cacertfile,"/etc/rabbitmq/ssl/

cacert.pem"},

{certfile,"/etc/rabbitmq/ssl/cert.

pem"},

{keyfile,"/etc/rabbitmq/ssl/key.pem"},

{verify,verify_peer},

{fail_if_no_peer_cert,true}

]}

]}

]

Перезапускаем RabbitMQ:

# /etc/init.d/rabbitmq-server restart

Создаем vhost /sensu внутри RabbitMQ и от-

ветственного за него юзера sensu

rabbitmqctl add_vhost /sensu

rabbitmqctl add_user sensu ǯǠǰǮǫǼ

rabbitmqctl set_permissions -p

/sensu sensu ".*" ".*" ".*"

НАСТРОЙКА

Теперь у нас есть все необходимое, чтобы запустить сервер и агенты Sensu. Однако сначала нам необходимо создать конфиги. Их будет два: /etc/sensu/config.json — основной конфигураци-

онный файл сервера, в котором достаточно про-

писать порты и адреса RabbitMQ, Redis, Sensu API

и Sensu dashboard. В нашей конфигурации все эти компоненты будут работать на одной маши-

не. Второй конфиг: /etc/sensu/conf.d/client.json.

SYN/ACK

Его необходимо поместить как на Sensu-сервер, так и на машины-агенты. Содержимое первого конфига:

{

"rabbitmq": {

"ssl": {

"private_key_file":"/etc/sensu/ssl/

key.pem",

"cert_chain_file":"/etc/sensu/ssl/

cert.pem"

},

"port": 5671,

"host": "localhost",

"user": "sensu",

"password": "ǯǠǰǮǫǼ",

"vhost": "/sensu"

},

"redis": {

"host": "localhost",

"port": 6379

},

"api": {

"host": "localhost",

"port": 4567

},

"dashboard": {

"host": "localhost",

"port": 8080,

"user": "admin",

"password": "ǯǠǰǮǫǼ"

}

}

Здесь все стандартно, просто адреса, порты и пароли. Сертификаты, описанные в секции rabbitmq, были сгенерированы еще на прошлом шаге и доступны в каталогах /tmp/client/cert.pem и /tmp/client/key.pem. Их нужно всего лишь скопировать в каталог /etc/sensu/ssl/. Конфиг клиента совсем простой:

{

"client": {

"name": "ǯǰǮǨǧǢǮǫǼǭǮǥ-ǨǬǿ",

"address": "IP-ǠǤǰǥDZ",

"subscriptions": [ "all" ]

}

}

Этот конфиг нужно скопировать также на машины-агенты и придумать внятные имена для каждого (можно, например, использовать имя виртуальной машины или имя домена). Когда

все будет сделано, активируем серверные компоненты Sensu на машине-сервере.

#update-rc.d sensu-server defaults

#update-rc.d sensu-client defaults

#update-rc.d sensu-api defaults

#update-rc.d sensu-dashboard defaults

Запускаем:

#/etc/init.d/sensu-server start

#/etc/init.d/sensu-api start

#/etc/init.d/sensu-client start

#/etc/init.d/sensu-dashboard start

На машинах-агентах запускаем только клиент:

#update-rc.d sensu-client defaults

#/etc/init.d/sensu-client start

Для проверки работы заходим по адресу http://admin:ПАРОЛЬ@IP-АДРЕС-СЕРВЕРА:8080.

МОНИТОРИНГ

Sensu запущен и готов к работе, но из-за отсутствия скриптов проверки на агентах и обработчиков на сервере его КПД равен нулю. Чтобы это исправить, мы должны либо написать скрипты самостоятельно, либо воспользоваться уже готовыми плагинами. Первый вариант мы рассмотрим позже, а пока попробуем выполнить проверку с помощью плагинов. Для этого сначала установим на машину-агент набор хелперов, необходимых для их работы:

#gem install sensu-plugin --no-rdoc --no-ri

Далее выберем подходящий для нашей задачи плагин. Все официальные плагины Sensu располагаются в репозитории на GitHub (goo. gl/T23o32). Среди них есть, например, плагин apache-graphite.rb, который собирает статистику работы сервера с помощью mod_status и преобразует ее в формат Graphite; плагин checkdns.rb, который выполняет проверку работы

DNS-резолвинга с помощью dig; check-http.rb

для проверки доступности веб-сайтов и множество других.

Плагин check-procs.rb — один из самых простых и универсальных. Он проверяет наличие в системе процесса с заданным именем и возвращает информацию о нем обратно. Основная область применения данного плагина — проверка

сервисов на жизнеспособность. Попробуем использовать его для реализации простой проверки на то, что nginx еще не упал. Скачиваем плагин из репозитория на машину-агент:

#wget -O /etc/sensu/plugins/check- procs.rb https://raw.github.com/ sensu/sensu-community-plugins/master/ plugins/processes/check-procs.rb

#chmod 755 /etc/sensu/plugins/check- procs.rb

Далее возвращаемся на машину-сервер и создаем новый конфиг. Дадим ему имя /etc/ sensu/conf.d/check_nginx.json:

{

"checks": {

"nginx_check": {

"handlers": ["default"],

"command": "/etc/sensu/plugins/

check-procs.rb -p

nginx -C 1 ",

"interval": 60,

"subscribers": [ "webservers" ]

}

}

}

В целом все это означает, что каждые 60 секунд сервер будет отправлять клиентам, подписанным на канал "webservers", запрос на выпол-

нение команды «/etc/sensu/plugins/check-procs. rb -p nginx -C 1» и ожидать от них результат исполнения, который будет обработан дефолтовым скриптом-обработчиком. Чтобы машина-агент начала принимать эти запросы и обрабатывать их, мы должны немного изменить ее клиентский кон-

фиг (/etc/sensu/conf.d/client.json), добавив в него такую строку:

"subscriptions": [ "webservers" ]

Перезапускаем Sensu-сервер:

# /etc/init.d/sensu-server restart

и клиент на машине-агенте:

#/etc/init.d/sensu-client restart

Влогах /var/log/sensu/sensu-server.log (на сервере) и /var/log/sensu/sensu-client.log (на агенте)

должна появиться информация об активности,

Прощай, Nagios!

содержащая строки типа «[subscribe] -- received check request» и «[publisher] -- publishing check request». В том случае, если nginx упадет, в панели управления сразу появится предупреждающее сообщение, однако никаких оповещений по почте или другим средствам связи мы не получим. Это потому, что в качестве обработчика мы указали default, который, по сути, не делает ничего.

Чтобы получать уведомления удобным для нас способом, нужно создать обработчик. Как и в случае с проверками, это может быть скрипт, уже готовый плагин или даже просто консольная команда. Все официальные плагины хранятся во все том же репозитории на GitHub. Среди них можно найти, например, mailer.rb, позволяющий отправлять письма через указанный SMTP-сервер, irc.rb, отсылающий уведомления в указанный IRC-канал, twitter.rb и десятки других. Кроме оповещений, плагины могут формировать вывод для Graphit, Librato и других систем мониторинга.

Самый простой обработчик — это обычная консольная команда, которой через канал передается информация о событии. Можно, например, использовать команду mail, чтобы предупреждения уходили на указанный почтовый ящик. Для этого достаточно создать новый конфиг на сервере (/etc/sensu/conf.d/handler_email.json):

{

"handlers": {

"email": {

"type": "pipe",

"command": "mail -s 'sensu alert'

your@address"

}

}

}

Наверное, это самый простой обработчик из всех возможных. Чтобы наш плагин проверки nginx использовал его, достаточно изменить кон-

фиг /etc/sensu/conf.d/check_nginx.json, поставив вместо строки

"handlers": ["default"]

такую:

"handlers": ["default", "email"]

и перезапустить сервер Sensu:

# /etc/init.d/sensu-server restart

SYN/ACK

Беспроблемный откат

ВИДЫБЭКАПОВБАЗДАННЫХ

Для начала разберемся с тем, какие вообще бывают бэкапы. Сервер баз данных не является обычным десктопным приложением, и, чтобы обеспечить выполнение всех свойств ACID (Atomic, Consistency, Isolated, Durable), исполь-

зуется ряд технологий, а поэтому создание и восстановление БД из архива имеет свои особенности. Существуют три различных подхода к резервному копированию данных, каждый из которых имеет свои плюсы и минусы.

При логическом, или SQL, бэкапе (pg_dump, mysqldump, SQLCMD) создается мгновенный снимок содержимого базы с учетом транзакционной целостности и сохраняется в виде файла с SQL-командами (можно выбрать всю базу или отдельные таблицы), при помощи которого можно воссоздать базу данных на другом сервере. На это требуется время (особенно для больших баз) для сохранения и восстановления, поэтому очень часто эту операцию выполнять нельзя и ее производят во время минимальной нагрузки (например, ночью). При восстановлении

администратору необходимо будет выполнить несколько команд, чтобы подготовить все необходимое (создать пустую базу данных, учетные записи и прочее).

Физический бэкап (уровня файловой системы) — копирование файлов, которые СУБД использует для хранения данных в базе данных. Но при простом копировании игнорируются блокировки и транзакции, которые, скорее всего, будут неправильно сохранены и нарушены. При попытке присоединить этот файл он будет в несогласованном состоянии и приведет к ошибкам. Чтобы получить актуальный бэкап, базу данных нужно остановить (можно уменьшить время простоя, использовав два раза rsync — вначале на работающей, потом на остановленной). Недостаток этого метода очевиден — нельзя восстановить определенные данные, только всю базу данных. При старте БД, восстановленной из архива файловой системы, нужно будет провести проверку на целостность. Здесь используются разные вспомога-

тельные технологии. Например, в PostgreSQL логи упреждающей журнализации WAL (Write Ahead Logs) и специальная функция (Point in Time Recovery — PITR), позволяющая вернуться к определенному состоянию базы. С их помощью легко реализуется третий сценарий, когда бэкап уровня файловой системы объединяется с резервной копией WAL-файлов. Вначале восстанавливаем файлы резервной копии файловой системы, а затем при помощи WAL база приводится к актуальному состоянию. Это чуть более сложный подход для администрирования, но зато нет проблем с целостностью БД и восстановлением баз до определенного времени.

Логический бэкап используется в тех случаях, когда необходимо одноразово сделать полную копию базы или в повседневной эксплуатации для создания копии не потребуется много времени или места. Когда же выгрузка баз занимает много времени, следует обратить внимание на физическое архивирование.