книги хакеры / журнал хакер / 139_Optimized

Apache сразличнымиMPM-модулямивUbuntu

НастраиваемNginx

;Включаем оптимизатор кода eaccelerator.optimizer = "1"

;Перекомпилировать модифицированные скрипты eaccelerator.check_mtime = "1"

;Отключаем режим отладки eaccelerator.debug = "0"

;Кэшировать все файлы (пустой фильтр) eaccelerator.filter = ""

;Неограниченный размер кэша в памяти eaccelerator.shm_max = "0"

;В случае отсутствия места в кэше удалять объекты старше 1 часа (3600 секунд)

eaccelerator.shm_ttl = "3600" eaccelerator.shm_prune_period = "0"

;Кэшировать данные и в памяти, и на диске eaccelerator.shm_only = "0"

;Сжимать кэшированные данные с максимальным уровнем компрессии

eaccelerator.compress = "1" eaccelerator.compress_level = "9"

УСТАНОВКАNGINX

Будучипопулярным,большойдинамическийвеб-сайтможетсоздатьта- куюнагрузкунасервер,чтоApacheначнет«захлебыватьсяиплеваться».

Балансировка

RoundrobinDNS—одинизсамыхпростыхвидовбаланси- ровкинагрузки.Дляеереализациидостаточноприсвоить IP-адресадвухилиболеесервероводномудоменномуимени. Однако,естьисущественныйминус:еслиодинизсерверов выйдетизстроя,частьклиентоввсеравнобудутотправлены кнему.

phpinfo() дляeAccelerator

Иделотутдаженевтом,чтожелезонепозволяет,автяжеловесностиса- могоHTTP-сервера.Apacheотличноподходитдляотдачидинамического контента,однакобольшаячастьсовременныхвеб-страництакилииначе состоитизстатики,ииспользоватьдляихотдачимощный,сложныйи оченьтяжелыйHTTP-сервербылобытакжеглупо,какездитьнавездехо- деподорогамШвейцарии.МывоспользуемсялегковеснымHTTP-серве- ромNginxдляразгрузкиApacheиегоосвобожденияотнеблагодарного занятияотдачейстатическогоконтента.ВотличиеотApache,Nginx используетсобытийнуюмодельобработкизапросов,благодарячемуна любоеколичествоклиентовтребуетсявсегоодинпроцессHTTP-сервера. Этосущественноснижаетнагрузкунажелезо,носоздаетопределенные проблемыприобработкединамическогоконтента(именнопоэтомуего неиспользуютвкачествеосновногоHTTP-сервера).ОбычноNginxуста- навливаютнавыделеннуюмашину,котораясмотритвовнешнююсеть

èвыступаетвкачествепервогочекпоинтанапутиследованиязапросов, однакодопустимивариантсоднимфизическимсервером,когдаApache

èNginxкрутятсянаодноймашине.Остановимсянанем.Открываем файл/etc/apache2/ports.confиизменяемдвеопции:

NameVirtualHost *:81

Listen 81

ДалееустанавливаемNginx:

$ sudo apt-get install nginx

Открываемконфигурационныйфайлипишемвнегоследующее:

#vi/etc/nginx/nginx.conf

#Nginx-пользователь user www-data;

#Количество Nginx-процессов ставим равным количеству процессорных ядер

worker_processes 1;

error_log /var/log/nginx/error.log; pid /var/run/nginx.pid;

events {

worker_connections 1024;

}

http {

Создаемконфигнашегохоста:

#vi/etc/nginx/sites-enabled/host.com

server { listen 80;

server_name host.com;

access_log /var/log/nginx.access_log;

# Всю статику Nginx отдает самостоятельно location ~* \.(jpg|jpeg|gif|png|css|js|zip|

tgz|gz|rar|bz2|doc|xls|exe|pdf|ppt|tar|wav|bm p|rtf|swf|ico|flv|txt|xml|docx|xlsx)$ {

root /var/www/host.com/; index index.html index.php; access_log off;

expires 30d;

}

#Доступ к файлам типа .htaccess запрещен location ~ /\.ht {

deny all;

}

#Все запросы ко всему остальному контенту передаем Apache

location / {

proxy_pass http://127.0.0.1:81/; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-for $remote_

addr;

proxy_set_header Host $host; proxy_connect_timeout 60; proxy_send_timeout 90; proxy_read_timeout 90; proxy_redirect off; proxy_set_header Connection close; proxy_pass_header Content-Type;

proxy_pass_header Content-Disposition; proxy_pass_header Content-Length;

}

}

Все,перезапускаемApacheиNginx:

$ sudo service apache2 restart $ sudo service nginx restart

УСТАНОВКАMEMCACHED

Memcached—системакэшированияданныхвоперативной памяти,котораяможетбытьиспользованадляраспределенногохраненияиускорениядоступакданнымлюбоготипа.

Этоодноизсамыхпопулярныхрешенийвобластитотальной оптимизациивеб-сайтадлявысокихнагрузок,нетребую- щеенастройкиидолгогоизученияAPI.Обычноmemcached используется,таксказать,двумясторонами,однаизкоторых помещаетданныевкэш,адругая—извлекает.Ввеб-среде рольпервойстороныобычноиграетнебольшойPHP-скрипт, которыйзаписываетважные(сточкизренияскоростиотда- чи)данныевmemcached,втовремякаквтораясторона—это обычнолегковесныйфронт-эндсервер(какправило,nginx), использующийспециальныймодульдлячтенияиотдачи данныхизmemcached.Частоmemcachedиспользуетсядля кэшированиявсехстраницвеб-сайтацеликом,благодаря чемускоростьдоступакэтимстраницамвозрастаетнанесколькопорядков.Впростейшемслучаетакаяконфигурация выглядитследующимобразом:

1.Устанавливаетсяmemcached:

$ sudo apt-get install memcached

2.Всекциюserverконфигурационногофайлаnginx добавляетсяпримерноследующее:

#vi/etc/nginx/nginx.conf location / {

#Устанавливаем ключ memcached, равный запрашиваемому URI

set $memcached_key $uri;

#Адрес и порт демона memcached

memcached_pass 127.0.0.1:11211;

Nginx — гордостьотечества:)

#Заголовок по умолчанию default_type text/html;

#Если данные в кэше не найдены — запрашиваем их у бэк-

ýíäà

error_page 404 = /fallback;

}

location /fallback { proxy_pass backend;

}

3.ДляPHPустанавливаетсярасширениеmemcache(клиентк memcached):

$ sudo pecl install memcache

4.Встраницывстраиваетсяпримернотакойкод:

$vismaple.php

# Инициализация memcached опущена ob_start();

$html = ob_get_clean(); $memcache->set($_SERVER['REQUEST_URI'], $html); echo $html;

Всеэтоотличноработает,нотольковотношенииоченьпростых,почти статическихвеб-сайтов.Деловтом,чтостраницаневсегдадолжнабыть одинаковойдлявсехпосетителей.Чтоеслиглавнаястраницабудетзакэшированапривходенасайтгостя,апосленегонасайтпридетзарегистрированныйучастник,которомувновьпредложатзарегистрироваться. Непорядок.Однакоестьдостаточнопростойвыходизэтойситуации.

Проблемуможетрешитьпокрытаямхомипаутинойтехнологияпод названиемSSI(ServerSideIncludes).SSIпозволяетразбитьвеб-страницу нанесколькоблоков,которыебудутсобраныфронт-эндомвоединов моментобработкизапросаклиента.Например,используяSSI,тыделишь главнуюстраницувеб-сайтанадвечасти:

#vi/var/www/index.php

<html>

<body>

memcached

Приналичиидостаточнобольшихобъемовпамятихорошей практикойбудетзапускдемонаmemcachedсфлагом'-L'.

Врезультатедемонзаранееподготовиткиспользованию всювыделеннуюемупамять.Этонемногоподниметобщую производительностьработыmemcachedзасчетисключения необходимостипроизводитьпостоянныевыделенияпамяти вовремяработы.

Слоеныйпирогтипичноговеб-сайта

<!--# include virtual="/auth.php" --> <!--# include virtual="/body.php" --> </body>

</html>

Эторовнотажестраница,кодаутентификациикоторойвынесенвфайл auth.php,авсяостальнаячасть—вbody.php.Изюминкажезаключается втом,чтоприведенныйвышевчетвертомшагекодкэшированияты помещаешьтолькововторойизэтихфайлов.Какрезультатвырисовываетсяследующаякартина:

1.Человекприходитнасайтвпервыйраз.Происходитзапросглавной страницывеб-сайтакnginx.

2.Серверnginxзапрашиваетфайлindex.phpубэк-энда(Apache),встре- чаетвнутринегоSSI-директивыиделаетеще*2*запросакбэк-энду (auth.phpиbody.php).

3.Получивзапросы,ApacheзапускаетPHP-интерпретатордляобработки запрашиваемыхфайлов,врезультатечего(кромевсегопрочего)содержимоетяжелогофайлаbody.phpпопадаетвкэшmemcached.

4.Ответвозвращаетсяnginx,которыйобъединяетфайлыводинindex. phpиотдаетихклиенту.

5.Послеэтогонасайтприходитзарегистрированныйучастник,происхо- дитзапросindex.phpубэк-энда(хотя,скореевсего,онбудетвзятизкэша самогоnginx),однакокApacheуйдеттолькозапроспростогоилегкого auth.php,тогдакакbody.phpбудетвзятизкэшаmemcached.

Самособойразумеется,SSIнеобходимоактивироватьвконфигурационномфайлеnginxспомощьюопции«ssion»,помещеннойвсекцию «location/».Стоитотметить,чтоблокauth.phpтакжеподдаетсякэшированию,нодляэтогопридетсяприсваиватьвсемзарегистрированным пользователямидентификатор,сохранятьеговкукисахииспользовать длягенерацииуникальногоключаmemcached.

КЛИЕНТСКАЯОПТИМИЗАЦИЯ

Этастатьяпосвященасервернойоптимизациивеб-сайтов,однакобыло быкощунствомнерассказатьиоклиентскойчастиэтогопроцесса.Поэтомумыкраткопробежимсяпоспискурекомендаций,направленныхна минимизациюобщегообъемапередаваемыхданных:

1.Используйgzipилиdeflateдлясжатиястранициданных.Дляэтого можнозадействоватьмодулиHTTP-серверов:ngx_http_gzip_moduleдля nginx,mod_compressдляlighttpdиmod_deflateдляApache.

2.Используйупаковщикидляоптимизациииудалениялишнегомусора изHTMLиJavaScript(обычноониудаляютвсекомментарииипробелы, заменяютименанаболеекороткиеит.д.,например,web-optimizator, code.google.com/p/web-optimizator).

3.ВыносиCSSиJavaScript-кодвотдельныефайлы,тогдаонисмогутбыть закэшированыбраузеромипримененыкдругимстраницам(такжеих можноразместитьнаотдельномсервере,чтобыихзагрузкапроисходила параллельно).

4.Дляболееплавнойикорректнойзагрузкистраницыбраузеромраз- местизагрузкуCSSвначалестраницы,аJavaScript—вконце.

6.НезабывайустанавливатьзаголовкиExpiresиCache-control,чтобы CSSиJavaScriptмоглибытьзакэшированыбраузером.

7.НеприменяйJPGиPNGтогда,когдаможнообойтисьGIF(например, длямелкихиконок).z

Рыноквиртуализацииразвиваетсястремительнымитемпами,засветилисьпрактическивсекрупныеразработчикиПО:Microsoft,Oracle Corporation,Parallels,VMwareимногиедругие.Очевидно,чтоборьба разгореласьнешуточная,исамыйжирныйкусокпирогасможетоторвать тот,ктопредложитчто-топринципиальнолучшееиболеефункцио- нальное.Учитывая,чтомногиепользователииорганизациивыбирают вместопокупкиприложенийихоблачныйаналог(SaaS,Softwareasa service,Программноеобеспечениекакуслуга),особоеместосредисистемвиртуализациизанимаютрешения,ориентированныенаоблачные вычисления.ТакиекакVMwarevSphere.

НАЗНАЧЕНИЕVSPHERE

ОфициальноисторияVMwarevSphere(www.vmware.com/products/ vsphere)началасьчутьбольшегоданазад,вконцеапреля2009года. Решениевозниклоненапустомместе,апришлонасменуплатформе виртуализацииVMwareVirtualInfrastructure,наработкикоторойибыли использованы.vSphereпозволяетбыстроразвернутьнадежнуюотказоустойчивуюинфраструктуру,объединитьвиртуальныесистемы,сетии хранилищавединыепулыресурсов,сделатьрабочуюсредумаксимально устойчивойиуправляемой.Многиеспециалистыназываютеепервой истиннооблачнойоперационкой.Ивотпочему.СегоднячтобыприложениезаработаловоблачнойсредеGoogle,MicrosoftAzureилиAmazon,его коднужнопереписатьдляних,либосоздатьснуля.vSphereжепризвана перенестиисполнениеприложенийвоблакомаксимальноестественным ибезболезненнымдляпрограммиста,администратораипользователя образом.Тепрограммы,которыеужесейчасработаютподуправлением ПОVMware,фактическиоказываютсяготовымикмиграциивоблакобез нуждывкакихбытонибылопатчахимодификациях.

Списоквозможностейпродуктаоченьбольшой,выделимтолькосамые примечательныеизних:

•VMwarevStorageThinProvisioning—экономиядисковогопространс- тва;используетсятолькореальнонеобходимыйобъем;

•VMwareVMsafe—высоконадежнаякластернаяфайловаясистема, используемаядляхранениявиртуальныхмашин;

•VMwareAPIvStorageиvCenterDataRecovery—централизованное резервноекопированиеивосстановлениеVMизграфическойконсоли;

•VMwareHotAdd—«горячеедобавление»устройствбезостановки виртуальноймашины;

•VMwareDistributedPowerManagement—управлениеэлектропотребле- нием,позволяющеесущественносократитьрасходы;

•VMwareHostProfiles—интерфейсуправления,позволяющийцентра-

лизованнонастраиватьузлыVMwareESX/ESXiиконтролироватьустановкинасоответствиеполитикам.ПлюсуемсюдакомпонентvNetwork, обеспечивающийцентрализованноеуправлениевиртуальнойсетью, средства«горячей»миграции—VMwareVMotion,кластеризации— HighAvailabilityивысокойдоступности—FaultTolerance,балансировки нагрузки—VMwareDRS,атакжеподдержкутехнологииперемещения виртуальныхдисков—StorageVMotion.Причемэкономияприисполь- зованииvSphereдостигаетсяизасчеттого,чтодлянекоторыхопераций (например,резервирования)ужененужнозакупатьпродуктстороннего разработчика(скажем,VeeamBackup,www.veeam.com).ПоддерживаютсяограничениявпотребленииCPU,RAMкакдляпуловресурсов (ResourcePool),такидляотдельныххостовсвозможностьюгарантированноговыделенияресурсов(Reservation).ПолныйсписокОС,накоторыхмогутработатьразныепродуктыVMware,представленнастранице VMwareCompatibilityGuide,заявленаподдержкавсехпопулярныхсегод- нясистем—Windowsиварианты*nix.ВvSphere,посравнениюсVirtual Infrastructure,изменилсяипорядоклицензирования,которыйсталчуть гибче,таккактеперьлицензиярассчитываетсяпочислупроцессоров(их количествовбиваетсявключ);ранеепривязкашлакпареCPU.Причем есликоличествоядернепревышает6(вверсияхAdvancedиEnterprise Plus—12),тодополнительнаяоплатанепотребуется.Вразгаркризиса такойподходтолькоприветствуется,ведьприпринятиирешенияопереходенавиртуальныемашиныучитываютсядесяткикритериев.

VMwarevSphereсостоитизследующихкомпонентов:

•гипервизоровVMwareESXи/илиVMwareESXi(собственнонанихвсеи работает);

•VMwarevCenterServerAgent,обеспечивающегоподключениегипер- визоровкцентрууправленияVMwarevCenterServer(ранее—VMware VirtualCenterServer);

•самогоvCenterServer,отвечающегозаразвертывание,централизованныйменеджментиобеспечениедоступа(приобретаетсяотдельно);

•прочихкомпонентов,обеспечивающихосновныевозможности,состав которыхварьируетсявзависимостиотвыбраннойлицензии.

НамоментнаписанияэтихстрокнасайтеVMwareпоявиласьверсия vSphere4update2,ееибудемпрепарировать.

РАЗВЕРТЫВАНИЕVSPHERE

Покачитаешьописание,перваямысль,котораяприходитвголову новичку—этооченьсложно.Насамомделепривнимательномподходе ивыполнениивсехтребованийпроцессразвертыванияипоследующего добавленияхостовиVMвесьмапрозрачен.

ЧтобыустановитьvSphere,надовыполнитьрядтребований ипройтинесколькошагов:

•сверитьимеющеесяоборудованиесоспискомVMware HardwareCompatibilityList;

•проинсталлироватьVMwarevSphereESX/ESXiServerна физическихсерверах(2х2Гц64bitCPU,2+ГбRAM,2+Гб HDD);

•установитьVMwarevCenterServerиvSphereClientдля управленияESX(i)-серверами;

•настроитьсетьхраненияданныхSAN;

•развернутьклиентскиеОСввиртуальныхсредах.

Вышепоказанытолькоосновныешаги,каждыйэтаптребует

èпромежуточныхнастроек(настройкасети,SAN,при необходимостиActiveDirectoryитакдалее).Некоторыеиз этихмоментовоченьподробноописанывдокументации, которуюможнонайтипоадресуwww.vmware.com/support/ pubs/vs_pubs.html.Вкратцеразберемосновныевопросыпо настройкеиуправлениюvSphere,чтобынагляднопредставить,счемимеемдело.Настраницезакачки,которая будетдоступнапослерегистрации,выбираемдляустановки гипервизорESXилиVMwareESXi,VMwarevCenterServer(в видеISO-образаилиzip-архива).Плюсздесьжеопциональ- ныекомпоненты:ServerHeartbeat,DataRecovery(CDISO)

èvShieldZones.Длянебольшихорганизаций,вероятно, большеподходитбесплатнаяплатформаVMwareESXi,обладающаявсеминеобходимымивозможностями.Сначала разворачиваемVMwareESXилиESXi,учитывая,чтоихосно- ва—Linux(хотяинесколькоурезанный),установкуможно назватьстандартной,ипроблемонаобычноневызывает. Простоследуемуказаниямвизарда:принимаемлицензию, настраиваемсетьивыбираемдиск.Послеперезагрузкимы можемуправлятьгипервизоромизконсоли,черезвеб-ин- терфейсилиустановивvSphereClient.Последнийможноска- чатьсвеб-страницывиртуальноймашины,адрескоторой будетдоступенпослеустановкиESX(i)иливvCenter. Следующийшаг—установкаVMwarevCenterнакомпьютер подуправлениемWindows.Упоминанийоверсиинасайте найтинеудалось,ноцентрбезпроблемвсталкакнаXP,так

èна2k8R2.ВседанныеvCenterхранитвбазеданных,для небольшихсред(5физических,50виртуальныхмашин)

можноиспользоватьMicrosoftSQLServer2005Express, которыйидетсустановочнымархивомипредлагается поумолчанию.Иначевпроцессеустановкинужнобудет настроитьподключениекСУБД.Еслихостовнемного(до

250),томожнообойтисьи32-битнойверсией.Резюме:для небольшогоколичествасерверовдостаточноклиентской 32-битнойXPсбесплатнымSQLExpress,вболеемощных конфигурацияхпридетсяразворачиватьсерверс64-битной ОСьюиSQL-сервером.СкачиваемISO-образилиzip-архив, запускаемустановочныйфайливокнемастеравыбираем ссылкуvCenterServer.Кслову,архивсодержитдистрибутивыинекоторыхдругихпродуктов:vSphereClient,vCenter GuidedConsolidation,vCenterUpdateManager,vCenter Converter,vCenterOrchestratorиVMwareConsolidated Backup.Языкинсталлятора—английский.Вовремя инициализацииустановочногоскриптабудутпроизведены проверкинасовместимостьи,вслучаенесоответствия,выданырекомендации.Например,таккакvCenterиспользует свойвеб-сервер,онбудетконфликтоватьсустановленным IISпопортам.Хотявпроцессеможноизменитьнастройки, указавпортпоумолчаниюдлябольшинствасервисов:http, https,LDAP,SSL,heartbeat.Пакетсамодостаточен,есличеготобудетнехватать,всенеобходимое(.Net,J#идр.)мастер доустановитавтоматически.НесколькосерверовvCenter можнообъединитьвсвязаннуюгруппу(LinkedMode)и управлятьзатемвсеминастройкамивиртуальныхмашинс любогокомпавсети.Поумолчаниюпредлагаетсяstandalone установка,ноустановивнашаге«vCenterServerLinked ModeOptions»переключательвположение«JoinaVMware vCenterServergroup...» мыможемсразуподключитьсякуже существующейгруппесерверовvCenter.Вот,собственно,и всяустановкасервера.Некотороевремяждем,покамастер настроитсервисы,сгенерируетсертификатыископирует файлы.Поокончаниианалогичноустанавливаемостальные компоненты,доступныевокнеvCenterInstaller,если,конеч- но,вэтоместьнеобходимость.Опятьже,ихнеобязательно ставитьнаодинитотжекомп,хотятакобычноудобнее. ПриустановкеvCenterUpdateManager(vCUM)указываем IP-адрессервераvCenterиучетныеданныедлядоступа.В качествебазыданных,ккоторойнеобходимоподключиться,

HTTP://WWW

links

•СтраницаVMware vSphere—vmware. com/products/vsphere

•Документацияпо установкеразличных компонентовvSphere

—vmware.com/ support/pubs/vs_pubs. html.

•Проверить

64-битностьCPU- хостовможнопри помощиутилитыCPU Identification,разме-

щеннойнастранице www.vmware.com/ download/shared_ utilities.html.