В Enterprise системах надежность и минимизация времени простоя ставятся во главу угла. Кластерные системы это. конечно. замечательно, но в некоторых случаях использование кластеров невозможно. Это могут быть как софтверные ограничения, так и политика компании. Например, наши ДБА отказались от использования кластеров Oracle по причине некоторых ограничений в используемых приложениях (не совсем корректная работа с ДБ в режиме кластера).

Но что делать, если отдельный бокс (blade) вдруг поломается? Техника HP, конечно, весьма надежная, но, в моей практике был случай, когда блейд через почти два года аптайма повис и управлять им было невозможно до тех пор, пока его физически не вытащили из гнезда и не поставили на место. Все бы ничего, но до датацентра из самой ближней точки полтора часа на машине. Даунтайм совершенно неприемлемый.

Конечно, можно (и нужно) ставить "запасной" (standby) сервер. Вот только для его активации нужно время - перенастроить database, перенстроить приложения (а их очень немало).

И дело не только в аварии. Штатная операция по апгрейду (смене блейдов) выливается в массу затраченного времени, связанного с инсталляцией нового сервера. перенастройкой на него приложений, проверке всего и т.д. Идеально было бы просто переставить диски из старого сервера в новый, но так поступить нельзя по ряду причин (например, важная причина: старые диски уже отработали пару лет и неизвестно, сколько они проработают еще)

Ок, что же мы можем предпринять?

Читать далее о "RHEL 5 SAN boot: подготовка HP ProLiant BL465c G7 к загрузке с SAN" »

В связи с изменениями в оборудовании (пора, пора апгрейдиться ) пришлось менять и схему бондинга.
Мы перешли на HP Proliant 645c G7 (блейды-"половинки") и Flex-10 карты. Особенности такого оборудования - на бокс выделяется две физических сетевушки и шесть виртуальных (всего восемь), между которыми делится скорость в 10+10Gbit. Вполне очевидно, что оптимальная схема включения - две карты по 10Gbit.

В этой связи смысл привязывать свой VLAN к каждой карте ( как это описано в предыдущей статье ) несколько теряется. зато появляется возможность значительно упростить схему подключения, сведя ее к классической "active-backup".

Основная задача все та же - если у нас вылетает один сетефой интефейс (один flex-10), все должно работать

Итак, начнем.

Читать далее о "Bonding в RHEL. Новые горизонты " »

Как известно, технология быстрой установки по сценарию (kickstart) позволяет сэкономить системному администратору массу времени. Я активно использовал эту технологию при установке виртуалок на VMware, но. к сожалению, у Citrix Xen это не совсем тривиальная задача. Проблема осложняется еще тем, что Citrix по непонятной причине не поддерживает PXE boot для PV VM.

Процедура установки по сети и использования kickstart есть в документации на Citrix XenServer. Я опишу просто способ, как наиболее быстро и легко в окружении. подобном моему, это реализовать, и некоторые тонкости.

Итак, окружение:

• в сети есть DHCP сервер
• в сети есть сторадж, доступный по NFS и FTP. Строго говоря, достаточно и FTP, просто по NFS установка происходит заметно быстрее
• есть хост с установленным Citrix XenServer версии 5.6 (я использую последнюю на текущий момент версию 5.6.100 SP2)
• есть хост, на котором запущен XenCenter (им просто удобно пользоваться)

Читать далее о "Citrix Xen: инсталляция RedHat по сети при помощи kickstart" »

В Xen столкнулся с проблемой. Создаем новую VM, запускаем инсталляцию и тут по какой-то причине ее приходится прервать (ну, например, изменить параметры загрузчика или вообще не ту версию linux надо ставить). Если просто перезагрузить VM, то она уже не желает грузиться с DVD образа, а сообщает об ошибке: Failed: WARNING: /dev/xvda is not a disk image

Проблема связана с pygrub. Лечится очень просто. Нам понадобится uuid VM (можно посмотреть либо в Xencenter или другой GUI тулзе либо через команду xe). Логинимся на консоль сервера. Далее исправляем содержимое параметра PV-bootloader:

xe vm-param-set uuid=<VM UUID> PV-bootloader=eliloader


Как я уже писал в предыдущей статье мне придется переезжать с VMware. А что делать с виртуалками? Не переставлять же все - у меня их десятки, я полгода переносить буду (с учетом того, что их еще проверить нужно после переинсталляции).

Более логичным и правильным было бы перенести виртуалки через экспорт-импорт. Следует обратить внимание, что, если не соблюдать процедуру, а попытаться просто сделать экпорт виртуалки а потом ее импорт через XenConvert, виртуалка запуститься в HVM-режиме (полная виртуализация). Это-во-первых, замедлит работу виртуальной машины. Во-вторых, у меня обнаружилась бага - если на эту виртуалку подать сеть, подключенную через транк (VLAN) то внутри виртуалки сетевой интерфейс работает некорректно и пользоваться им невозможно.
Поэтому категорически рекомендую использовать паравиртуализацию.

Решение задачи есть на форуме Citrix, я воспользовался именно им, с небольшим уточнением.

Итак, приступим.

Я подразумеваю, что, раз уж админ пользовался VMware, то у него обязательно есть установленный Windows-хост, расположенный где-то рядом с гипервизорами. Тем более, что для CitrixXen понадобится XenCenter, который тоже написан под Windows.

Перво-наперво нам понадобиться пойти на сайт Citrix и вытащить свежую версию XenConvert. Нюанс заключается в том, что только самая последняя версия умеет корректно импортировать виртуалки с гостевой OS Linux (да и то - там все равно нужно делять ряд действий). Подходящая версия - на ниже 2.3.1.2654. Именно эта версия позволила мне произвести конвертацию.

Читать далее о "Перенос виртуальных серверов VMware на XenServer для Linux guest" »

Пришло время апргейда железа. И оказалось, что гипервизор VMware 3.5 не работает с новыми боксами (мы взяли ProLiant BL465c G7, а с ними работает только VMware4). Фришная лицензия от VMware vSphere 4 тоже не подошла - там держатся только 2 физических CPU максимум по 6 core и не более 4х виртуальных CPU.

И серьезно стал вопрос о выборе нового гипервизора. Реально имеем две альтернативы - Xen (Citrix и XCP) и RHEV (KVM). Свое мнение про них и сравнительный анализ я напишу позже, когда все эксперименты закончатся и будет сделан выбор.

Пока в данной статье я опишу "кусочек" экспериментов. Мне понадобилось изменить размер shared SAN partition на Citrix Xen 5.6 FP1 - на раздел не помещаются снапшоты, а без снапшотов нормально бекап не провести - нужно останавливать виртуалку, что неприемлемо.

Разумеется, изменение размера нужно делать "на лету". Забегая немного вперед, отмечу, что мне удалось сделать это, даже не останавливая виртуалку, запущенную на этом томе!. Честно говоря, дисковой активности в виртуалке не было, т.е. эксперимент не совсем "чистый". И Citrix честно предупреждают, что рекомендуют все-таки виртуалку останавливать "во избежании". Полагаю, что все-таки можно производить ресайз раздела и без остановки, если активность диска низкая. Как-нибудь при возможности попробую провести эксперимент.

Но вернемся к задаче.

Читать далее о "Изменение размеров shared storage в Citrix Xen “на лету”" »

После статьи Обеспечение безотказной работы сети в RedHat Linux (bonding) для нескольких IP сетей прошло достаточно много времени, а тут мне (точнее начальству) приспичило сделать супер безотказную сетку

По "свежим следам", пока помню, опишу, т.к. задача была чуть более сложная, чем описано ранее, и как результат, проявились отличия.

Итак, постановка задачи:

• Имеем бокс с четырмя сетевыми картами подключенные к двум свичам
• Имеем две сети (два VLAN'а)
• Задача: пока жив хоть один свич и один порт, все должно работать

Собственно, задача ненамного сложнее, чем описанная в предыдущей статье про bonding.
Но есть и различия.

Читать далее о "Безотказная работа сети (network bonding) в Redhat - реализация (продолжение)" »

Переезжаем на SVN. Всякие преимущества по сравнению с CVS расписывать не буду - в инете навалом.
Опишу несколько тонкостей и граблей. с которыми столкнулся.

Перво-наперво описание задачи.
Очевидные требования: криптование, централизованная авторизация.

После ряда размышлений остановился на связке SVN поверх HTTPS в связке с LDAP.
svn+ssh неудобно администрировать при большом количестве девелоперов и не-девелоперов, кому нужен доступ (анонимного доступа к репо нет)
Да и с LDAP там не так просто - на консоль сервера девелоперов пускать не стоит.

Первый этап - конфигурация Apache + SVN + LDAP. SSL коснемся отдельно - там закопаны здоровенные грабли. которые у меня отняли с неделю разборок

Читать далее о "Subversion поверх HTTPS с авторизацией в LDAP - проблемы настройки и скорости" »

На днях для нужд местного офиса собирали NAS.

От FreeNAS пришлось отказаться по двум серьезным причинам:

• Не умеет Active Directory. Хотя в тамошнем FAQ и написано. что кому-то как-то удалось прикрутиться, но официально поддержка не заявлена
• Файловая система не журналируемая

Рассматривали NexentaStor, штучка симпатишная. Возникли траблы при подключении к AD, нормально не удалось подключиться к контроллеру на база W2k8

Остановились пока на OpenFiler. В нем свои грабли, разумеется, тоже есть.

Читать далее о "NAS Openfiler - установка на USB flash в зеркале" »

Ставил tomcat6. Возникла небольшая проблема - не активировался apr, в логах ошибка:

INFO: The APR based Apache Tomcat Native library which allows optimal performance in production environments was not found on the java.library.path


Простая доустановка libapr-1 ( пакет apr ) не помогает, tomcat все равно не хочет работать
Погуглил. Как-то все невнятно описано, пришлось глубже разбираться.

Читать далее о "Tomcat 6 - включение APR и управление web приложениями" »

Проявились проблемы на FC HBA. Поддержка HP запросила понизить скорость до 2Gbit на HBA адаптере.
Можно сделать как на лету, так и параметрами модуля.

Для модуля в /etc/modprobe.conf к строке options lpfc добавляем параметр lpfc_link_speed=N, где N может принимать значения 0,1,2,4,8.

0 - автоопределение (по умолчанию),
1,2,4,8 - заданная скорость порта

Для изменения "на лету" нужно воспользоваться sysfs. Даем команду
# echo N > /sys/class/scsi_host/hostM/lpfc_link_speed
где N принимает те же значения, что и для параметра модуля, а M - номер адаптера

PS. Посмотреть текущую скорость можно командой:
# cat /sys/class/fc_host/hostM/speed
а список поддерживаемых скоростей командой
# cat /sys/class/fc_host/hostM/supported_speeds

Достаточно частая задача - увеличить размер диска, выделенного на SAN
Как правило ко мне с такой задачкой регулярно обращаются DBA, когда их база в очередной раз норовит заполнить выделенное пространство
Разумеется, никто не мешает поступить максимально просто - выделисть новый виртуальный диск на SAN, подключить его скопировать данные на новое место. Однако, для больших дисков (а для баз данных 100-200 гигабайт это вполне заурядный размер) это занимает массу времени. А если нужно проделать операцию для 2х-5ти серверов?

Гораздо быстрее будет увеличить виртуальный диск средствами SAN, а потом изменить размер FS средствами OS.
Делается это очень просто. Рассмотрим случай для RHEL 5

Читать далее о "SAN storage - изменение размера диска (RHEL5)" »

Очень часто нужно быстро посмотреть WWN FC HBA адаптера (когда добавляешь хост в SAN)
И, как обычно, забываешь, где

Подсказка (для Emulex точно, для остальных похоже тоже ):

# cat /sys/class/fc_host/host0/port_name


Начиная с версии RHEL 5.3 и выше HP перестали делать свой драйвер multipulse и используют стандартный multipath.
Поэтому возникла проблема - схема рескана разделов , как описано ранее в статье уже не проходит. Как правило, данная задача нужна для resize (изменения размера) раздела (тома)

Теперь нужно действовать по следующей схеме (рассматривается случай с Emulex HBA, впрочем, с Qlogic будет почти также, изменятся только некоторые пути. У меня на блейдах по два адаптера, если их больше-меньше, будет небольшая разница в командах - по количеству адаптеров):

Читать далее о "Rescan SAN разделов - случай с multipath" »

Памятка для себя - как сделать свою сборку RHEL с нужным набором rpm

Читать далее о "Памятка - как сделать custom RedHat iso образ" »