Добрый день.Хочу обсудить схему организации кластера виртуализации.
Надо на 10 серверах запустить около 20 вирт. машин с перезапуском при отказе хоста. Везде debian. Предполагается использовать в качестве общего хранилища NAS или SAN.
Смотрел Opennebula и Proxmox VE, подходящее ПО для этих задач.
Но надо решить одну проблему, это возможный выход из строя общего хранилища. Решения в железе не по бюджету. Бэкап всех машин на другое хранилище может производиться не часто, что вызывает потери данных за этот промежуток. Интересует live репликация. DRBR на СХД не запустить, если что-то свое на базе сервера не мастерить.
Есть идея подключать к виртуальной машине диски с разных хранилищ и собирать их в raid 1.
Такой подход увеличивает нагрузку на каналы при записи в 2 раза и уменьшает в 2 раза на хранилище при чтении. Но какое ПО поддерживает работу и запуск вирт. машин при отказе одного из дисков(хранилища)?Прошу советов по решению данных вопросов.
Советую посмотреть в сторону кластерных файловых системhttp://www.gluster.org/download/
для сравнения
http://wt.knc.ru/wiki/index.php/%D0%9F%D1...
>[оверквотинг удален]
> Решения в железе не по бюджету. Бэкап всех машин на другое
> хранилище может производиться не часто, что вызывает потери данных за этот
> промежуток. Интересует live репликация. DRBR на СХД не запустить, если что-то
> свое на базе сервера не мастерить.
> Есть идея подключать к виртуальной машине диски с разных хранилищ и собирать
> их в raid 1.
> Такой подход увеличивает нагрузку на каналы при записи в 2 раза и
> уменьшает в 2 раза на хранилище при чтении. Но какое ПО
> поддерживает работу и запуск вирт. машин при отказе одного из дисков(хранилища)?
> Прошу советов по решению данных вопросов.
С ними знаком.
Как предполагается использование этих ФС?
Вместе в СХД можно использовать кластерные фс Lustre, ocfs2, gfs но они не реплицируют.
У распределенных MooseFS, GlusterFS есть репликация, но как увязать с хранилищами?
В каком виде данные?
Насчет вашего бюджета не знаю, поэтому не ясно, рассматривается ли покупка 2-х СХД со встроеной репликацией. Это первое возможное решение. Но тут вы полностью в зависимость от так любимых тут "проприетерастов" попадаете.Если не проприетарная СХД, то по какому конкретно протоколу хочется подключить хранилище?
При т.н. "SAN" это видимо будет iSCSI. (Второе возможное решение)
При т.н. "NAS" это видимо будет NFS. (Третье возможное решение)Во всех трех случаях ответьте себе на вопрос, как вы будете обеспечивать 100 % HA для хранилища. В первом варианте надо закладываться на весьма нехилый бюджет. Во втором и третьем надо искать кластерную/распределенную ФС со встроенным NFS и/или iSCSI сервером, да еще и чтобы он тоже был HA. Могу ошибаться, но задача тоже нетривиальная. Или надо тогда искать кластерную/распределенную ФС, кот. при этом POSIX-совместимая, чтобы ее можно было монтировать и расшаривать по NFS. Тут придется тоже решать вопрос HA для NFS сервера.
Ну и надо ответить на вопрос, точно ли хотите 100% HA хранилище, или таки достаточно репликации и перемонтирования хранилища вручную. Это по сути поиск компромисса между бюджетом и тем, сколько времени простоя допускается.
Ну и последний вопрос, кот. вам надо бы оценить - есть у вас прикидки, какой I/O все эти машины выдать могут. Т.к. если он большой, то:
в первом случае по оцененному I/O проприетерасты выдадут вам потребное аппаратное решение и его цену :).
во втором и третьем вы просто можете поставить раком свое хранилище и все встанет. В зависимости от того, что именно машины делают, может будет можно разбить их на 2 "острова" по 5 серверов + реплицируемое хранилище в каждом и таким образом в случае вылета одного хранилица иметь хотя бы половину вычислительной мощности и отсутствие простоя. Если нельзя разбить, то надо думать по конфигурации NFS/iSCSI сервера.Че то много уже написал. :) Дальше рассуждать по выбору аппаратной/программной части можно еще больше, но пока пожалуй хватит. :)
Спасибо за такой развернутый ответ.> Насчет вашего бюджета не знаю, поэтому не ясно, рассматривается ли покупка 2-х
> СХД со встроеной репликацией. Это первое возможное решение. Но тут вы
> полностью в зависимость от так любимых тут "проприетерастов" попадаете.Бюджет меньше 1 м.р. на всю СХД.
> Если не проприетарная СХД, то по какому конкретно протоколу хочется подключить хранилище?
> При т.н. "SAN" это видимо будет iSCSI. (Второе возможное решение)Либо SAS или FC.
> При т.н. "NAS" это видимо будет NFS. (Третье возможное решение)
NAS не планировался, но NFS используется и возможно лучше если он будет напрямую с хранилища.
>[оверквотинг удален]
> 100 % HA для хранилища. В первом варианте надо закладываться на
> весьма нехилый бюджет. Во втором и третьем надо искать кластерную/распределенную ФС
> со встроенным NFS и/или iSCSI сервером, да еще и чтобы он
> тоже был HA. Могу ошибаться, но задача тоже нетривиальная. Или надо
> тогда искать кластерную/распределенную ФС, кот. при этом POSIX-совместимая, чтобы ее можно
> было монтировать и расшаривать по NFS. Тут придется тоже решать вопрос
> HA для NFS сервера.
> Ну и надо ответить на вопрос, точно ли хотите 100% HA хранилище,
> или таки достаточно репликации и перемонтирования хранилища вручную. Это по сути
> поиск компромисса между бюджетом и тем, сколько времени простоя допускается.Если бюджета не хватит, то можно обойтись и репликацией с простоем до 2х часов. Но отката данных быть не должно.
> Ну и последний вопрос, кот. вам надо бы оценить - есть у
> вас прикидки, какой I/O все эти машины выдать могут. Т.к. если
> он большой, то:
> в первом случае по оцененному I/O проприетерасты выдадут вам потребное аппаратное решение
> и его цену :).
> во втором и третьем вы просто можете поставить раком свое хранилище и
> все встанет.Текущая нагрузка до 2000 iops, 700 MB/s. Объем примерно 9 TB.
> В зависимости от того, что именно машины делают, может
> будет можно разбить их на 2 "острова" по 5 серверов +
> реплицируемое хранилище в каждом и таким образом в случае вылета одного
> хранилица иметь хотя бы половину вычислительной мощности и отсутствие простоя. Если
> нельзя разбить, то надо думать по конфигурации NFS/iSCSI сервера.То есть 2 хранилища, разные части которых реплицируются друг на друга и с них работают острова? Это хорошее предложение :) минимум можно распределить нагрузку.
Добавить бы в эту схему ПО которое бы смогло поднять второй остров с реплики.> Че то много уже написал. :) Дальше рассуждать по выбору аппаратной/программной части
> можно еще больше, но пока пожалуй хватит. :)Единое хранилище рассматривается для консолидации объема и производительности дисковой подсистемы серверов + HA кластер.
Сначала думал о безотказной SAN, но так как репликация там дорого, посмотрел на NAS хранилища (NFS + iSCSI 10Gb) подешевле с репликацией или возможно проще будет заказать 2 сервера хранения (типа Supermicro SYS-6036ST-6LR или попроще) под Openfiler который поддерживает репликацию.
Я тогда малость потерялся.Вам хранилище только для данных, кот. совместно обрабатывают сколько-то вирт. машин, или вы там же хотите совместно загрузочные и прочие "локальные" диски этих же машин хранить?
В первом случае ИМХО отдельно мухи и котлеты :) и рассматривать по отдельности же требования к каждому хранилищу. А второй просто считаю опасным, т.к. вместе с "2000 iops, 700 MB/s" вы еще на то же хранилище полОжите нагрузку от загрузочных дисков вирт. машин.
Вы, как модно говорить, "бизнес-задачу" :) сформулируйте...
Данные по нагрузке собраны с серверов, там все.
Количество серверов и задач растет, какие-то задачи перерастают свои сервера. Есть старье, которое хочется перевести на виртуалки. Обычно сервер конфигурируется под задачу. Резервирование в основном бэкапы.
Хочется отвязать задачи от железа, объединить управление данными, failover и snapshots для быстрого восстановления.В принципе для большинства данных для репликации хватает rsync, но он на таких объемах работает очень медленно.
если можно выбирать гипервизор, то, если FC SAN или iSCSI, берешь гипервизор который умеет linux MD, MD делаешь с в первом райде с разных СХД, md-шки подаёшь на виртуалки.если гипервизор задан и не умеет MD, то конечно всё становится интереснее :) в принципе linux умеет быть FC target - http://linux-iscsi.org/wiki/Fibre_Channel можно копать в этом направлении
> если можно выбирать гипервизор, то, если FC SAN или iSCSI, берешь гипервизор
> который умеет linux MD, MD делаешь с в первом райде с
> разных СХД, md-шки подаёшь на виртуалки.Какие гипервизоры такое умеют? На ум приходят Xen и KVM. Все остальное и автоматизация HA скриптами и Pacemaker.