Добрый день!есть потребность организовать дешёвую, но мало-мальски надёжную файловую помойку (CIFS).
Аппаратная часть:
бэкэнд - 4 сервера, каждый по 1 Тб в raid5 на борту (предназначение - экспортирование дисковой подсистемы фронтэнду)
фронтэнд - 2 сервера (предназначены для балансировки нагрузки и отказоуст)Защищаемся от:
1) выхода из строя hdd (здесь в качестве защиты - raid5 на бэкэндах)
2) выхода из строя одного сервера бэкэнда
3) выхода из строя одного из серверов фронтэндаКак я вижу это:
Каждый из 4х серверов бэкэнда отдаёт свой 1Тб по протоколу iscsi каждому из 2х серверов фронтэнда.
Далее - на фронтэндах эти 4 диска объединяются в подобие сетевого raid5 и поверх них создаётся кластерная файловая система.
Далее поднимается LVS(?) или samba ctdb(?) для предоставления параллельного доступа через оба сервера фронтэнда к дисковой ёмкости.Программная часть:
в качестве ОС везде используется CentOS 5.5
диски с серверов бэкэнда экспортируются tgtd по протоколу iscsi.
С помощью iscsi-initiator эти диски подхватываются на фронтэнде.
Вот далее затыка. Потому что, если объединить эти диски с помощью mdadm в raid5, то это получиться сделать только на одном из серверов фронтэнда, потому что на втором mdadm ругнётся, что диски используются. Следовательно вопрос - что уважаемые доны посоветуют использовать для организации сетевого raid5, который позволит работать в кластере?Выше пока не поднимаюсь, поскольку от решения этого вопроса наверное будет зависеть и выбор дальнейших решений.
>[оверквотинг удален]
> в качестве ОС везде используется CentOS 5.5
> диски с серверов бэкэнда экспортируются tgtd по протоколу iscsi.
> С помощью iscsi-initiator эти диски подхватываются на фронтэнде.
> Вот далее затыка. Потому что, если объединить эти диски с помощью mdadm
> в raid5, то это получиться сделать только на одном из серверов
> фронтэнда, потому что на втором mdadm ругнётся, что диски используются. Следовательно
> вопрос - что уважаемые доны посоветуют использовать для организации сетевого raid5,
> который позволит работать в кластере?
> Выше пока не поднимаюсь, поскольку от решения этого вопроса наверное будет зависеть
> и выбор дальнейших решений.Если CentOS то на сайте redhat скачать документацию по кластерам и о том что такое кластерная ФС и как реализовать всё на базе их ПО, сначала ознакомьтесь, а потом кидайтесь делать.
>[оверквотинг удален]
>> Вот далее затыка. Потому что, если объединить эти диски с помощью mdadm
>> в raid5, то это получиться сделать только на одном из серверов
>> фронтэнда, потому что на втором mdadm ругнётся, что диски используются. Следовательно
>> вопрос - что уважаемые доны посоветуют использовать для организации сетевого raid5,
>> который позволит работать в кластере?
>> Выше пока не поднимаюсь, поскольку от решения этого вопроса наверное будет зависеть
>> и выбор дальнейших решений.
> Если CentOS то на сайте redhat скачать документацию по кластерам и о
> том что такое кластерная ФС и как реализовать всё на базе
> их ПО, сначала ознакомьтесь, а потом кидайтесь делать.не беспокойтесь, прочитал и не раз :)
дело в том, что GFS2 в документации redhat везде работает на общем сторадже (NAS, SAN и т.д.), а в моём случае надо его ещё собрать этот сторадж (!), поверх которого уже будет работать кластерная файловая система. Вот если вы мне рассскажете как gfs2 умеет сама размазываться по нескольким iscsi дискам, то другое дело :)
я кстати уже самостоятельно наткнулся на glusterfs, она вроде как умеет так делать.
>[оверквотинг удален]
>> том что такое кластерная ФС и как реализовать всё на базе
>> их ПО, сначала ознакомьтесь, а потом кидайтесь делать.
> не беспокойтесь, прочитал и не раз :)
> дело в том, что GFS2 в документации redhat везде работает на общем
> сторадже (NAS, SAN и т.д.), а в моём случае надо его
> ещё собрать этот сторадж (!), поверх которого уже будет работать кластерная
> файловая система. Вот если вы мне рассскажете как gfs2 умеет сама
> размазываться по нескольким iscsi дискам, то другое дело :)
> я кстати уже самостоятельно наткнулся на glusterfs, она вроде как умеет так
> делать.gfs не умеет, и вроде не для этого.
glusterfs умеет и вроде даже неплохо работает.
drbd - ориентирована на два диска.
ceph - поидее должен быть быстрее glusterfs, но пока ещё в стадии разработки
> gfs не умеет, и вроде не для этого.
> glusterfs умеет и вроде даже неплохо работает.
> drbd - ориентирована на два диска.
> ceph - поидее должен быть быстрее glusterfs, но пока ещё в стадии
> разработкикак выяснилось glusterfs не умеет объединять сетевые диски в raid5, а только mirror, stripe
>> gfs не умеет, и вроде не для этого.
>> glusterfs умеет и вроде даже неплохо работает.
>> drbd - ориентирована на два диска.
>> ceph - поидее должен быть быстрее glusterfs, но пока ещё в стадии
>> разработки
> как выяснилось glusterfs не умеет объединять сетевые диски в raid5, а только
> mirror, stripeНа сколько я помню там указывается сколько копий файла хранить по разным нодам, при указании 2 копий выход любой ноды не страшен и на производительность не влияет в отличие от RAID5. Файлы по нодам хранятся в виде файлов на локальной ФС ноды и даже когда совсем будет плохо часть файлов останется в целости на живых нодах.
Еще вроде ещё clvm (пакет кажется зовётся lvm2-cluster) кластерный вариант lvm можете с её помощью попытаться сделать свой сетевой RAID5.
>[оверквотинг удален]
>>> разработки
>> как выяснилось glusterfs не умеет объединять сетевые диски в raid5, а только
>> mirror, stripe
> На сколько я помню там указывается сколько копий файла хранить по разным
> нодам, при указании 2 копий выход любой ноды не страшен и
> на производительность не влияет в отличие от RAID5. Файлы по нодам
> хранятся в виде файлов на локальной ФС ноды и даже когда
> совсем будет плохо часть файлов останется в целости на живых нодах.
> Еще вроде ещё clvm (пакет кажется зовётся lvm2-cluster) кластерный вариант lvm можете
> с её помощью попытаться сделать свой сетевой RAID5.lvm2-cluster - это просто кластерный lvm, который позволяет управлять данными LVM нескольким нодам, raid5 тут не причём.
drbd + gfs2
> drbd + gfs2спасибо за совет, но
я смотрел drbd - но как я понял, он умеет только raid1, а это слишком накладно в моём случае. хотелось бы raid5
>> drbd + gfs2
> спасибо за совет, но
> я смотрел drbd - но как я понял, он умеет только raid1,
> а это слишком накладно в моём случае. хотелось бы raid5md raid5 из iscsi multipath девайсов :) наверное такое имеет право быть, если реализуете, напишите как работает, интересное решение.
>>> drbd + gfs2
>> спасибо за совет, но
>> я смотрел drbd - но как я понял, он умеет только raid1,
>> а это слишком накладно в моём случае. хотелось бы raid5
> md raid5 из iscsi multipath девайсов :) наверное такое имеет право быть,
> если реализуете, напишите как работает, интересное решение.вот md raid5 как раз не подходит - это первое что я попробовал.
поясню:
на первой ноде фронтэнда я собираю raid5 командой
mdadm --create /dev/md0 --chunk=64 --level=5 --raid-devices=4 /dev/mapper/mpath[1234]
после чего создаётся /dev/md0 и прекрасно работает.
переходим на вторую ноду фронтэнда и включаем созданный массив там
mdadm -Av /dev/md0 --uuid=d90f76b2:db1b70ac:225354f4:6db256c5
и вот тут уже происходит облом - mdadm говорит, что все устройства используются.
если поразмыслить - это логично, процесс md на каждой ноде фронтэнда "думает" что использует ресурсы монопольно, а это не есть гуд в кластере :)
Note that GFS won't work properly in a cluster with software RAID (the MD driver). At the time of this writing, software RAID is not cluster-aware. Since software RAID can only be running on one node in the cluster, the other nodes will not be able to see the data properly, or will likely destroy each other's data. However, if GFS is used as a stand-alone file system on a single-node, software RAID should be okay.получается одна активная нода с raid5 или drbd
> Note that GFS won't work properly in a cluster with software RAID
> (the MD driver). At the time of this writing, software RAID
> is not cluster-aware. Since software RAID can only be running on
> one node in the cluster, the other nodes will not be
> able to see the data properly, or will likely destroy each
> other's data. However, if GFS is used as a stand-alone file
> system on a single-node, software RAID should be okay.
> получается одна активная нода с raid5 или drbdя так понимаю цитата была отсюда?
http://sourceware.org/cluster/wiki/FAQ/GFS#gfs_raidвроде там идёт речь только про GFS, а не GFS2
> я так понимаю цитата была отсюда?
> http://sourceware.org/cluster/wiki/FAQ/GFS#gfs_raid
> вроде там идёт речь только про GFS, а не GFS2думаю, если бы для GFS2 было иначе, то это было бы упомянуто отдельно, ну и в любом случае MD-то останется не кластерным. Цена девяток высокой доступности растёт по экспоненте, с каждой девяткой :)
>[оверквотинг удален]
> бэкэнд - 4 сервера, каждый по 1 Тб в raid5 на борту
> (предназначение - экспортирование дисковой подсистемы фронтэнду)
> фронтэнд - 2 сервера (предназначены для балансировки нагрузки и отказоуст)
> Защищаемся от:
> 1) выхода из строя hdd (здесь в качестве защиты - raid5 на
> бэкэндах)
> 2) выхода из строя одного сервера бэкэнда
> 3) выхода из строя одного из серверов фронтэнда
> Выше пока не поднимаюсь, поскольку от решения этого вопроса наверное будет зависеть
> и выбор дальнейших решений.И получаем тормоза при интенсивных дисковых операциях