The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Релиз распределенного реплицируемого блочного устройства DRB..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от opennews (??) on 17-Июн-15, 18:23 
После четырёх лет разработки увидел свет (http://www.linbit.com/en/n/news/564-drbd9-release) релиз распределенного реплицируемого блочного устройства DRBD 9.0 (http://www.linbit.com/en/p/products/drbd9), позволяющего реализовать подобие массива RAID-1, сформированного из объединённых по сети нескольких дисковых разделов разных машин (зеркалирование  по сети). Система оформлена в виде модуля для ядра Linux и распространяется (http://oss.linbit.com/drbd/) под лицензией GPLv2.


DRBD может использоваться для объединения накопителей узлов кластера в единое отказоустойчивое хранилище. При использовании DRBD все операции с локальным диском отправляются на другие узлы и синхронизируются с дисками других машин. В случае выхода из строя одного узла, хранилище автоматически продолжит работу за счёт оставшихся узлов. При возобновлении доступности сбойного узла, все данные его состояние будет автоматически доведено до актуального вида.


В состав формирующего хранилище кластера может входить несколько десятков узлов, размещённых как в локальной сети,  так и территориально разнесённых в разные центры обработки данных. Синхронизация в подобных разветвлённых хранилищах выполняется с использованием технологий mesh-сети (данные растекаются по цепочке от узла к узлу). Репликация узлов может производиться как в синхронном режиме, так и в асинхронном. Например, локально размещённые узлы могут применять синхронную репликацию, а для выноса на удалённое размещённые площадки может применяться асинхронная репликация с дополнительным сжатием и шифрованием трафика.


<center><a href="http://drbd.linbit.com/uploads/pics/overview_02.gif">... src="http://www.opennet.ru/opennews/pics_base/0_1434551311.gif" style="border-style: solid; border-color: #606060; border-width: 1px;max-width:100%;" title="" border=0></a></center>

Основные новшества (http://git.drbd.org/gitweb.cgi?p=drbd-9.0.git;a=tag;h=refs/t...) DRBD 9:


-  Новая архитектура передачи данных, в которой используется абстрагированный транспортный уровень, позволяющий реализовать каналы связи не ограничивающиеся TCP, например, с использованием  RDMA/Infiniband и SCTP.


-  Интеграция RDMA (https://ru.wikipedia.org/wiki/%D0%A3%D0%...) (Remote Direct Memory Access) для прямого доступа к оперативной памяти другого компьютера и поддержка сетевых карт Infiniband, позволяют добиться двухкратного увеличения интенсивности репликации с сокращением нагрузки на CPU на 50% по сравнению с транспортом поверх традиционной IP-сети;
-  Расширенные возможности отказоустойчивости - хранилище теперь может быть реплицировано одновременно на 32 узла, размещённых в различных сетевых окружениях.
-  Новый инструментарий для управления, позволяющий развернуть сложное реплицированное хранилище за считанные минуты. Инструментарий предоставляет API для автоматизации выполнения действий с DRBD и интеграции с внешними системами, такими как OpenStack, а также для создания на базе Linux альтернатив традиционным SAN.-  Поддержка установки нескольких соединений к одному ресурсу, что позволяет создавать более эффективные и сложные схемы соединения узлов между собой.
-  Автоматическая установка статуса узла в зависимости от активности. Например, узел помечается первичным при открытии блочного устройства  на запись и вторичным - при прекращении работы с устройством всеми процессами.-  Распространение обновлений в неблокирующем режиме, что позволило значительно увеличить производительность хранилища (в тестах более 400 тыс операций в секунду).

-  Поддержка двухфазных коммитов, позволяющих охватить косвенно связанные узлы во время установки нового соединения или при смене первичного узла;-  Переработанная логика принятия решений о ресинхронизации в условиях наличия нескольких соединений или некачественной сетевой связи;

  

URL: http://www.linbit.com/en/n/news/564-drbd9-release
Новость: http://www.opennet.ru/opennews/art.shtml?num=42447

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Релиз распределенного реплицируемого блочного устройства DRB..."  –4 +/
Сообщение от Аноним (??) on 17-Июн-15, 18:23 
CEPH лучше, чем DRBD
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Релиз распределенного реплицируемого блочного устройства DRB..."  +3 +/
Сообщение от yukra on 17-Июн-15, 18:33 
у меня сейчас drbd в проде на одном "проекте" и ceph в тестинге в другом проекте. Я когда знакомился с ceph тоже думал "нафиг выкину drbd", но потом подумал и решил что для двух серверов ceph как то оверкил, все таки у них немного разное ЦА. Так что сравнивать "в тупую" неправильно.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "Релиз распределенного реплицируемого блочного устройства DRB..."  –17 +/
Сообщение от A.Stahl (ok) on 17-Июн-15, 18:24 
>подобие массива RAID-1

Стоп-стоп-стоп! Это тупое зеркало, но по сети? И объединив 100 машин по 1 байту, мы получим сверхнадёжный 1 байт? И ни битом больше?
Не-не-не! Пусть пилят и другие "подобия рейдов". Тем более, что  базис уже готов...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Релиз распределенного реплицируемого блочного устройства DRB..."  +7 +/
Сообщение от сис.админ_23rus email(ok) on 17-Июн-15, 19:17 
DRBD  заточен в основном на отказоустойчивые системы, поэтому не стоит так реагировать
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Релиз распределенного реплицируемого блочного устройства DRB..."  +3 +/
Сообщение от Аноним (??) on 17-Июн-15, 20:22 
С добрым утром.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

7. "Релиз распределенного реплицируемого блочного устройства DRB..."  +3 +/
Сообщение от Dmi email on 17-Июн-15, 23:13 
Это не "тупое" зеркало, а довольно таки умное: например, при потере слейва и последующем подсоединении ресинхронизация проходит очень быстро, поскольку гоняются только измененившиеся блоки, отмеченные в битовой карте.
При этом DRBD дает возможность на халяву делать нормальное дублирование данных, а не делать вид, что дешевая дисковая полка от всего спасает.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

8. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Andrey Mitrofanov on 17-Июн-15, 23:23 
> только измененившиеся блоки, отмеченные в битовой карте.

А именно битовая карта - не в v8 ли, где только 2 копии? Для v9 с несколькими копиями там что? Несколько бит на блок? Я не смотрел и как обычно всё путаю?  ... ... ...

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

10. "Релиз распределенного реплицируемого блочного устройства DRB..."  +1 +/
Сообщение от Dmi email on 18-Июн-15, 00:16 
>> только измененившиеся блоки, отмеченные в битовой карте.
> А именно битовая карта - не в v8 ли, где только 2
> копии? Для v9 с несколькими копиями там что? Несколько бит на
> блок? Я не смотрел и как обычно всё путаю?  ...

В бета-документахе на v9 по прежнему написано, что quick-sync bitmap по-парная. Так что их несколько наверное, если несколько пиров.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

12. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Аноним (??) on 18-Июн-15, 08:01 
Благодаря этому простому зеркалу по сети, умелые люди добиваются не только резервирования дисков, но и всего сервера с питанием!

Вполне хватает RAID-1 - простота, скорость и надёжность!

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

6. "Релиз распределенного реплицируемого блочного устройства DRB..."  –1 +/
Сообщение от Аноним (??) on 17-Июн-15, 23:09 
Это тоже самое что и gluster ?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Релиз распределенного реплицируемого блочного устройства DRB..."  +1 +/
Сообщение от Andrey Mitrofanov on 17-Июн-15, 23:24 
> Это тоже самое что и gluster ?

Нет. Это то же самое, что LVM. </шютка>

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

11. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Рудвульф email on 18-Июн-15, 07:21 
Товарищ вы путаете ФС и блочное устройство. Кстати кто какую ФС поверх DRBD использует?
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

13. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Аноним (??) on 18-Июн-15, 08:03 
> Товарищ вы путаете ФС и блочное устройство. Кстати кто какую ФС поверх
> DRBD использует?

ext4 для тех кто боится и первый раз.

GFS можно добиться режима работы с одновременной записью на оба диска.

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

25. "Релиз распределенного реплицируемого блочного устройства DRB..."  –1 +/
Сообщение от pokalo (??) on 19-Июн-15, 12:36 
>> Товарищ вы путаете ФС и блочное устройство. Кстати кто какую ФС поверх
>> DRBD использует?
> ext4 для тех кто боится и первый раз.
> GFS можно добиться режима работы с одновременной записью на оба диска.

GFS какой то глючный. и много хочет.

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

17. "Релиз распределенного реплицируемого блочного устройства DRB..."  +2 +/
Сообщение от Xaionaro email(ok) on 18-Июн-15, 10:12 
> Кстати кто какую ФС поверх DRBD использует?

Я когда-то использовал OCFS2 поверх DRBD. Работает. Но интерконнект между серверами был слабый (1Gbps ethernet), и в результате многие операции с ФС шли очень медленно. Обычный svn cleanup в одном проекте занимал полчаса.

[offtop]
Если действительно интересно обменяться опытом по данной теме, то рекомендую поехать на LVEE на следующей неделе, и я могу подробно пересказать свой опыт [1].

[1] https://lvee.org/uploads/image_upload/file/337/winter_2014_1...
[/offtop]

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

14. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Аноним (??) on 18-Июн-15, 08:10 
Интересны конфигурации кластеров active-activ когда второй узел не тупо ждёт пока первый откажет, а работает тоже, В РЕЖИМЕ ЗАПИСИ, и принимает половину нагрузки. То есть балансировщик. После повреждения одного с узлов, не только диск, а может отказать мамка, проц, сетевая, другой берёт на себя полную нагрузку. При присоединении отремонтированной ноды и синхронизации, нагрузка опять распределяется между работающими, исправными узлами.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

15. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Аноним (??) on 18-Июн-15, 08:13 
PS: от наличия резервного копирования админов не освобождает, особо в случае режима active-active
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

18. "Релиз распределенного реплицируемого блочного устройства DRB..."  +2 +/
Сообщение от 1 (??) on 18-Июн-15, 10:29 
Да, наладить резервное копирование админов, тоже бы не помешало.
Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

28. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от count0krsk (ok) on 22-Июн-15, 04:07 
И актуализирование ими документации на всё, что они наворотили в реальном времени путем выписывания магического пенделя ;-)
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

31. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Andrey Mitrofanov on 22-Июн-15, 09:26 
> И актуализирование ими документации на всё, что они наворотили в реальном времени
> путем выписывания магического пенделя ;-)

Наше поколение советских людей будет жить при Полной Документации. Ура, товарищи!!

Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

16. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Аноним (??) on 18-Июн-15, 09:39 
Так на картинке active - active :)
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

19. "Релиз распределенного реплицируемого блочного устройства DRB..."  –1 +/
Сообщение от Shodan (ok) on 18-Июн-15, 10:56 
> Интересны конфигурации кластеров active-activ когда второй узел не тупо ждёт пока первый
> откажет, а работает тоже, В РЕЖИМЕ ЗАПИСИ, и принимает половину нагрузки.
> То есть балансировщик. После повреждения одного с узлов, не только диск,
> а может отказать мамка, проц, сетевая, другой берёт на себя полную
> нагрузку. При присоединении отремонтированной ноды и синхронизации, нагрузка опять распределяется
> между работающими, исправными узлами.

Это будет глобальный race condition.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

20. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Xaionaro email(ok) on 18-Июн-15, 18:58 
>> Интересны конфигурации кластеров active-activ когда второй узел не тупо ждёт пока первый
>> откажет, а работает тоже, В РЕЖИМЕ ЗАПИСИ, и принимает половину нагрузки.
>> То есть балансировщик. После повреждения одного с узлов, не только диск,
>> а может отказать мамка, проц, сетевая, другой берёт на себя полную
>> нагрузку. При присоединении отремонтированной ноды и синхронизации, нагрузка опять распределяется
>> между работающими, исправными узлами.
> Это будет глобальный race condition.

DLM [1], OCFS2 [2].

[1] https://en.wikipedia.org/wiki/Distributed_lock_manager
[2] https://ru.wikipedia.org/wiki/OCFS

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

21. "Релиз распределенного реплицируемого блочного устройства DRB..."  +1 +/
Сообщение от Shodan (ok) on 19-Июн-15, 10:03 
Это все красиво только в теории.
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

23. "Релиз распределенного реплицируемого блочного устройства DRB..."  +1 +/
Сообщение от JR on 19-Июн-15, 12:07 
8 лет проработало -> кластер из 2 нодов на centos+drbd+xen+heartbeat с live миграцией виртуалок между нодами, очень даже положительный опыт.
Из нюансов  - пара скриптов требовали модификации (wrapper for drbd, ктати интересно, как с этим делом в v.9?), и резервирование ресурсов для возможной миграции на нодах
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

24. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Xaionaro email(ok) on 19-Июн-15, 12:15 
> Это все красиво только в теории.

Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.), но оно при правильной настройке может вполне хорошо работать.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

26. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Shodan (ok) on 19-Июн-15, 12:57 
>> Это все красиво только в теории.
> Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные
> проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.),
> но оно при правильной настройке может вполне хорошо работать.

Работать на каких обьемах данных и на какой нагрузке?

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

30. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Xaionaro (ok) on 22-Июн-15, 06:46 
>>> Это все красиво только в теории.
>> Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные
>> проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.),
>> но оно при правильной настройке может вполне хорошо работать.
> Работать на каких обьемах данных и на какой нагрузке?

Смотря какое железо у вас имеется.

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

27. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Shodan (ok) on 19-Июн-15, 15:20 
>> Это все красиво только в теории.
> Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные
> проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.),
> но оно при правильной настройке может вполне хорошо работать.

Сами себе противоречите

"Я когда-то использовал OCFS2 поверх DRBD. Работает. Но интерконнект между серверами был слабый (1Gbps ethernet), и в результате многие операции с ФС шли очень медленно. Обычный svn cleanup в одном проекте занимал полчаса."

Так работает или хорошо работает?

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

29. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Xaionaro (ok) on 22-Июн-15, 06:45 
>>> Это все красиво только в теории.
>> Вы просто плохо знакомы с вопросом, как мне кажется. Да, есть серьёзные
>> проблемы с различными экзотическими ФС (ceph, lustre, ocfs, gfs и т.п.),
>> но оно при правильной настройке может вполне хорошо работать.
> Сами себе противоречите
> "Я когда-то использовал OCFS2 поверх DRBD. Работает. Но интерконнект между серверами был
> слабый (1Gbps ethernet), и в результате многие операции с ФС шли
> очень медленно. Обычный svn cleanup в одном проекте занимал полчаса."
> Так работает или хорошо работает?

Для такого интерконнекта (1Gbps ethernet) работает хорошо (другими словами latency был высокий, поэтому лучше с данной архитектурой работать и не могло). Был бы Infiniband, было бы всё иначе.

Вообще хватит вертеться уже. Просто признайте, что были не правы:

> Это будет глобальный race condition.

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

32. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от Ононим on 22-Июн-15, 11:23 
экспортирую "блочные устройства" по iSCSI, затем собираю их в пул ZFS.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

33. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от vvi (??) on 18-Июл-15, 13:53 
> Интересны конфигурации кластеров active-activ когда второй узел не тупо ждёт пока первый
> откажет, а работает тоже, В РЕЖИМЕ ЗАПИСИ, и принимает половину нагрузки.
> То есть балансировщик. После повреждения одного с узлов, не только диск,
> а может отказать мамка, проц, сетевая, другой берёт на себя полную
> нагрузку. При присоединении отремонтированной ноды и синхронизации, нагрузка опять распределяется
> между работающими, исправными узлами.

Я использовал primary-primary (1+1) с 8-й версией. Причём в коммерческом проекте - всё ок. drbd + ocfs2 + heartbeat. Можно было записать файл на ФС одного узла и тут же считать этот файл на другом узле. На ocfs2, помимо всего прочего, находится табличное пространство PostgreSQL. Данные доступны одновременно с обоих узлов даже если идёт длительная синхронизация.
Единственная проблема возникала в таком случае: если вручную выключить оба узла, когда данные ещё не засинхронизировались (обычно такое происходит при пересборке кластера, при нормальном функционировании синхронизация происходит мгновенно), затем включить узел - приёмник данных синхронизации, а затем только секунд через 30 включить источник синхронизации, то происходил brain-splitting, что, в общем-то, логично.
При разнице в несколько секунд проблема не повторяется. Реальные аварийные ситуации кластер отрабатывал отлично.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

22. "Релиз распределенного реплицируемого блочного устройства DRB..."  +/
Сообщение от pokalo (??) on 19-Июн-15, 11:35 
на каждой ноде по 5 дисков, обединенных последовательно с помощью LVM (типа RAID0) в одно устройство drbd (на всех нодах primary), поверх которого OCFS2. Почему то работает уже пару лет без вопросов.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2021 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру