The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Новое распределенное хранилище данных будет включено в Linux ядро

28.10.2007 19:36

Наработки по созданию транспортного уровня для организации распределенных хранилищ данных (DST), созданные Евгением Поляковым, одобрены для включения в экспериментальную "-mm" ветку Linux ядра.

DST функционирует на уровне блочного устройства, работающего поверх нескольких машин в сети (ближайшие аналоги - DRBD, iSCSI и NBD). Обработка данных производится в неблоркирующем режиме. Поддерживаются различные алгоритмы распределения данных, например - зеркалирование или создание линейного хранилища охватывающего все узлы.

Кроме того, система снабжена средствами автоконфигурации (параметры удаленных узлов определяются автоматически) и автоматической обработки ситуации сбоя: при обнаружении сбоя (например, выключения удаленной машины), проблемный узел помечается неактивным до момента возобновления достижимости, после чего накопившиеся данные синхронизируются на него, не требуя какого-либо участия администратора.

  1. Главная ссылка к новости (http://kerneltrap.org/Linux/Di...)
  2. Distributed storage.
  3. Блог посвященный распределенным ФС
  4. Studying existing distributed filesystems.
Лицензия: CC-BY
Тип: К сведению
Короткая ссылка: https://opennet.ru/12558-distributed
Ключевые слова: distributed, fs, iscsi, ndb, drbd, linux
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (37) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Nick (??), 03:19, 29/10/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    ниасилившым люстру посвящаеться...
     
     
  • 2.9, avatar (??), 12:26, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Не кластерное, а распределённое, прошу заметить.
     
     
  • 3.11, Nick (??), 12:28, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >Не кластерное, а распределённое, прошу заметить.

    согласен
    принимаеццо

     
  • 2.35, Johny (?), 22:34, 30/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >ниасилившым люстру посвящаеться...

    А вот вы не в курсе, когда в люстре появится режим мирроринга для файлов, а не только stripe?

     
     
  • 3.36, Nick (??), 08:26, 31/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >А вот вы не в курсе, когда в люстре появится режим мирроринга
    >для файлов, а не только stripe?

    вкурсе
    если и изначально не было (давно дело было...) то щас он есть.

    Каждая нода в люстре - виртуальная и можем состоять из нескольких
    физических нод. READs/WRITEs идут на рабочую, активную; и WRITEs на остальные, бекапные.

    В любой момент любая бекапная нода может продолжить правое дело памшего товарисча...

     
     
  • 4.38, Johny (?), 15:30, 01/11/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >Каждая нода в люстре - виртуальная и можем состоять из нескольких
    >физических нод. READs/WRITEs идут на рабочую, активную; и WRITEs на остальные, бекапные.
    >
    >
    >В любой момент любая бекапная нода может продолжить правое дело памшего товарисча...
    >

    В целом приемлимо, но  --- насколько я понял никакого автоматического Fallover для MGS/MDT службы нету.

    Ну то есть нельзя сделать например 2 штуки MGS чтоб в случае сбоя одного, второй включался автоматически.


    А насчёт "мирррор"  меня интересует когда можно будет задавать это в аттрибутах файла....

    что вот этот файл страйпед, а вот этот мирроред....


    про "продолжение дела падшего товарища" -- как не пытался настроить, не ловится кактус.

    то есть оно работает тока при живом MGS

    иначе всё отмонтировать и перетыкать руками.

    Так я и без всякой люстры умею -- тупо любая файловая система + drbd
    если чё -- перемонтировал на другой сервер вручную

     
     
  • 5.39, Nick (??), 15:40, 02/11/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >В целом приемлимо, но  --- насколько я понял никакого автоматического Fallover
    >для MGS/MDT службы нету.

    вот с этого места тебя поправить и остальная часть поста сама собой отпадает.
    MGS/MDT может зеркалироваться (точно так же как и OST) для переключения в случае пипеца.

    Сама люстра не провайдит методов определения failover событий и их обработку.
    Для этого они рекомендуют HeartBeat (linux-ha.org), который будет определять жив ли нод
    и менять конфиг люстры.

     

  • 1.2, fresco (??), 08:33, 29/10/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Фигли толку, reiser4 в этой -mm ветке уже 4 года сидит.
     
  • 1.3, Аноним (-), 10:31, 29/10/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А так ожесточенно сопротивлялись, и все-токи включили. А с люстрой нечего сравнивать, у них разные ниши. А вот reiser4 не нужен :) ИМХО.
     
     
  • 2.4, fresco (??), 11:39, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Да хз. Мне бы не помешал. Штука хорошая. ZFS нам (Linux'оидам) все равно не светит, кроме того, не так уж она и производительна, да и ниши у них несколько разные. А из существующих Linux-ФС reiser4 лучшая. Опять же, ИМХО, но могу обосновать.
     
     
  • 3.5, Аноним (-), 11:59, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Я не против reiserfs, просто у меня с ней были проблемы на ровном месте, да и в новых ядрах как-то не особо видно патчей к ней (хотя может всё работает ну разве что квоты не очень :), и у Ганса проблемы, вроде он главный вдохновитель и координатор проекта. Поэтому и ИМХО.  Законы рынка блин, если в кампании не лады - акции падают :). А так я на XFS перешёл.
    > Опять же, ИМХО, но могу обосновать.

    Обоснуёте, но только с позиции стороннего наблюдателя, какие плюсы и минусы. Не вдаваясь в крайности, а то мало где можно встретить обсуждение без примеси религии.

     
     
  • 4.10, fresco (??), 12:28, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    > да и в новых ядрах как-то не особо видно патчей к ней

    Посмотрите на changelog'и .23 и .24-rc1 ядер, особенно  последнего -- там приличный объем фиксов и чиски кода для reisrfs

    Это раз. reiser4 -- совершенно самостоятельная ФС, никак не новая версия reiserfs.

    По поводу обоснования.

    1. Не верьте бенчмаркам. Работает у всех по-разному. Чуть поменяли оборудование, условия теста -- и все, результаты поплыли. Статистика -- самая лживая вещь на свете. Смотрите на логику работы, математику. На крайняк -- проверяйте производительность сами.

    2. Описания файловых систем (в т.ч. XFS и reiser4) лежат на http://www.filesystems.nm.ru/  Читайте, думайте. Подозреваю, что модератор скоро начнет меня резать за саморекламу, но повторять то, о чем рассказывал в статьях и много раз говорил здесь -- не вижу смысла.

     
     
  • 5.25, Лузер (?), 03:24, 30/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Это да Очень достает Ценность бенчмарков мала Чуть что отличается и файловые сис... большой текст свёрнут, показать
     
     
  • 6.29, fresco (??), 10:11, 30/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Это, как говорится, не бага -- это фича Это политическое решение -- забивать со... большой текст свёрнут, показать
     
     
  • 7.30, Аноним (-), 12:10, 30/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >Ну, теперь по поводу сравнения ФС. Дальше пойдет чистое ИМХО, флейм прошу
    >не начинать -- каждыйимеет право на свое мнение, я свое обосновал
    >в статьях, повторять не буду.

    У автора этого распределенного хранилища в блоге нашел кучу бенчмарков разных FS, включая ext123, jfx, xfs, reiser34...

    Теория не совпадает с практикой: http://tservice.net.ru/~s0mbre/old/?section=projects&item=fs_contest

     
     
  • 8.31, fresco (??), 12:26, 30/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Объяснял же -- не верьте бенчмаркам У всех по-разному работает Вам мои что ли ... текст свёрнут, показать
     
     
  • 9.32, Аноним (-), 12:36, 30/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Одни и те же бенчмарки должны давать один и тот же результат в схожих условиях, ... текст свёрнут, показать
     
     
  • 10.33, fresco (??), 13:01, 30/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    В схожих -- да Только эти условия должны быть_очень_ схожи К примеру, меняете ... текст свёрнут, показать
     
     
  • 11.37, Аноним (-), 16:06, 31/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    А у вас есть какие нибудь сведения на счет надёжности reiserfs4 может тесты уст... текст свёрнут, показать
     
  • 3.6, Nick (??), 12:15, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >ZFS нам (Linux'оидам) все равно не светит

    как это не светит?
    еще и как.

    Или FUSE значит фтопку?

     
     
  • 4.7, fresco (??), 12:16, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    А вы ее попробуйте заюзать через этот FUSE. Тормознее даже ntfs-3g получается. Не, посмотреть и восхититься, конечно, можно. Но не работать!
     
     
  • 5.8, Nick (??), 12:19, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >А вы ее попробуйте заюзать через этот FUSE. Тормознее даже ntfs-3g получается.
    >Не, посмотреть и восхититься, конечно, можно. Но не работать!

    ну разве что.

    А не вкурсе че нету патчей сторонних на ядро?
    У них настолько несовместимы лицензии, что и скомпилить нельзя линух с ZFS?

     
     
  • 6.12, fresco (??), 12:33, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Скомпилить-то можно (было бы, если б был код!). Только вот что-то никто портированием не занимается. К большому сожалению. ZFS -- очень сильная технология, в промышленности приживется на раз. Вот увидите, как в следующем году народ c Linux на семерку повалит.

    Про порты под Linux-kernel-API ничего не слышал. Видимо, энтузиастов нет, да и Sun будет всячески мешать появлению  таких продуктов.

     
     
  • 7.13, Nick (??), 12:36, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >Про порты под Linux-kernel-API ничего не слышал. Видимо, энтузиастов нет, да и
    >Sun будет всячески мешать появлению  таких продуктов.

    ну да... а мешать бздунам - все равно что бить по рукам ребенка, тянущегося за конфетой :)

     
     
  • 8.14, fresco (??), 12:57, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Не в этом дело BSD им не конкурент А вот о принятии курса на вытеснение Linux ... текст свёрнут, показать
     
     
  • 9.15, fresco (??), 12:59, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    А BSD шники, кстати, в этом плане оказались большие молодцы Сразу смекнули, что... текст свёрнут, показать
     
     
  • 10.27, Лузер (?), 03:33, 30/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Удачи в этом нелегком деле и все такое, посмотрим чего понты бздунофф стоят н... текст свёрнут, показать
     
  • 9.16, Nick (??), 13:00, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Ну, тогда остеться лишь возрадоваться Больших врагов не бывает у мелких проек... текст свёрнут, показать
     
     
  • 10.20, Аноним (20), 17:26, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Да чтобы nick прошел мимио слова BSD не тявкнув Неее - не верю Не научная фа... текст свёрнут, показать
     
     
  • 11.23, fresco (??), 20:30, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Ну, nick, по крайней мере, никогда не высказывался не обоснованно Чего нельзя с... текст свёрнут, показать
     
  • 9.28, Лузер (?), 03:38, 30/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    Ага, а в итоге выиграет как всегда - микрософт, который только порадуется этой п... текст свёрнут, показать
     
  • 4.26, Лузер (?), 03:29, 30/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >Или FUSE значит фтопку?

    Достаточно посмотреть на NTFS-3G.Многие операции с ним упираются... нет, не в диск.В _процессор_... это на x64 системе с AMD x2 3800+ (2 ядра по 2.0GHz) и гигом 2-канальной DDR2-800.Я не хочу ничего сказать, но это не диагноз а пригвор!Не быть файловым системам в FUSE чемпионами в бенчах.Посему - да, фтопку.Есть куча нормальных и _быстрых_ ФС не нагружающих процессор реализованных в кернеле.

     

  • 1.17, guest (??), 15:39, 29/10/2007 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Лучше бы его kevent (вместо signalfd) и netchannels (как альтернатива socket) включили.
     
     
  • 2.18, devcoder (??), 17:12, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    > Лучше бы его kevent

    Мимо темы конечно...

    Торвальдс на kevent зуб точит или завидует, что сам первым не придумал :-)

    Советую почитать Igor Sysoev https://www.opennet.ru/base/dev/kqueue_vs_epoll.txt.html

    Лично для меня, основное преимущество работы с kevent, так это замес сигналов и дескрипторов.

     
     
  • 3.19, Nick (??), 17:23, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    >
    >Мимо темы конечно...
    >
    >Торвальдс на kevent зуб точит или завидует, что сам первым не придумал
    >:-)
    >
    >Советую почитать Igor Sysoev https://www.opennet.ru/base/dev/kqueue_vs_epoll.txt.html
    >
    >Лично для меня, основное преимущество работы с kevent, так это замес сигналов
    >и дескрипторов.

    постыдилсо бы на такую древность линки кидать...
    Jan 2003

    особенно порадовало "(эй, в Линуксе знают о aio операциях !?!)"  %)))))
    улыбнуло. пасиба.

    ну а ваще все те "вкусности", что позволяет этот kqueue уже давно есть в Линухе,
    и не слеплены в один сискол.

     
     
  • 4.21, Аноним (-), 17:53, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    >ну а ваще все те "вкусности", что позволяет этот kqueue уже давно
    >есть в Линухе,
    >и не слеплены в один сискол.

    Кстати появились они только после kevent патчей, да и то несколько кривовато...

    Хотя в kqueue используется intptr_t, который суть указатель и следовательно не работает, если ядро 64 бит, а userspace - 32.

     
  • 4.22, devcoder (??), 18:45, 29/10/2007 [^] [^^] [^^^] [ответить]  
  • +/
    > и НЕ слеплены в один сискол.

    Разве это удобно?

    Лично мне, как сишному програмисту под Linux, это не очень _удобно_ (хотя конечно же возможно). Особенно когда пишешь демоны, то есть когда нужно одновременно обрабатывать и сигналы и fd-события. И основное неудобство даже не в кол-ве строк кода, а в том,
    что логику работы программы нужно составлять с учётом "независимости" обработчиков (sigaction и epool/select/pool). Можно конечно унифицировать через RTSIG, но там свои засады (ограничения).

    В общем, кто писАл подобное - поймёт, кто не писАл - звиняйте за оффтоп (кстати!).

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру