The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Компания SGI объявила о поддержке кластерной ФС Lustre

12.05.2011 19:09

Компания SGI объявила о присоединении к некоммерческой организации OpenSFS, основанной группой производителей кластерных систем, заинтересованных в дальнейшем развитии и независимой поддержке файловой системы Lustre. По заявлению SGI отныне компания готова предоставлять клиентам полный спектр возможных услуг поддержки кластерных решений на базе Lustre. Отдельно отмечается, что поддержка Lustre будет оказываться на том же уровне, что осуществляется поддержка собственной кластерной ФС SGI - CXFS.

Среди членов OpenSFS можно отметить компанию Cray, Ливерморскую национальную лабораторию и Национальный вычислительный центр при министерстве энергетики США. Альянс OpenSFS был создан в ответ на неопределенную ситуацию с развитием Lustre, сложившуюся после перехода компании Sun Microsystems в руки Oracle. При участии OpenSFS развивается инициированный стартапом Whamcloud проект по подготовке релиза Lustre 2.1 независимо от компании Oracle.

  1. Главная ссылка к новости (http://www.sgi.com/company_inf...)
  2. OpenNews: Компания Whamcloud анонсировала создание независимого варианта ФС Lustre
  3. OpenNews: Приостановка активности Oracle, связанной с кластерной ФС Lustre
  4. OpenNews: Релиз Lustre 1.8.2 и заявление Oracle о судьбе данной кластерной ФС
  5. OpenNews: Новый выпуск кластерной файловой системы Lustre 1.8
  6. OpenNews: Sun Microsystems поглотила создателя кластерной файловой системы Lustre
Лицензия: CC-BY
Тип: К сведению
Короткая ссылка: https://opennet.ru/30544-Lustre
Ключевые слова: Lustre, cluster
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (17) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, ананим (?), 20:22, 12/05/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    народ! а кто в курсе, чё там в оракловом? с zfs скрестить планы ещё есть?
    этот сабж то понятен, по ссылке линух в апстриме.
     
     
  • 2.10, non anon (?), 17:43, 13/05/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Запуском люстры поверх zfsовского менеджера томов в линаксе занимается Белендорф, без участия оракла.
    Ораклу люстра пока неинтересна.
     
     
  • 3.11, Аноним (-), 20:15, 14/05/2011 [^] [^^] [^^^] [ответить]  
  • +/
    вобще этим занимался Sun до покупки Ораклом - а потом стало сложно.
    Ибо народу даже в WC не так что бы много.
     

  • 1.2, pavlinux (ok), 23:35, 12/05/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +10 +/
    Открыли бы они CXFS, было бы чудно.
    ---
    Ораклов уже жалко становиться - OpenOffice просрали, недавно Hudson, теперь Люстру,
    OpenSolaris закопали, BTRFS превратилась из FS в Систему резервного хранения данных,
    кому нужен Oracle Linux, при живом-то RHEL, не ясно!? Гугла Жаву ворует и ещё судится.
    ОpenJDK не дают закрыть. ... как жить,... как жить... :)

     
     
  • 2.4, Аноним (-), 23:57, 12/05/2011 [^] [^^] [^^^] [ответить]  
  • +/
    От люстры они сами отказались уже как несколько месяцев назад
     
  • 2.6, Мяут (ok), 01:48, 13/05/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Зато саппорт MySQL подорожал. А ненужное выкидывают, да.
     
     
  • 3.8, НихтАрбайтен (?), 13:05, 13/05/2011 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >>ненужное выкидывают

    Совершенно верно. В настоящее время все эти распределенные кластерные файловые системы натуральная петриковщина. Т.е. мошенничество, где клиента обувают с помощью высокотехнологичной фразеологии.

    Т.е. клиент, когда слышит про файловые системы, думает про POSIX-совместимость (это, если клиент юниксоид, умеют ли думать вендузятнеги наука пока не установила), или, грубо говоря, он надеется, что его любимая программа не будет вылетать с жалобами на ошибки при записи/чтении файла. А на самом-то деле производители распределённых "файловых систем" подразумевают при этом что-то совсем своё. Т.е. в настоящее время наука не знает способов синхронизации доступа к носителям, контролирумыми разными системами (т.е. с шаред-дисками всё нормально, там непосредственную запись на диск выполняет одна система), чтобы оно натягивалось на POSIX-семантику. Видимо, Ларри Эллисон это тоже понимает.

    А что там на top500 крутится, это ещё не показатель. На top500 работает весьма специальное ПО, и ему что POSIX, что не POSIX ... Достаточно MPI-IO стандарта, чтоб фактически программа сама (ну, разумеется, с помощью весьма недешевого штата админов) контролировала доступ к файлу.

     
     
  • 4.12, Аноним (-), 20:19, 14/05/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >>>ненужное выкидывают
    > А что там на top500 крутится, это ещё не показатель. На top500
    > работает весьма специальное ПО, и ему что POSIX, что не POSIX
    > ... Достаточно MPI-IO стандарта, чтоб фактически программа сама (ну, разумеется, с
    > помощью весьма недешевого штата админов) контролировала доступ к файлу.

    Люстра является POSIX совместимой. И при этом имела native клиентов для Linux/Win32, старый порт на OS/X. И все где может работать Fuse.
    И очень много усилий тратилось именно на поддержку  POSIX семантики.
    А что до синхронизации.. надеюсь мисье может прочитать в wiki расшифровку DLM и почитает на wiki.lustre.org о LDLM.

     
     
  • 5.15, Нихт Арбайтен (?), 22:38, 14/05/2011 [^] [^^] [^^^] [ответить]  
  • +/
    # POSIX compliance: The full POSIX test suite passes with _limited exceptions_ on Lustre clients. In a cluster, _most operations are atomic_ so that clients never see stale data or metadata. Lustre supports mmap() file I/O.

     
     
  • 6.16, Омоним (?), 22:52, 14/05/2011 [^] [^^] [^^^] [ответить]  
  • +/
    >with _limited exceptions_

    Ага. Например, если клиент читает данные из своего кэша, то другие клиенты не увидят обновление atime. Потому что иначе сеть ляжет. Впрочем, насколько я помню, планировалось реализовать (и, возможно, уже реализован) в полном объеме relatime.

     
     
  • 7.17, Аноним (-), 23:01, 14/05/2011 [^] [^^] [^^^] [ответить]  
  • +/
    atime давно уже можно заставить обновлять.
     
  • 7.18, Нихт Арбайтен (?), 14:10, 15/05/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Вот только не надо мне что-то впаривать, всё равно я не ваш клиент. Основное моё возражение против распределенных файловых систем - что они не полностью POSIX-совместимы и иногда это очень сильно выходит боком. Тут меня начали окучивать, что, де, это всё не так, а оно всё POSIX-совместимо, на что была продемонстрирована цитата с домашней страницы. После этого окучивание перешло на следующий уровень, типа, эта несовместимость она совсем-совсем маленькая и вы её практически никогда не увидите. Спасибо, конечно, но я знаю, что когда я её увижу мне будет очень-очень больно.  

    top500 - это очень специальные системы и очень специальные задачи. POSIX-совместимость там ни разу никому не интересна. Может там вообще ни шелла, ни пользователей нету, а задачи выставляются туда через толстый PBS, типа, слёрма и торка, который позаботится, чтобы в каждый конкретный момент на каждом конкретном процессоре выполнялась ровно одна вычислительная задача (а нефиг контексты переключать). Вон, pvfs2 вообще никакой POSIX-совместимости не обещает, но одной ROMIO-библиотеки для её типичных применений оказывается вполне достаточно. А файловая система там -- это всё равно, что, к примеру, sshfs поверх fuse, типа, кому вообще в голову придёт от такой примочки требовать полной POSIX-совместимости.

     
     
  • 8.19, Аноним (-), 10:09, 16/05/2011 [^] [^^] [^^^] [ответить]  
  • +/
    как смешно читать ваш бред все машины из top10 и большинство из top500 имеют ... текст свёрнут, показать
     
  • 8.20, Омоним (?), 20:22, 16/05/2011 [^] [^^] [^^^] [ответить]  
  • +/
    Честно говоря, не понял, к чему эти лозунги Пользователи Lustre - это крупнейши... текст свёрнут, показать
     
  • 4.14, Омоним (?), 20:24, 14/05/2011 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >Т.е. в настоящее время наука не знает способов синхронизации доступа к носителям, контролирумыми разными системами

    Всегда удивлялся, почему некоторые люди так любят делать утверждения вселенского масштаба, не имея представления даже об азах.

     

  • 1.7, pofig (?), 04:23, 13/05/2011 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ага, вот такие оряклы до чужого добра жадные.

    Тока чего-то я в ванильном ядре драйверов люстры не видел (как и CXFS, к слову), а вот ocfs2 - скока угодно!

     
     
  • 2.13, Аноним (-), 20:22, 14/05/2011 [^] [^^] [^^^] [ответить]  
  • +/
    > Ага, вот такие оряклы до чужого добра жадные.
    > Тока чего-то я в ванильном ядре драйверов люстры не видел (как и
    > CXFS, к слову), а вот ocfs2 - скока угодно!

    Наверно по тому что - для быстрой работы люстры нужна была стопка патчей - которые не очень вязались и идеологией linux VFS (как было и у рейсерФС) - кроме того у люстры совершенно свой сетевой стек и не самый маленький ее кусок.
    К слову принято решение о том что lustre client будет в vanila kernel и работы в этом направлении идут.


    PS. а скажите внутренний формат OCFS2 до сих пор не умеет адресовать болье 256 нод? а как OCFS2 будет работать на кластере с 6 000 нод используемых к слову в NASA и обслуживаемый SGI?

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2021 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру