The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Новый выпуск кластерной файловой системы Lustre 1.8

08.05.2009 14:20

Компания Sun Microsystems представила релиз кластерной файловой системы Lustre 1.8.0, используемой в Linux кластерах, входящих в десятку самых мощных суперкомпьютеров мира.

Из новшеств, появившихся в версии 1.8, можно отметить:

  • Переход на Linux ядра: 2.6.22.14 с kernel.org, RHEL5 kernel-2.6.18-92.1.17.el5 и SLES10 SP2 kernel-2.6.16.60-0.31;
  • Поддержка кеширования на стороне OSS сервера;
  • Адаптивные таймауты (adaptive timeouts) включены по умолчанию;
  • Добавлена возможность использования блоков OST в файлах в групповом порядке (1,3,4,7,8), а не в строго последовательном, как это было ранее (1,2,3,4,5,6,7,8) (OST Pools support);
  • Улучшения в инструменте управления квотами;
  • Раздельный запуск сервисов MGS и MDT;
  • Добавлены опции -gid, -group, -uid, -user к команде lfs find;
  • Добавлена утилита lustre_start для запуска и останова большого числа Lustre серверов с помощью CSV файла;
  • Журнал теперь не синхронизируется после каждой операции ввода/вывода.


  1. Главная ссылка к новости (https://cds.sun.com/is-bin/INT...)
  2. OpenNews: Кластерная ФС Lustre портирована под FUSE
  3. OpenNews: Кластерная ФС Lustre будет работать поверх ZFS
  4. OpenNews: Sun Microsystems поглотила создателя кластерной файловой системы Lustre
  5. OpenNews: Открыт доступ к CVS репозиторию кластерной ФС Lustre
  6. OpenNews: Обзор архитектуры кластерной файловой системы Lustre
Автор новости: Undir
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/21644-Lustre
Ключевые слова: Lustre, cluster
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (11) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, alexxy (?), 18:42, 08/05/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Как всегда... С более новыми ядрами оно не работает. =(
     
     
  • 2.2, mv (??), 00:39, 09/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Суровый энтерпрайз в лице RHEL-5.2 EUS есть - значит, всё хорошо.
     
  • 2.4, _umka_ (??), 17:09, 09/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Patchless client - работает до .27 ядра (лично делал эту задачу).
    Сервера - работают, на .22 - работа по поддержке .27 в процессе, там основная проблема в миграции ldiskfs патчей на ext4, так как ext4 это практически то что люстра использует в качестве backend storage - уже года 2-4.
    Но в тоже время существуют некоторые отличия, существовании дополнительных callback вызываемых по концу каждой транзакции, некоторый тюнинг и тп.
     
     
  • 3.7, alexxy (?), 19:15, 09/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    ну вот если будет держать апстрим ядра то будет хорошо.
    я вообще хотел когда то поддержку люстры в генту закомитеть но как то не срослось с ней.

    ЗЫ вообще есть железо где 22 ядро работать не сможет. так что жаль что нет поддержки новых ядер

     
     
  • 4.9, _umka_ (??), 22:56, 10/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    Any patches are welcome.

    PPS. дебиановцы как-то собирают пакеты и ничего, а в генте нельзя выясняется..

     

  • 1.3, rstone (?), 12:13, 09/05/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А с glusterfs кто нибудь сравнивал новую люстру ?
    Старая (1.6 ) сливала  вчистую ...
     
     
  • 2.5, _umka_ (??), 17:26, 09/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >А с glusterfs кто нибудь сравнивал новую люстру ?
    >Старая (1.6 ) сливала  вчистую ...

    А пацаны в Cray и HP (серия стораджей SFS) то не знают :) На каких операциях, можно поинтересоваться?
    http://gluster.org/docs/index.php/GlusterFS_1.3.pre2-VERGACION_vs_Lustre-1.4.
    если об этом.. то давайте посмотрим внимательно
    1) тест env описано не вменяемое - 10 серверов, 20 клиентов.. и все?
    2) Настройки люстры никто не показал, как и glusterfs. Да если люстра выставить lnet.debug=-1 / lnet.subsystem_debug=-1, у нее падает производительность раза в 3-4, по сравнению с установкой теж же переменных в 0.
    Размер журнала не указан, не указан какой страйпинг используется - сразу на все oss или на 1, не понятно.
    3) время посчитали, а где io load, или cpu load с серверных и тп нод?
    странный бенчмарк..

    спорим я сделаю бенчмарк где люстра будет рвать в клочья gluster ? ;-)

     
     
  • 3.6, аноним (?), 18:32, 09/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >спорим я сделаю бенчмарк где люстра будет рвать в клочья gluster ? ;-)

    а если у люстры пара нод сдохнет во время теста, как рвалка, не отвалится?

     
     
  • 4.10, _umka_ (??), 23:00, 10/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >>спорим я сделаю бенчмарк где люстра будет рвать в клочья gluster ? ;-)
    >
    >а если у люстры пара нод сдохнет во время теста, как рвалка,
    >не отвалится?

    Не отвалится. механизмы failover / failout  + recovery значильно более правильный чем у glusterfs.
    А как там со страйпингом в gluster - оно уже научилось утилизировать всю полосу сетевой? или все так же striping is bad - потому как мы его и рековери для этого случая реализовать не можем ?

    PS. покажите хоть один кластер в TOP500 с glusterfs?
    PPS. усложним задачу - покажите хоть один в top100, и top10.
    А люстра вот стоит на 7 из TOP10.

     

  • 1.8, rstone (?), 10:36, 10/05/2009 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А пацаны  , где бы они не сидели , тут вообще не к месту .
    У люстры  есть ( были в 1.6 ) проблемы с туевой хучей фаилов , mds  напрягается :)
    У *меня* сложилось мнение  , что  чтобы люстру раскачать - надо  много ( видимо сотни ) нодов  и относительно большие файлы .

    Glusterfs ,  по *моему* мнению ,  раскачивается на десятках машин относительно без проблем .
      

     
     
  • 2.11, _umka_ (??), 23:07, 10/05/2009 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    >не к месту .
    >У люстры  есть ( были в 1.6 ) проблемы с туевой
    >хучей фаилов , mds  напрягается :)
    >У *меня* сложилось мнение  , что  чтобы люстру раскачать -
    >надо  много ( видимо сотни ) нодов  и относительно
    >большие файлы .
    >
    >Glusterfs ,  по *моему* мнению ,  раскачивается на десятках машин
    >относительно без проблем .
    >

    Дебаг - который включен практически по максиуму в деволтовом варианте - не пробывали выключить ?:)
    Опять же общие слова "с туевой кучей файлов", хотелось бы уточнений - параметры FS, какие операции?
    Есть ли shared доступ к файлу, или каждая нода работает со своими файлами и тп.
    Что используется в роли интерконекта - обычный зернет с tcp поверх (сакс) или 10gigE, или IB (что самое лучшее)?

    PPS. собственный overhead mds над ext3/ext4 - очень маленький, больше влияет сетевой транспорт ибо он дает задержки на мелком обмене.

     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру