The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Выпуск кластерной ФС Lustre 2.11

05.04.2018 13:36

Доступен релиз кластерной файловой системы Lustre 2.11, используемой в большей части крупнейших Linux-кластеров, содержащих десятки тысяч узлов. Масштабируемость на столь крупных системах достигается благодаря многокомпонентной архитектуре. Ключевыми компонентами Lustre являются серверы обработки и хранения метаданных (MDS), управляющие серверы (MGS), серверы хранения объектов (OSS), серверы размещения объектов (OST, поддерживается работа поверх ext4 и ZFS) и клиенты (код клиента входит в состав штатного ядра Linux).

В новой версии появилась возможность хранения мелких файлов в объектном хранилище метаданных (MDT, Metadata Targets), что позволяет заметно поднять производительность при работе с файлами за счёт исключения обращения к хранилищу данных (по аналогии с тем, как мелкие файлы в некоторых ФС могут храниться в составе inode). При этом производительность ввода-вывода возрастает не только для мелких файлов, но и для больших за счёт уменьшения нагрузки, вызванной случайным доступом к блокам и, как следствие, снижения числа операций перепозиционирования магнитных головок на жестких дисках.

Вторым интересным новшеством является реализация отложенной пересинхронизации (Delayed Resync) - нового механизма обеспечения отказоустойчивости на уровне отдельных файлов, при котором файлы могут быть реплицированы на несколько серверов хранения (OST) в едином пространстве имён. Кроме повышения надёжности, данный механизм также положительно влияет на производительность за счёт возможности распараллеливания операций чтения. Из оптимизаций также представлена поддержка упреждающих блокировок (Lock Ahead), которые позволяют активировать блокировки экстентов в LDLM (Lustre Distributed Lock Manager) из пространства пользователя в асинхронном режиме.

  1. Главная ссылка к новости (https://www.mail-archive.com/l...)
  2. OpenNews: Выпуск кластерной ФС Lustre 2.10.1
  3. OpenNews: Выпуск кластерной ФС Lustre 2.10.0
  4. OpenNews: Выпуск распределённого хранилища Ceph 10.2.0
  5. OpenNews: Выпуск распределённого отказоустойчивого хранилища LeoFS 1.4.0
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/48392-lustre
Ключевые слова: lustre, fs, cluster
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (6) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 13:53, 05/04/2018 [ответить]  
  • –3 +/
    Кстати, а зачем код клиента входит в состав штатного ядра? И как много ненужной обычному пользователю функциональности включает в себя штатное ядро ?
     
     
  • 2.2, ixrws (??), 14:10, 05/04/2018 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Что значит обычный пользователь, кто он такой?
    У линукс самые разные пользователи и у них разные совершенно сценарии использования. Вот роутер обычный пользователь линукс, а вы его пользователь.
    И включает, в смысле исходники включают? А ваш дистрибутив, он что вам ядро со всеми модулями сразу ставит. Или вы вручную специально все модули зачем-то себе включаете?
    Ядро давно представляет из себя дерево исходников множества проектов, из которых пользователь использует пару десятков, может быть сотню. И каждый пользователь разные проекты использует.
     
  • 2.3, Аноним (-), 14:27, 05/04/2018 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Пойди погугили про gentoo и успокойся.
     
  • 2.4, Alex (??), 14:38, 05/04/2018 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ну, если вы и впраду интересуетесь...

    > Кстати, а зачем код клиента входит в состав штатного ядра?

    Удобно же. Не надо ядро каждый раз патчить. Разработчикам проще вносить изменения, пользователям, в том числе и "обычным", проще обновлять ядро. Это как наличие в ядре серверной и клиентской частей NFS, чем плохо?

    > И как много ненужной обычному пользователю функциональности включает в себя штатное ядро ?

    Тогда дайте ваше определение "обычного пользователя" и слова "ненужной". Неожиданно может выяснится, что ядро пишут скорее для "необычного пользователя". А "обычный пользователь" - это всего лишь частный случай, который мало кому интересен среди разработчиков ядра.

    Может быть, вас беспокоит количество количество подгружаемых модулей в ядре? Если да, то почему?

    Со всем уважением... Ни в коем случае не издеваюсь.

     
  • 2.5, Аноним (-), 15:47, 05/04/2018 [^] [^^] [^^^] [ответить]  
  • +/
    А с кластером,-  это и есть обычный пользователь linux. Ну тот от которого польза есть ..
     

  • 1.6, kvaps (ok), 18:42, 05/04/2018 [ответить]  
  • +/
    > реализация отложенной пересинхронизации (Delayed Resync)

    Это же File Level Redundancy который я так долго ждал!
    http://wiki.lustre.org/File_Level_Replication_High_Level_Design

    Люстра теперь умеет RAID-1 для данных, но не для метаданных...

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру