The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

18.09.2018 10:03  Компания Versity открыла исходные тексты файловой системы ScoutFS

Компания Versity объявила об открытии исходных текстов специализированной файловой системы ScoutFS, оптимизированной для хранения архивных данных. Утверждается, что ScoutFS стала первой открытой файловой системой для архивирования, нацеленной на предоставление промышленного уровня надёжности и масштабирования при хранении огромного числа файлов. Код опубликован под свободной лицензией GPLv2, что позволяет в будущем включить его в основной состав ядра Linux. В настоящее время ScoutFS распространяется в виде внешнего модуля для ядра Linux из состава RHEL/CentOS 7.x.

ScoutFS относится к категории кластерных систем, организующих доступ группы серверов к совместному хранилищу данных. В ScoutFS встроены сервисы для хранения метаданных, механизм индексации и средства для контроля целостности хранимой информации. Важная особенность ScoutFS в отсутствии отдельного централизованного сервера обработки метаданных, так как вся функциональность реализуется на конечных узлах и метаданные обрабатываются на всех узлах или отдельной группе узлов в кластере. Непосредственно данные хранятся на внешнем общем хранилище, а не распределены по узлам. На узлах лишь поддерживается общий синхронизированный индекс метаданных.

ScoutFS существенно расширяет возможности традиционных ФС по числу хранимых файлов в одном пространстве имён, позволяя хранить в одной ФС до триллиона файлов. ФС также рассчитана на высокую интенсивность поступления данных и может обрабатывать большое число одновременных запросов на создание файлов. Работа с ScoutFS напоминает традиционные ФС - семантика соответствует требованиям POSIX, а хранилище разворачивается поверх общего для всех узлов блочного устройства, на котором создаётся ФС и монтируется на всех узлах кластера.

Ключевые особенности ScoutFS:

  • Интегрированный движок индексации данных, ускоряющий операции обслуживания архива. Индексация позволяет сразу отслеживать все изменения данных и атрибутов файлов. Для обращения к индексу предоставляется специальный интерфейс для формирования запросов AQI (Accelerated Query Interface);

  • Применение совместно используемого на разных узлах индекса. Индекс построен на базе LSM-дерева (Log-structured merge-tree), обеспечивающего высокую производительность в условиях интенсивного добавления новых данных;
  • Благодаря индексации время поиска файлов практически не зависит от числа файлов в ФС. Сравнение ScoutFS и XFS:
  • Сокращение конкурирующих операций, благодаря отделению логических блокировок от операций сериализированной записи на устройство;
  • Поддержка различных ресурсов для конечного хранения данных, включая ленточные накопители, диски, хранилища объектов и облачные системы;
  • Обеспечение отказоустойчивости: узлы могут на лету отключаться и подключаться без нарушения работы ФС и потери сохраняемых данных;
  • Полное соответствие единой семантике POSIX на разных узлах;
  • Контроль целостности метаданных и ссылок на данные;
  • Автоматические транзакции для поддержания согласованности постоянных структур;
  • Реализация в виде оптимизированного модуля ядра, обеспечивающего минимальные задержки и высокую производительность.


  1. Главная ссылка к новости (http://www.versity.com/blog/ve...)
  2. OpenNews: Facebook открыл код распределённой системы хранения LogDevice
  3. OpenNews: Первый выпуск файловой системы Zbox
  4. OpenNews: Представлена LittleFS, компактная файловая система для встраиваемых устройств
  5. OpenNews: Компания Alibaba открыла код P2P-системы доставки файлов Dragonfly
  6. OpenNews: Для Linux представлена файловая система TxFS с поддержкой ACID-транзакций
Лицензия: CC-BY
Тип: Программы
Ключевые слова: scoutfs, archive, fs, cluster
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
 
  • 1.1, Аноним (1), 10:17, 18/09/2018 [ответить] [показать ветку] [···]    [к модератору]
  • +2 +/
    хм... а уже появились какие-то вменяемые методы сделать верифицируемый бекап со всех распространённых ФС и с БД внутри, который можно в случае смерти быстро поднять прям как снапшот?
     
     
  • 2.3, Annoynymous (ok), 10:53, 18/09/2018 [^] [ответить]    [к модератору]
  • –1 +/
    Снапшот ФС с любой ФС?

    LVM.

    > и с БД внутри

    Никак.

     
     
  • 3.5, blblbl (?), 10:56, 18/09/2018 [^] [ответить]    [к модератору]
  • +/
    Flush tables with read lock; внутри ВМ. Потом LVM  снапшот.  
     
     
  • 4.13, Annoynymous (ok), 13:05, 18/09/2018 [^] [ответить]    [к модератору]
  • –2 +/
    Ну ему же хочется просто снапшот, без смыва, я так понял.
     
  • 3.33, Аноним (33), 20:37, 18/09/2018 [^] [ответить]    [к модератору]
  • –1 +/
    Почему никак? Зависит от рук и БД.
     
  • 2.19, Аноним (19), 14:00, 18/09/2018 [^] [ответить]     [к модератору]  
  • +2 +/
    Написано что можно тут https www postgresql org docs 9 0 static backup-file h... весь текст скрыт [показать]
     
  • 1.2, Аноним (2), 10:27, 18/09/2018 [ответить] [показать ветку] [···]     [к модератору]  
  • +3 +/
    теперь в качестве движка хранения для этой штуки нужно прикрутить другую распред... весь текст скрыт [показать]
     
  • 1.4, Аноним (4), 10:56, 18/09/2018 [ответить] [показать ветку] [···]     [к модератору]  
  • +1 +/
    Сетевые FS не в счет а то вот есть под боком одна файловая система - 15P и ... весь текст скрыт [показать]
     
  • 1.6, Аноним (4), 11:18, 18/09/2018 [ответить] [показать ветку] [···]     [к модератору]  
  • +1 +/
    Не умеет OFED - совсем LOCKING сделал per inode, паралельные чтения еще возможн... весь текст скрыт [показать]
     
  • 1.7, Moomintroll (ok), 11:31, 18/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    > ScoutFS относится к категории кластерных систем, организующих доступ группы серверов к совместному хранилищу данных.
    > Важная особенность ScoutFS в отсутствии отдельного централизованного сервера обработки метаданных, так как вся функциональность реализуется на конечных узлах и метаданные обрабатываются на всех узлах или отдельной группе узлов в кластере. Непосредственно данные хранятся на внешнем общем хранилище, а не распределены по узлам. На узлах лишь поддерживается общий синхронизированный индекс метаданных.

    Что не так с ocfs2 и gfs2?

    > ScoutFS существенно расширяет возможности традиционных ФС по числу хранимых файлов в одном пространстве имён, позволяя хранить в одной ФС до триллиона файлов.

    А, вот что. Ну допустим... А сколько будет стоить хранилище под такую задачу? Думаю, потому и выбросили проект на мороз, что для хранения "триллиона файлов" теперь дешевле и эффективнее использовать распределённые ФС, вроде ceph или lustre.

     
     
  • 2.10, Аноним (4), 11:58, 18/09/2018 [^] [ответить]    [к модератору]  
  • +/
    > Что не так с ocfs2 и gfs2?

    OCFS2 научилось маштабироваться выше 256 узлов ? правда уже при этом были дикие тормоза из-за локинга на каждый блок.

     
     
  • 3.34, Аноним (33), 20:39, 18/09/2018 [^] [ответить]     [к модератору]  
  • +/
    В OCFS2 угрёбищно сделано квотирование, пишет один длиннющий псевдофайл, верифик... весь текст скрыт [показать]
     
     
  • 4.40, Аноним (40), 07:40, 19/09/2018 [^] [ответить]     [к модератору]  
  • +/
    А для чего я грешным думал что что бы раздавать большие объемы PS в OCFS2 - л... весь текст скрыт [показать]
     
     
  • 5.41, Аноним (33), 09:00, 19/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Чтобы раздавать большие объёмы - лучше что-то с шардингом посмотреть. OCFS2 - более-менее shared FS общего назначения. Применимо для HA, для compute cluster, и для раздачи тоже, но не silver bullet.
     
     
  • 6.44, Аноним (40), 11:19, 19/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    а что в compute cluster еще делают раздают большие объемы Если посмотреть на ф... весь текст скрыт [показать]
     
     
  • 7.49, Аноним (33), 20:07, 19/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Шардинг отменили?
     
  • 7.50, Аноним (33), 20:07, 19/09/2018 [^] [ответить]    [к модератору]  
  • +/
    В compute cluster - считают, объёмы при этом могут быть разными.
     
  • 2.31, Аноним (33), 20:35, 18/09/2018 [^] [ответить]     [к модератору]  
  • +/
    С GFS2 не так кластерный стек, увы, только для сферического кластера в вакууме, ... весь текст скрыт [показать]
     
     
  • 3.32, Аноним (33), 20:35, 18/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Хотя, для compute cluster без HA GFS2 тоже заруливает, да.
     
  • 1.8, Аноним (8), 11:31, 18/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    https://en.wikipedia.org/wiki/OpenAFS
     
     
  • 2.9, Moomintroll (ok), 11:43, 18/09/2018 [^] [ответить]    [к модератору]  
  • –2 +/
    Тёплое vs мягкое

    > ScoutFS относится к категории кластерных систем, организующих доступ группы серверов к совместному хранилищу данных.

     
     
  • 3.11, Аноним (4), 12:01, 18/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    > Реализация в виде оптимизированного модуля ядра, обеспечивающего минимальные задержки и высокую производительность.

    А OFED не знает.. или хотя бы AF_RDS

     
  • 1.12, ddgrg (?), 12:42, 18/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Это конкурент ceph?
     
     
  • 2.14, пох (?), 13:13, 18/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    нет, это перпендикулярный проект - ceph когда надо быстро и данные под рукой, но... весь текст скрыт [показать]
     
     
  • 3.22, Moomintroll (ok), 14:38, 18/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    > оно будет расти пока не заполнит весь глобус

    Куда, нафиг, оно будет расти?

    > Непосредственно данные хранятся на внешнем общем хранилище, а не распределены по узлам.

    Это про FC/iSCSI

     
  • 3.28, Аноним (33), 20:27, 18/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Пейсмакер с коросинком не дадут заполнить глобус уже при 3-5 мс latency.
     
     
  • 4.43, пох (?), 11:15, 19/09/2018 [^] [ответить]    [к модератору]  
  • +/
    уп-с...

    да ну, нафиг, 5ms, не может быть? Может все же 50?

     
     
  • 5.48, Аноним (33), 20:06, 19/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Увы, может. 5 нод с latency около ms благополучно флапали коросинк, а в случаях развала кольца - убивали кластер. Пришлось тюнить, потом, когда наполучался удовольствия - выкинуть.
     
  • 2.15, Аноним (15), 13:13, 18/09/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Current Status Initial Alpha Open Source Release scoutfs is under heavy active d... весь текст скрыт [показать]
     
  • 1.16, Аноним (16), 13:35, 18/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    сетевая фс в ядре = бекдор

    ведь в любой достаточно сложной программе есть уязвимости

     
     
  • 2.17, anonymous (??), 13:41, 18/09/2018 [^] [ответить]    [к модератору]  
  • +2 +/
    сетевой <placeholder> в ядре = бекдор

    не показатель.

     
  • 2.47, Аноним (33), 20:05, 19/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Сеть - вообще бэкдор. Выдерните кабели, выломайте антенны и прочие приёмники/передатчики.
     
  • 1.20, Аноним (20), 14:10, 18/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    "Семантика соответствует требованиям POSIX" - обычно звездёжь. Как у неё с POSIX locking?
     
     
  • 2.26, KonstantinB (ok), 20:13, 18/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Ну вот код, разбирайтесь: https://github.com/versity/scoutfs-kmod-dev/blob/7d1ea197c295380ec729693d2301c

    А вообще, конечно, семантика posix locks крайне неудачная для сетевых ФС.

     
     
  • 3.27, Аноним (33), 20:26, 18/09/2018 [^] [ответить]    [к модератору]  
  • +/
    DLM, то есть пейсмакер с коросинком. Всё веселье в одном флаконе.
     
     
  • 4.29, Аноним (33), 20:29, 18/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    встроенный DLM с выносным кластерным стеком, которых на деле 1 штука В той ж... весь текст скрыт [показать]
     
  • 4.35, Аноним (40), 20:39, 18/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    вы путаете. это поделие использует тот же DLM что и OCFS2.
     
     
  • 5.42, Аноним (33), 09:02, 19/09/2018 [^] [ответить]     [к модератору]  
  • +/
    Это вы путаете DLM да, кластерный стек - нет У OCFS2 есть свой кластерный стек... весь текст скрыт [показать]
     
     
  • 6.45, Аноним (40), 11:26, 19/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    DLM и кластерный стек это вещи разные - от слова совсем так же как и STONITH - ... весь текст скрыт [показать]
     
     
  • 7.46, Аноним (33), 20:03, 19/09/2018 [^] [ответить]    [к модератору]  
  • +/
    Хосспаде, ну запусти мне "родной" DLM в Linux без кластерного стека или его подобия.
     
     
  • 8.51, Аноним (40), 09:21, 20/09/2018 [^] [ответить]     [к модератору]  
  • +/
    Легко Для монтирования руками различных нод кластера - ума много не надо При э... весь текст скрыт [показать]
     
  • 3.37, Аноним (40), 20:47, 18/09/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    еще один не путайте требования POSIX и POSIX LOCKs первое включает очень боль... весь текст скрыт [показать]
     
  • 2.36, Аноним (40), 20:41, 18/09/2018 [^] [ответить]     [к модератору]  
  • +/
    формально есть DLM, есть какие-то события быть святее папы римского и оптимизир... весь текст скрыт [показать]
     
  • 1.21, Аноним (21), 14:13, 18/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    >Непосредственно данные хранятся на внешнем общем хранилище, а не распределены по узлам.

    Ну тогда ничего для себя интересного не вижу.

     
  • 1.23, yet another anonymous (?), 17:21, 18/09/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    Зачем ядру иметь в себе структуры, существенно зависящие от внешних обстоятельств? Чем userspace здесь не угодил?
     
     
  • 2.24, Crazy Alex (ok), 18:42, 18/09/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Модули в помощь. Не надо - не грузишь. А кому-то эти "внешние обстоятельства" приемлемы.
     
     
  • 3.25, yet another anonymous (?), 19:29, 18/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    Причем тут модули?

    Речь о том, что для ядра взаимодействие с внешними системами (через подсистемы ядра же)
    происходит за неизвестно-какое-время с неизвестно-каким-результатом. И, собственно, почему эта логика (обеспечение гарантий целостности, непротиворечивости, ...) должна быть в ядре, а не в userspace?

     
     
  • 4.30, Аноним (33), 20:31, 18/09/2018 [^] [ответить]    [к модератору]  
  • +3 +/
    Потому что делать десяток контекст свитчей на каждую блочную операцию могут только фанаты фс на питоне.
     
     
  • 5.38, Аноним (38), 23:56, 18/09/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    Т е по вашей логике разница между ядром и юзерспейсом в том что в ядре должен быть сложный код, а в юзерспейсе простой?
     
     
  • 6.39, Аноним (39), 07:04, 19/09/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Простой должен быть в обоих, но вам как сложному не понять.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor