The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Доступна новая версия распределённой файловой системы XtreemFS 1.4

14.11.2012 12:53

На проходящей в эти дни конференции Supercomputing 2012 представлен релиз распределенной файловой системы XtreemFS 1.4, реализация которой распространяется под лицензией BSD. С момента прошлого выпуска было внесено несколько тысяч изменений, на тестирование и стабилизацию которых был потрачен примерно год.

XtreemFS позволяет организовать работу хранилища с распределением данных по нескольким серверам. Для обеспечения отказоустойчивости и обеспечения параллельного доступа данные могут реплицироваться между узлами. Процесс репликации оптимизирован для использования низкоскоростных соединений и возможных временных обрывов связи. Например, при помощи XtreemFS можно обеспечить синхронизацию хранилища на нескольких серверах в разных дата-центрах. Для расширения размера хранилища достаточно подключить к распределенному хранилищу дополнительные узлы хранения. Предоставляется возможность гибкого контроля и управления работой ФС через подключение плагинов. Возможно создание снапшотов и бэкапа метаданных в асинхронном режиме. Для защиты передаваемых по сети данных от перехвата поддерживается использование SSL.

Серверная часть XtreemFS, обеспечивающая управление метаданными, написана на языке Java. Клиент для работы с XtreemFS написан на С++ и доступен для Unix-подобных ОС, Windows и Mac OS X. Клиентская часть ФС работает в пространстве пользователя (user-space) с использованием FUSE. Для приложений работа с XtreemFS мало чем отличается от NFS (XtreemFS может использоваться как замена NFS), так же нет отличий от того, является ли файл реплицированным на локальную систему или доступен только с удаленного хоста.

Из новшеств, добавленных в XtreemFS 1.4, можно отметить:

  • Асинхронный режим записи. При монтировании раздела с опцией "--enable-async-writes" все операции записи будут выполнятся в фоне без блокировки до завершения записи, что позволяет добиться заметного увеличения пропускной способности;
  • Поддержка интеграции с открытой платформой для распределённой обработки данных Apache Hadoop. XtreemFS теперь может использоваться для замены HDFS в конфигурациях Hadoop;
  • Поставка библиотеки libxtreemfs для языка Java, позволяющей получить доступ к разделам XtreemFS напрямую из Java-приложений;
  • Интеграция алгоритма Vivaldi для оптимального выбора хоста при осуществлении репликации данных в распределённой сети. Ближайший к клиенту хост выбирается на основании задержки доставки пакетов;
  • Полностью переписанный клиент для платформы Windows. Новый клиент написан на языке C++ с использованием libxtreemfs и Callback FS от компании EldoS;
  • Увеличение стабильности работы клиентских и серверных частей. В частности, устранены наблюдаемые в прошлых выпусках крахи клиента при проблемах с передачей данных по сети и недоработки в реализации Read/Write репликации файлов;
  • Расширенные функции выбора хранилищ объектов (OSD). Для OSD можно привязывать собственные атрибуты, на основании которых определять лимиты на размещение файлов;
  • Обновлённая реализация репликации DIR/MRC, в том числе с поддержкой механизмов обеспечения отказоустойчивости в процессе репликации DIR. Тем не менее, репликация DIR/MRC всё ещё имеет статус экспериментальной возможности;
  • Из областей, которые могут оказаться интересны для реализации силами сообщества отмечаются поддержка интеграции с chef или puppet для автоматизации развёртывания XtreemFS; разработка клиентского GUI на Qt; создание на базе libxtreemfs интерфейса, совместимого с API Amazon S3; интеграция с Qemu/KVM на базе C++ версии библиотеки libxtreemfs.


  1. Главная ссылка к новости (http://xtreemfs.blogspot.ru/20...)
  2. OpenNews: Новый вариант распределённой файловой системы POHMELFS готов для включения в ядро Linux
  3. OpenNews: Открыт код системы распределённой памяти Galaxy
  4. OpenNews: Марк Шаттлворт инвестировал миллион долларов в развитие распределённого хранилища Ceph
  5. OpenNews: Обновление децентрализованной файловой системы Tahoe-LAFS 1.9.1
  6. OpenNews: Релиз распределенной файловой системы GlusterFS 3.3
Лицензия: CC-BY
Тип: Программы
Ключевые слова: xtreemfs, replication
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (12) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.10, Аноним (-), 15:05, 14/11/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Это аналог GPFS?
     
     
  • 2.18, Аноним (-), 17:44, 14/11/2012 [^] [^^] [^^^] [ответить]  
  • +/
    GPFS позиционируется как высокопроизводительная. В XtreemFS о такой ерунде не парятся.
     

  • 1.19, Аноним (-), 18:34, 14/11/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Уважаемые, а есть ли решения для организации распределённой FS в FreeBSD?
    HAST - пока не в счёт.
     
     
  • 2.21, javdienko (?), 20:48, 14/11/2012 [^] [^^] [^^^] [ответить]  
  • +/
    не считая csync2 и клиента openafs по сути больше ничего и нет, ну для полноты картины можно придумать костыли вокруг zfs send/recv но это все по большому счету игрушки. оно и не развивалось во фре никогда. а вот в DFBSD имеется вполне себе рабочая кувалдочка..
     
  • 2.22, fidaj (ok), 22:26, 14/11/2012 [^] [^^] [^^^] [ответить]  
  • +/
    а HAST это вообще не DFS...
     
  • 2.23, Аноним (-), 23:00, 14/11/2012 [^] [^^] [^^^] [ответить]  
  • +/
    А в чём с этой же XtreemFS проблема? FUSE есть, собирай @ запускай.
     

  • 1.20, Aqueelone (?), 20:40, 14/11/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    всеб хорошо, но со старту имеем:
    ----------------------------------
    Наступні пакунки мають незадоволені залежності:
    xtreemfs-client : Залежності (Depends): libboost-program-options1.42.0 (>= 1.42.0-1) проте його неможливо встановити.
                       Залежності (Depends): libboost-regex1.42.0 (>= 1.42.0-1) котрий є віртуальним пакунком.
                       Залежності (Depends): libboost-system1.42.0 (>= 1.42.0-1) котрий є віртуальним пакунком.
                       Залежності (Depends): libboost-thread1.42.0 (>= 1.42.0-1) котрий є віртуальним пакунком.
                       Залежності (Depends): fuse-utils (>= 2.6) but it is not going to be installed.
    Ці залежності можуть розв'язати такі дії:

         Зберегти поточні версії таких пакунків:
    1)     xtreemfs-client [Не встановлений]
    -------------------------------------------

    Тобиш -- вещь конечно вкусная -- но нужно побождать... :)  

     
     
  • 2.24, haku (??), 23:44, 14/11/2012 [^] [^^] [^^^] [ответить]  
  • –2 +/
    У тебя что-то с локалью.
     
  • 2.25, Аноним (-), 03:18, 15/11/2012 [^] [^^] [^^^] [ответить]  
  • –3 +/
    это что за богомерзские каракули на моих православных опеннетах? "Наступні", "Ці", 'залежності" "можуть" - тьфу, поубывал бы
     
  • 2.26, Crazy Alex (ok), 07:00, 15/11/2012 [^] [^^] [^^^] [ответить]  
  • +/
    Обновите систему. Глянул сейчас дебиан свой - 1.42.0-4 в stable (то есть сгодится), в testing вообще 1.49. Для fuse-utils - 2.8.4-1.1 в stable.
     
  • 2.27, piteri (ok), 09:20, 15/11/2012 [^] [^^] [^^^] [ответить]  
  • –1 +/
    И не лень было раскладки переключать?

    [code]
    sudo apt-get install xtreemfs-*
    Чтение списков пакетов… Готово
    Построение дерева зависимостей      
    Чтение информации о состоянии… Готово
    Заметьте, выбирается «xtreemfs-backend» для регулярного выражения «xtreemfs-*»
    Заметьте, выбирается «xtreemfs-server» для регулярного выражения «xtreemfs-*»
    Заметьте, выбирается «xtreemfs-tools» для регулярного выражения «xtreemfs-*»
    Заметьте, выбирается «xtreemfs-client» для регулярного выражения «xtreemfs-*»
    Будут установлены следующие дополнительные пакеты:
      attr fuse-utils libboost-program-options1.48.0 libboost-regex1.48.0 libboost-system1.48.0
      libboost-thread1.48.0
    НОВЫЕ пакеты, которые будут установлены:
      attr fuse-utils libboost-program-options1.48.0 libboost-regex1.48.0 libboost-system1.48.0
      libboost-thread1.48.0 xtreemfs-backend xtreemfs-client xtreemfs-server xtreemfs-tools
    [/code]

    Обновляйтесь уже.

     

  • 1.28, Аноним (-), 14:59, 18/11/2012 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ну почему Java?!
    Что - мало граблей на белом свете?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Слёрм
    Inferno Solutions
    Hosting by Ihor
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2019 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру