В состав ядра Linux 4.6 принят код файловой системы OrangeFS

27.03.2016 12:12

Анонсировав первый кандидат в релизы ядра Linux 4.6, Линус Торвальдс сообщил о принятии в последний момент патчей с реализацией распределённой файловой системы OrangeFS, которая рассчитана на применение в высокотехнологичных high-end-серверах и кластерах для достижения максимальной производительности доступа к данным из распараллеленных приложений.

В качестве основы OrangeFS использованы наработки проекта PVFS (Parallel Virtual File System), развиваемого с 1993 года при поддержке NASA для изучения методов эффективной обработки ввода/вывода в параллельно выполняемых кластерных системах. PVFS создавалась для замены NFS в кластерах и отличается наличием отдельного сервера обработки метаданных, координирующего обращение к данным, размещаемым на специальных узлах хранения.

Разработка OrangeFS нацелена на развитие расширенных возможностей, отсутствующих в основном варианте PVFS (например, отказоустойчивость и расширенные механизмы контроля доступа). OrangeFS может применяться в областях, недостаточно полно поддерживаемых PVFS. Из типичных областей применения OrangeFS называются высокопроизводительные вычисления (HPC), обработка больших объёмов данных (BigData), потоковое вещание видео, решение задач геномики и биоинформатики. Из сходных с PVFS характеристик отмечается производительность, надёжность, оптимизация для MPI-IO, независимость от оборудования и простота развёртывания.

Основные особенности OrangeFS:

Распределение данных между несколькими файловыми серверами (метаданные обрабатываются несколькими коллективно взаимодействующими серверами). Поддерживается концепция распределённых директорий. В качестве альтернативы выборки по файловому пути предоставляются средства поиска метаданных;
Поддержка одновременного доступа нескольких клиентов;
Для хранения данных и метаданных используются существующие локальные файловые системы и методы доступа;
Реализация в пространстве пользователя с выносом базовых функций в модуль ядра;
Поддержка MPI;
Поддержка работы без сохранения состояния (stateless, сервер не обслуживает такие операции как открытие файлов);
Поддержка кэширования наиболее востребованных данных на стороне клиента;
Наличие гибкого механизма контроля доступа на основе ACL и заверенных учётных записей (signed credentials);
Настраиваемый уровень избыточности хранения данных, позволяющий найти оптимальный баланс между отказоустойчивостью, производительностью и затратами на оборудование. Разные файлы могут иметь разные уровни избыточности хранения. Для достижения максимальной производительности хранение избыточной информации может быть полностью отключено.

исправить +22 +/–

Лицензия: CC BY 3.0

Короткая ссылка: https://opennet.ru/44113-orangefs

Ключевые слова: orangefs, linux, kernel

При перепечатке указание ссылки на opennet.ru обязательно

Обсуждение (56)

1.1, A.Stahl (ok), 12:31, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

–12 +/–

>OrangeFS

Какая-то узкоспециальная штука, с которой не то что пользователи, но и редкие админы кода-либо пересекутся.
>PVFS

В масштабе ФС, NASA звучит как-то весомей, чем министерство энергетики.

2.15, Аноним (-), 14:39, 27/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

+6 +/–

>В масштабе ФС, NASA звучит как-то весомей, чем министерство энергетики.

министерство энергетики на два порядка покрупнее, распределённее и вообще настоящая бигдата в реалтайме.

2.35, rshadow (ok), 18:04, 27/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+29 +/–
Какая-то узкоспециальная штука Так весь топ технологий узкоспециализированных. Широкий профиль это адммн на предприятии: хочешь Эксель поставит, а хочешь утюг починит.

2.38, кругомогорожено (?), 19:05, 27/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+9 +/–
> В масштабе ФС, NASA звучит как-то весомей, чем министерство энергетики. Товарищ понятия не имеет о масштабах пиндосского министерства энергетики...

2.75, Аноним (-), 19:20, 28/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
> В масштабе ФС, NASA звучит как-то весомей NASA легче, они в космос летают.

1.2, Аноним (-), 12:42, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
А лицензия какая?

2.3, Аноним (-), 12:45, 27/03/2016 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Сомневаюсь, что не православная.

3.66, Аноним (-), 12:59, 28/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Греческая?

2.5, anonymous (??), 12:54, 27/03/2016 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
[user@host orangefs]$ pwd /home/user/linux-mainline/fs/orangefs [user@host orangefs]$ head file.c /* * (C) 2001 Clemson University and The University of Chicago * * See COPYING in top-level directory. А в COPYING в linux-mainline GPLv2.

2.20, Какаянахренразница (ok), 16:26, 27/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+2 +/–
> А лицензия какая? Лицензия не может отличаться от лицензии остального ядра. Стало быть, GPLv2.

3.33, Аноним (-), 17:13, 27/03/2016 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–1 +/–
Ну-ка, ну-ка, поподробнее https github com torvalds linux blob 984065055e6e39... большой текст свёрнут, показать

4.60, fi (ok), 01:14, 28/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

+1 +/–

i915_drv.c:
MODULE_LICENSE("GPL and additional rights");

A header - там свое, читай что притащил сам.

собственно .h файлы уже вывели из под копирайта - это всего лишь описание интерфейса

3.62, Аноним (-), 02:21, 28/03/2016 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–3 +/–
> Лицензия не может отличаться от лицензии остального ядра. Стало быть, GPLv2. Все зависит от того, кто оплатил. Если это государственный грант - то только пермиссивная. Если частный - зависит от грантодателя.

4.69, _ (??), 16:22, 28/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–1 +/–
>> Лицензия не может отличаться от лицензии остального ядра. Стало быть, GPLv2. >Все зависит от того, кто оплатил. Если это государственный грант - то только пермиссивная. ШАС! Впрочем если это не заказ софто-пейсателям, а грант на исследования в университет, то таки да. Но тогда и "пермbсcивная" в стиле BSD\MIT\Apache ...

5.78, Perl_Jam (?), 22:42, 29/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
[offtop]повальный вантуз головного мозга. такие вещи пишут через прямой слэш, а не обратный. минимально язык подучить стоило бы. надоели уже[/offtop]

1.4, ня (?), 12:53, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Как межпланетная фс сможет работать или всё сведется что из локалки не выпускать?

2.21, Какаянахренразница (ok), 16:28, 27/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+8 +/–
> Как межпланетная фс сможет работать или всё сведется что из локалки не > выпускать? Владыка вселенной выбирает корневую ФС для своей империи?

2.36, rshadow (ok), 18:13, 27/03/2016 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
> Как межпланетная фс сможет работать или всё сведется что из локалки не > выпускать? Встречный вопрос: год изобретения VPN?

3.70, _ (??), 16:27, 28/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Ню-ню. Год изобретения терминов bandwidth и особенно latency ? :-\

2.84, Аноним (-), 11:10, 03/10/2016 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Межпланетная ФС надеется, что если не удастся открыть сигналы быстрее скорости света, то удастся открыть сжатие пространственных расстояний для сигналов.

1.6, bircoph (ok), 13:08, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+3 +/–
Хорошая штука для HPC. Очень выручала, когда не было отдельной хранилки и приходилось делать хранилку из откушенных разделов на рабочих узлах. Кстати, вполне сравнима с Lustre и умеет метаданные параллельно обрабатывать, поддержка IB нативная есть.

2.54, sabakka (?), 22:59, 27/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
а что не люстра? патчить ядро чтобы столкнуться с прекрасным в продакшне, как-то странно.

3.57, Led (ok), 23:13, 27/03/2016 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
> а что не люстра? патчить ядро чтобы столкнуться с прекрасным в продакшне, > как-то странно. Покажи серверную часть люстры в ядре. Или так - где-то што-то однокласники про люстру напели?

4.61, sabakka (?), 01:43, 28/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
извините, что осмеливаюсь задавать неугодные вам вопросы другому человеку, сознаюсь был дерзок.

3.59, all_glory_to_the_hypnotoad (ok), 23:36, 27/03/2016 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Luste умеет делать избыточность данных? Старые версии точно этого не умели, вообще не понятно нахрена нужна ФС такого уровня без поддержки избыточности и всяких там кодов коррекции.

1.8, Аноним (-), 13:41, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Ворос к знающим, а чем оно отличается к примеру от GlusterFS?

2.10, Аноним (-), 13:44, 27/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–2 +/–
Тем что глустер существует, а это — практически нет.

2.64, Аноним (-), 09:18, 28/03/2016 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

–1 +/–

Например вот этим:

"there is no locking system in PVFS"

Т.е. очень большая часть применений сразу отсекается. Это тупая хранилка, не более того, ни на какой разделяемый доступ к файлам, кроме чтения, и очень-очень аккуратной записи с синхронизацией нод "другим способом" она в отличие от Gluster не расчитана.

Вот только Gluster зачастую ведёт себя совершенно нестабильно. И часто ломается от версии к версии.

3.80, Аноним (-), 14:33, 01/04/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
> Gluster зачастую ведёт себя совершенно нестабильно увы, подтверждаю :(

4.83, Аноним (-), 18:54, 03/04/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
там приоритеты другие. в люстре - "свиестелок" навешали в саму ФС а тут - старательно этого избегают, скрупулезно минимизируя оверхэд/накладные, отсюда и stateless и прочее. но остальное, особенно нативный MPI - очень в тему для HPC-хреновин/проектов а вот ACL родной сделает ее больше востребованной в Очень больших коммерческих решениях, например банк среднего размера - очень возрадуется, имея систему нативно написанную под.

2.82, Аноним (-), 01:00, 03/04/2016 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–1 +/–
это не люстры конкурент а скорее ответ на хаммерФС для платформы, оную не тянущей(в принципе. слишком много слабых мест, не масштабирующихся. и валящих ее при).

1.9, Аноним (-), 13:43, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–1 +/–
похоже на грядущий слепящий вин тысячелетия, ждёмс

1.17, Аноним (-), 14:42, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Почему у других файловых систем нет своих сайтов?

2.77, Аноним (-), 21:29, 28/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
https://btrfs.wiki.kernel.org/index.php/Main_Page

1.25, iZEN (ok), 16:50, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Когда примут nullfs, чтобы обеспечить эквивалент дедупликации файлов?

2.30, A.Stahl (ok), 17:08, 27/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Банальных линков не хватает? Если так, ну что же... Возьми код nullfs, перелицензируй его на GPL, приведи внешний вид к требованиям линукс-ядра и предлагай. Вполне могут и принять. Ты же не думаешь, что этой псевдо-ФС нет по религиозным причинам?

2.32, Аноним (-), 17:12, 27/03/2016 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

+2 +/–

> Когда примут nullfs, чтобы обеспечить эквивалент дедупликации файлов?

Зачем?

man nullfs
---
DESCRIPTION
     The nullfs driver will permit the FreeBSD kernel to mount a loopback file
     system sub-tree.
---
смотрим man mount
---
Bind mounts
       Since Linux 2.4.0 it is possible to remount part of the file
       hierarchy somewhere else.  The call is:

mount --bind olddir newdir
---
Оно?

3.44, Аноним (-), 19:53, 27/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
если ты не понимаешь разницу между mount --bind и полноценной stackable FS - то мне тебя жаль..

4.49, Аноним (-), 21:18, 27/03/2016 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+2 +/–
Ну так объясни, в чем на практике разница?

5.56, sabakka (?), 23:02, 27/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–8 +/–
> Ну так объясни, в чем на практике разница? самому выяснить слабо?

4.58, Аноним (-), 23:22, 27/03/2016 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

+/–

> полноценной stackable FS
> - то мне тебя жаль..

Ты же в курсе, что bind – это фича ядра, не?
https://github.com/torvalds/linux/blob/v4.4/fs/namespace.c#L2070

static int do_loopback(struct path *path, const char *old_name,

Ты же читал, что оно умеет?
https://www.kernel.org/doc/Documentation/filesystems/sharedsubtree.txt

Или, как обычно, <это самое в лужу>?

2.79, nagual (ok), 23:49, 30/03/2016 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–1 +/–
> Когда примут nullfs, чтобы обеспечить эквивалент дедупликации файлов? Привет Изен, почту не читаешь ?

1.34, loskiq (ok), 17:48, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–6 +/–
Поставлю Ubuntu с это ФС 0)0)) Посмотрим че быстрее, ext4 или OrangeFS

2.37, Аноним (-), 18:28, 27/03/2016 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
На убунте старое ядро, Арчик и Гента нужна.

3.39, loskiq (ok), 19:42, 27/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

–1 +/–

> На убунте старое ядро, Арчик и Гента нужна.

http://kernel.ubuntu.com/~kernel-ppa/mainline/

Не думаю

2.42, Нимано (?), 19:51, 27/03/2016 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+5 +/–
> Посмотрим че быстрее, ext4 или OrangeFS >>распределение данных между несколькими файловыми серверами >>Настраиваемый уровень избыточности хранения данных, Пофиг на быстроту -- что из них мягче и фиолетовые?!

3.46, loskiq (ok), 20:07, 27/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–2 +/–
Как раз таки не пофиг. Мне быстрота и нужна

4.65, Andrey Mitrofanov (?), 10:24, 28/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+5 +/–
> Как раз таки не пофиг. Мне быстрота и нужна Потестируй tmpfs. Мне очень помогает!

4.73, pavlinux (ok), 17:50, 28/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
> ... Мне быстрота и нужна Кому что-то нужно Бубунтень не ставят.

1.40, IMHO (?), 19:47, 27/03/2016 [ответить] [﹢﹢﹢] [ · · · ] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–5 +/–
btrfs допиливать собираются или уже забіли и делают очередное ненадо и скоро будет

1.67, Аноним (-), 14:11, 28/03/2016 [ответить] [﹢﹢﹢] [ · · · ] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–1 +/–
Интересно, сколько в ядре уже поддерживается разных файловых систем? Наверное несколько десятков.

2.68, Аноним (-), 15:49, 28/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
> Интересно, сколько в ядре уже поддерживается разных файловых систем? Наверное несколько > десятков. https://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/tree/fs/Makefi более полусотни наберется.

3.71, IMHO (?), 17:35, 28/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–1 +/–
забыл добавить gnu microsoft ntfs

3.72, Аноним (72), 17:38, 28/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–2 +/–
сколько уже всякой ерунды в этом ядре, это просто жесть!

4.74, pavlinux (ok), 17:53, 28/03/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

+/–

> сколько уже всякой ерунды в этом ядре, это просто жесть!

12 виртуальных и 1 правильная.

$ cat /proc/filesystems

nodev   sysfs
nodev   rootfs
nodev   ramfs
nodev   bdev
nodev   proc
nodev   tmpfs
nodev   devtmpfs
nodev   sockfs
nodev   pipefs
nodev   devpts
nodev   autofs
        xfs
nodev   mqueue

1.76, pavlinux (ok), 21:17, 28/03/2016 [ответить] [﹢﹢﹢] [ · · · ] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
А я уже даже придумал куда её вкорячить, даже два раза. Но бабла за это опять не дадут, поэтому пущай думают баблодержащие.

игнорирование участников | лог модерирования

Добавить комментарий

Имя:

E-Mail:

Текст: