The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

В Reiser5 анонсирована поддержка выборочной миграции файлов

07.07.2020 08:01

Эдуард Шишкин реализовал поддержку выборочной миграции файлов в Reiser5. В рамках проекта Reiser5 развивается существенно переработанный вариант файловой системы Reiser4, в котором на уровне файловой системы, а не блочного устройства, реализована поддержка параллельно масштабируемых логических томов, позволяющая эффективно распределять данные по логическому тому.

Ранее миграция блоков данных осуществлялась исключительно в контексте балансировки логического тома Reiser5 с целью сохранить справедливость распределения на нём. Теперь можно переместить данные любого файла на любой диск-компонент логического тома. Более того, можно специальным образом пометить этот файл так, что процедура балансировки будет игнорировать его, и, следовательно, блоки его данных будут оставаться на указанном диске.

Опубликован пользовательский интерфейс для миграции и маркировки файлов. Интерфейс тот предполагает использование системного вызова ioctl(2) и предназначен для прикладных программистов. Миграция и маркировка доступна также и для конечного пользователя при помощи утилиты volume.reiser4(8).

В качестве очевидного приложения данной функциональности можно переместить все "горячие" (т.е. наиболее часто используемые) файлы на самые высокопроизводительные компоненты логического тома, и "закрепить" их там. Для этой цели рекомендовано использовать прокси-диск, который не участвует в регулярном распределении данных. Перемещать файлы можно также и на обычные диски-компоненты логического тома, но при этом может пострадать "справедливость" распределения данных, что приведёт к нарушению параллельности масштабирования.

  1. Главная ссылка к новости (https://marc.info/?l=reiserfs-...)
  2. OpenNews: В Reiser5 анонсирована поддержка Burst Buffers (Data Tiering)
  3. OpenNews: Доступна файловая система Reiser5
  4. OpenNews: В файловой системе Reiser4 появилась поддержка зеркалирования
  5. OpenNews: Обновление файловой системы Reiser4 c поддержкой различных транзакционных моделей
  6. OpenNews: Состояние разработки Reiser4
Автор новости: Аноним
Тип: Обобщение
Короткая ссылка: https://opennet.ru/53296-reiser5
Ключевые слова: reiser5, reiserfs
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (50) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 08:28, 07/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    "горячие" скорости S.S.D  
     
     
  • 2.6, Аноним (6), 08:58, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    NFSSD
     
     
  • 3.60, Аноним (-), 04:39, 11/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    NSFWXD.
     

  • 1.3, неимя (?), 08:37, 07/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    переименовать в shyshkinfs и тогда может замерджат
     
     
  • 2.5, 1 (??), 08:53, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +4 +/
    А что там с PohmelFS ?
     
     
  • 3.7, Аноним (7), 08:58, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +11 +/
    > А что там с PohmelFS ?

    Разработка приостановлена, автор ушёл в запой

     
  • 3.17, Аноним (17), 13:58, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Так это же рспределённая ФС, не?
     
  • 2.10, Аноним (10), 11:49, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > переименовать в shyshkinfs и тогда может замерджат

    Допилить до рабочего состояния надо, тогда и замерджат.
    Но Шишкин неоднократно говорил, что ему это интересно исключительно с академической точки зрения, поэтому дальше прототипа дело не зайдет.

     
     
  • 3.25, pda (?), 15:30, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Печально. fs-то выглядит очень заманчиво...
     
  • 3.27, Аноним (27), 15:45, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Во первых, Reiser4 была рабочая еще при Райзере.
    Во вторых, btrfs была еще менее рабочая.
    В третьих, не включали из-за претензий, которые были устранены тоже еще при Райзере вроде.
     
     
  • 4.28, Аноним (27), 15:46, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Дополнение к "во вторых", ext4 тоже была забагованная.
     
     
  • 5.31, Аноним (31), 17:26, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    И чем же ext4 была забагованая? Тем что там commit интервал изменили по умолчанию, а у многих он был захардкожен?
     
     
  • 6.33, Аноним (33), 18:17, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Тем, что в ядро её приняли в состоянии далёком от рабочего
     
  • 4.48, Аноним (10), 11:42, 08/07/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Во первых, Reiser4 была рабочая еще при Райзере.

    Но сопровождать это "рабочее" дyраков почему-то не нашлось.

    > Во вторых, btrfs была еще менее рабочая.

    В отличие от reiser4, там был коллектив разработчиков, заинтересованных в сопровождении и допиливании до рабочего состояния.

    > В третьих, не включали из-за претензий, которые были устранены тоже еще при Райзере вроде.

    Самую главную проблему — отсутствие мейнтейнеров — так и не решили.

     
  • 3.40, Аноним (40), 23:06, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Шишкин неоднократно говорил, что ему это интересно исключительно с академической точки зрения

    а можно хотя бы одну ссылочку на то, где он это говорил?

     
  • 2.12, Аноним (12), 11:52, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Зачем? Райзера выпустят раньше чем эта ФС будет готова.
     
     
  • 3.49, Аноним (10), 11:43, 08/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Насколько я помню, он сидит пожизненно?
     

  • 1.11, Sarcastic scutosaurus (?), 11:52, 07/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Свежие костыли для обхода кривого размещения файлов по каталогам подвезли, налетай!
    Порядок в ФС нужно поддерживать, а не изобретать замудрёные решения выдуманных проблем.
     
     
  • 2.18, Аноним (17), 14:02, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Так это не для перемещения в другой каталог, а для пермещения на другой физический диск внутри группы томов. Например, на самый бытрый диск или освобождения диска с целью его изъятия.
     
  • 2.21, JL2001 (ok), 15:06, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Свежие костыли для обхода кривого размещения файлов по каталогам подвезли, налетай!
    > Порядок в ФС нужно поддерживать, а не изобретать замудрёные решения выдуманных проблем.

    каталоги - устарели
    нужна иерархия тегов - я б пощупал такую фс или что-то позволяющее иерархично мультитегировать файлы и работать с тегами как с папками

     
     
  • 3.22, Аноним (22), 15:15, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    https://en.wikipedia.org/wiki/Extended_file_attributes
     
     
  • 4.23, Аноним84701 (ok), 15:28, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > https://en.wikipedia.org/wiki/Extended_file_attributes

    https://www.lesbonscomptes.com/pages/extattrs.html (см. разделы "not so good" и "ugly" в качестве примеров)
    Их[атрибуты] редко используют совсем не потому что не в курсе их существования.

     
  • 4.24, JL2001 (ok), 15:29, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > https://en.wikipedia.org/wiki/Extended_file_attributes

    а как мне с ними иметь реалтайм-представление тега в виде каталога со списком всех протегированных им файлов и наследными тегами-папками?

     
  • 4.39, Kroz (??), 22:40, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > https://en.wikipedia.org/wiki/Extended_file_attributes

    Это поддерживается только в теории.

    Если ты скопируешь файлик, например, в том же Midnight Commander'е, да и практически в любом другом файловом менеджере, то всё это идет по левой резьбе.

    https://midnight-commander.org/ticket/2468

     
     
  • 5.61, Ag (ok), 13:16, 11/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    OS/2, HPFS или JFS и никаких проблем. Хот в PM копируйте, хоть в FC/2 хоть из командной строки.  Эх, были времена...
     
  • 3.30, user90 (?), 17:24, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Попадалось такое. Но это легко сделать и самому подручными средствами, даже на том же bash.
     
     
  • 4.42, JL2001 (ok), 00:28, 08/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Попадалось такое. Но это легко сделать и самому подручными средствами, даже на
    > том же bash.

    как? сделать структуру папок=тегов, куда кидать хардлинки на файлы?

     
     
  • 5.45, user90 (?), 00:44, 08/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > структуру папок=тегов

    Не, с тегами оно будет 'плоское', очевидно же.


     
     
  • 6.47, JL2001 (ok), 11:06, 08/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >> структуру папок=тегов
    > Не, с тегами оно будет 'плоское', очевидно же.

    почему тег не может быть протегирован другим тегом (и находиться "в нём") ?

    но мы отвлеклись от изначального вопроса как это сделать на баше - отдельные папки в роли тегов и хардлинки на файлы в них? ещё какие варианты?

     
  • 3.32, ann (??), 17:40, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Каталоги устарели, и ты хочешь иерархию тэгов чтобы работать с каталогами. Браво.
     
     
  • 4.43, JL2001 (ok), 00:29, 08/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > Каталоги устарели, и ты хочешь иерархию тэгов чтобы работать с каталогами. Браво.

    в тегах один файл может принадлежать разным тегам одновременно

     

  • 1.19, Аноним (-), 14:15, 07/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    >Эдуард Шишкин реализовал поддержку выборочной миграции файлов в Reiser5.

    А какая разница, его же нет в ядре. А его нет в ядре потому, что Шишкин не хочет заниматся сопровождением продукта.

     
     
  • 2.20, Аноним (33), 14:45, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Наложи патч - и будет в ядре. Напиши письмо в лист рассылки - и будет тебе поддержка. А то, как в анекдоте про еврея и лотерею, чесслово :)
     
     
  • 3.34, Аноним (-), 19:02, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А ты это Шишкину скажи.
     

  • 1.26, Аноним (27), 15:44, 07/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > существенно переработанный вариант файловой системы ReiserFS

    Да не ReiserFS, а Reiser4. Из новости в новость косяк.

     
  • 1.35, Аноним (35), 19:49, 07/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ну и чем оно лучше btrfs?
     
     
  • 2.36, Аноним (33), 20:23, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    а что, в btrfs есть миграция файлов?
     
     
  • 3.44, JL2001 (ok), 00:32, 08/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > а что, в btrfs есть миграция файлов?

    //оффтоп
    а в reiser есть снапшоты, сжатие, копирование=снапшот файла, рейд0/1 ?

     
     
  • 4.62, Аноним (62), 18:28, 19/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    Сжатие в Reiser4 есть уже лет 12 как. Всё остальное из перечисленного либо не нужно, либо превосходно реализуется block layer-ом.

    А Btrfs может сбрасывать транзакции сразу на high-performance device, тем самым повышая производительность O_SYNC/fsync(2)?

     

  • 1.38, Аноним (38), 22:35, 07/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > В качестве очевидного приложения данной функциональности можно переместить все "горячие" (т.е. наиболее часто используемые) файлы на самые высокопроизводительные компоненты логического тома, и "закрепить" их там.

    Или использовать bcache (который закеширует часто используемые блоки медленного блочного устройства не зависимо от файловой системы) и не изобретать велосипед.

     
     
  • 2.41, Аноним (40), 23:11, 07/07/2020 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Или использовать bcache (который закеширует часто используемые блоки медленного блочного устройства не зависимо от файловой системы) и не изобретать велосипед.

    А вдруг я захочу закинуть свои файлики туда, куда _мне_ хочется, и убрать оттуда, где они _мне_ не нужны?

     

  • 1.50, Аноним (50), 13:22, 08/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Шах и мат, аметисты !
     
  • 1.52, Аноним (-), 19:20, 08/07/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Пацаны скажите Шишкину, что пора реальной работой заняться, а то чересчур заакадемился.
     
     
  • 2.53, Аноним (33), 20:05, 08/07/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Пацаны скажите Шишкину, что пора реальной работой заняться, а то чересчур заакадемился.

    Я так понял, что всё это спонсируется. Куда ж ещё реальней..

     
     
  • 3.54, JL2001 (ok), 10:25, 09/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >> Пацаны скажите Шишкину, что пора реальной работой заняться, а то чересчур заакадемился.
    > Я так понял, что всё это спонсируется. Куда ж ещё реальней..

    а кем спонсируется? есть промышленное использование reiser? очень интересно почему её выбрали и для каких целей

     
     
  • 4.55, Аноним (33), 16:14, 09/07/2020 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Кем спонсируется - не знаю, но то, что reiser4 крутился на реальных продакшн-системах, причём года два или три - это факт. Правда, давно это было, лет 12 назад. Потом в подсистеме памяти Линукс что-то поменяли, и рейзер стал у них падать. После чего те продакш системы перевели на другую ФС. Но потом Шишкин, вроде как починил его. Так что, я бы не сказал, что до продакшена ему как до Луны. Это при том, что у них есть реально работающая утилита восстановления разделов (можно вручную наугад закорраптить партицию и поднять её после этого).
     
     
  • 5.56, Аноним (56), 13:28, 10/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    >Но потом Шишкин, вроде как починил его.

    В том-то и дело, что надо работать - заниматся багами. А работа бывает только в ядре. В ином случае это просто академическая игрушка, а не промышленный продукт. И не надо типа: "если будет свободное время", "починю на той неделе".

     
     
  • 6.57, Аноним (33), 17:32, 10/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > надо работать - заниматся багами. А работа бывает только в ядре

    Ерунда. ZFS - наглядный пример работы "не в ядре".

     
  • 6.58, Аноним (33), 17:40, 10/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > ... работа бывает только в ядре...
    > И не надо типа: "если будет свободное время", "починю на той неделе".

    Так, в ядре тебе то же самое скажут. Строем там никто не ходит.

     
  • 6.59, Аноним (33), 17:48, 10/07/2020 [^] [^^] [^^^] [ответить]  
  • +/
    > И не надо типа: "если будет свободное время", "починю на той неделе".

    "На той неделе" - это весьма быстро :)
    Привести пример, как после багрепорта официальному маинтейнеру подсистемы ядра два месяца(!) ждали ответа?

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру