The OpenNET Project / Index page

[ новости/++ | форум | wiki | теги | ]

01.06.2018 11:15  Компания Huawei предложила новую ФС EROFS для ядра Linux

Гао Сян (Gao Xiang) из компании Huawei представил в списке рассылки разработчиков ядра Linux новую файловую систему EROFS (Extendable Read-Only File System), разработанную для использования на разделах, доступных в режиме только для чтения. В Huawei ФС EROFS рассчитывают использовать на разделах в платформе Android, монтируемых в режиме только для чтения.

Мотивом для создания новой ФС стала низкая эффективность работы существующих решений для read-only разделов. По сравнению с Ext4 новая ФС демонстрирует примерно идентичную производительность при выполнении операций последовательного чтения, но в разы обгоняет Ext4 при случайном доступе к данным. Например, при уровне сжатия 4 и тестировании на сервере с жестким диском ФС EROFS обогнала Ext4 в операциях случайного чтения более чем в шесть раз, а при использовании Android-смартфона с Flash почти в три раза. При увеличении уровня сжатия разрыв уменьшается, но характеристики выравниваются только к уровням порядка сжатия в 100 раз.

Как и в других read-only ФС структура EROFS существенно упрощена за счёт отбрасывания при реализации некоторых областей метаданных, таких как битовая карта свободных блоков. Основные отличия сводятся к оптимизациям, нацеленным больше на обеспечение высокой производительности, чем на максимальной экономии свободного пространства. EROFS поддерживает хранение данных в сжатом виде, но использует иной подход для хранения сжатых блоков.

В традиционных ФС на основе неупакованных блоков фиксированного размера формируются сжатые блоки, имеющие непредсказуемый произвольный размер. Так как доступ к данным на носителе осуществляется на уровне фиксированных блоков (кластеров), то при чтении сжатых блоков помимо основных данных приходится читать и данные с остаточным заполнением до границ кластера. Проблема частично решается применением дополнительной буферизации, но в этом случае увеличивается нагрузка на память и, так как сжатые блоки не используются напрямую и требуют распаковки, не ясно когда именно каждый сжатый блок может потребоваться. Из-за этого буферизация сжатых данных эффективна только при последовательном чтении и приводит к существенному провалу производительности при случайном доступе к данным, который представляет типовую нагрузку в реальных системах.

Для ускорения операций случайного доступа в EROFS реализовано несколько идей:

  • Применяются блоки страничного размера, которые могут сохраняться без остаточного заполнения и не требуют буферизации;
  • Небольшие данные и расширенные атрибуты (xattr) могут читаться одновременно с метаданными inode;
  • Реализованы области совместно используемых расширенных атрибутов (xattr), в которых могут храниться типовые атрибуты, такие как метки SELinux, или слишком большие xattr, не вмещающиеся в inline-блок;
  • Метаданные и данные могут смешиваться при хранении;
  • При сжатии используется метод, формирующий выходные блоки фиксированного размера (в существующих ФС разбивка на блоки фиксированного размера ведётся до сжатия, а после сжатия на выходе получаются блоки разного размера), что позволяет избавиться от траты ресурсов на чтение остаточного заполнения;
  • В кластере может сохраняться один или несколько блоков со сжатыми данными. Хранимые данные размещаются в блоках фиксированного размера, но распаковываются в цепочки произвольной длины.

    1. Главная ссылка к новости (https://lkml.org/lkml/2018/5/3...)
    2. OpenNews: Представлена LittleFS, компактная файловая система для встраиваемых устройств
    3. OpenNews: В состав ядра Linux принят код файловой системы OrangeFS
    4. OpenNews: Первый выпуск файловой системы Zbox
    5. OpenNews: Инженеры из Google представили глобальную файловую систему Upspin
    6. OpenNews: Значительное обновление файловой системы Bcachefs
    Лицензия: CC-BY
    Тип: Программы
    Ключевые слова: erofs, fs, linux, kernel
    При перепечатке указание ссылки на opennet.ru обязательно
    Обсуждение Ajax/Линейный | Раскрыть все сообщения | RSS
     
  • 1.1, Fracta1L (ok), 12:21, 01/06/2018 [ответить] [показать ветку] [···]    [к модератору]
  • +21 +/
    Make love (EroFS), no war (BtrFS)!
     
     
  • 2.20, Аноним (-), 13:39, 01/06/2018 [^] [ответить]    [к модератору]
  • +13 +/
    Good morning (POHMELFS)!
     
     
  • 3.90, Аноним (-), 08:28, 04/06/2018 [^] [ответить]    [к модератору]
  • +/
    DEVICEFUCKFS
     
     
  • 4.92, Аноним (-), 08:32, 04/06/2018 [^] [ответить]    [к модератору]
  • +/
    не, лучше

    EroFS - для академических исследований
    FuckFS - для практического применения


     
  • 2.37, 0x0 (?), 16:20, 01/06/2018 [^] [ответить]    [к модератору]
  • –1 +/
    А чё? Со встроенной системой распознавания хранимых объектов, можно даже на майнинг криптолибидо располагать ‿
     
     
  • 3.47, Andrey Mitrofanov (?), 18:27, 01/06/2018 [^] [ответить]    [к модератору]  
  • –1 +/
    >можно даже на майнинг
    > криптолибидо

    Ээээ... это про любовь к халяве, я, извините, не распарсил?  </риторический вопрос, не отвечать!>

    ---"Каптёр, чужое. Взять-взять!"(ДМБ)

     
     
  • 4.91, Аноним (-), 08:30, 04/06/2018 [^] [ответить]    [к модератору]  
  • +/
    ДМБ еще смотрят?
     
     
  • 5.93, Your Mama (?), 10:27, 04/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Конеш, на репите.
     
  • 1.4, DerRoteBaron (?), 12:26, 01/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +6 +/
    Всё это прикольно, но в случае с Android-устройствами это существенно осложнит жизнь тем, кто желает что-то менять в этих RO-разделах (например, /system или в новом a-b формате чуть ли не весь /).
    И это довольно неплохо сочетается с вот этой новостью https://www.opennet.ru/opennews/art.shtml?num=48674
     
     
  • 2.6, Аноним (-), 12:34, 01/06/2018 [^] [ответить]    [к модератору]  
  • +5 +/
    Основное достоинство ext4 в Android, что его можно перемонтировать в rw-режиме.
     
     
  • 3.9, DerRoteBaron (?), 12:47, 01/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Именно. А тут, вероятно, придётся ребилдить весь раздел ради того, чтобы исправить какой-нибудь мелкий и тупой косяк в прошивке, скажем, самсунга.
     
     
  • 4.11, Аноним (-), 12:49, 01/06/2018 [^] [ответить]    [к модератору]  
  • –8 +/
    > исправить какой-нибудь мелкий и тупой косяк в прошивке, скажем, самсунга

    простите, что?

     
     
  • 5.23, Аноним (-), 14:10, 01/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Удалить встроенное неотключаемое приложение
     
     
  • 6.71, AnonPlus (?), 20:06, 01/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Модификация /system лишает OTA-обновлений.

    Чтобы не трогать /system, посмотрите на Magisk.

     
  • 5.78, Аноним (-), 22:13, 01/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Проблемы в переключении режимов камеры, например.
     
  • 4.19, нах (?), 13:39, 01/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    как бы не пришлось пзуху перепаивать :-(

    И да, у меня никаких сомнений, что плохой дорогой не ограничится - "промышленность с радостью перейдет на новый стандарт".

     
  • 4.24, Аноним (-), 14:12, 01/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    Там будет лежать зашифрованный подписанный "раздел", ни ребилдить ни поменять никакой возможности не будет, и всё это конечно по просьбам трудящихся.
     
  • 2.22, Аноним (-), 14:10, 01/06/2018 [^] [ответить]     [к модератору]  
  • +3 +/
    Так это и нужно для того что-бы сделать кастомизацию максимально сложной Постеп... весь текст скрыт [показать]
     
     
  • 3.32, X86 (ok), 15:35, 01/06/2018 [^] [ответить]    [к модератору]  
  • –4 +/
    И в итоге все перейдут на китайские телефоны с разблокированными процессорами и прошивками.
     
     
  • 4.33, Аноним (-), 16:03, 01/06/2018 [^] [ответить]    [к модератору]  
  • +7 +/
    На минуточку, Huawei — самая что ни на есть китайская компания, которая на днях заявила, что не даст разблокировать загрузчик на своих андроидофонах. Вполне возможно, что и все другие китайцы, включая Дядюшку Ляо, последуют этому примеру
     
     
  • 5.73, AnonPlus (?), 20:07, 01/06/2018 [^] [ответить]     [к модератору]  
  • +1 +/
    Дядюшка Ляо изначально не предусматривает блокировку загрузчика, в отличие от Hu... весь текст скрыт [показать]
     
  • 2.28, Аноним (-), 15:00, 01/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Вряд-ли ибо как его потом обновлять заплатками ... весь текст скрыт [показать]
     
     
  • 3.29, DerRoteBaron (?), 15:20, 01/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Так же, как это происходит сейчас: патчи на образ для минорных обновлений и полностью новый - для мажорных
     
  • 1.5, Аноним (-), 12:33, 01/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –2 +/
    Если корень сделать с этой фс, программы бысрее будут грузится?
     
     
  • 2.14, Ее (?), 12:57, 01/06/2018 [^] [ответить]    [к модератору]  
  • +/
    На глаз этого кто.
     
  • 2.16, Аноним (-), 13:12, 01/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Система - возможно. Программы - возможно предустановленные, до первого обновления.
     
  • 1.7, Аноним (-), 12:42, 01/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +3 +/
    ErrorFS
     
  • 1.8, Andrey Mitrofanov (?), 12:46, 01/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +3 +/
    > Гао Сян (Gao Xiang) из компании  Huawei представил
    >в списке рассылки разработчиков ядра Linux новую файловую систему EROFS (Extendable

    Когда прекращение https://www.opennet.ru/opennews/art.shtml?num=48674 предоставления?

    Huawei прекращает предоставление средств для разблокировки з...
    > Read-Only File System), разработанную для использования на разделах, доступных в режиме
    > только для чтения. В Huawei ФС EROFS

     
  • 1.10, Аноним (-), 12:48, 01/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +6 +/
    и ни слова про сравнение со squashFS
     
     
  • 2.44, Anon3 (?), 17:46, 01/06/2018 [^] [ответить]     [к модератору]  
  • –1 +/
    Тоже сначала подумал, может заменить squashFS на сабж у своих применениях Но, е... весь текст скрыт [показать]
     
     
  • 3.67, Аноний (?), 19:43, 01/06/2018 [^] [ответить]    [к модератору]  
  • +/
    squashfs можно юзать без сжатия
     
  • 3.95, edo (ok), 17:49, 17/06/2018 [^] [ответить]     [к модератору]  
  • +/
    Почему именно смартфон Основной бизнес Huawei 8212 всё-таки операторские жел... весь текст скрыт [показать]
     
  • 2.94, edo (ok), 17:41, 17/06/2018 [^] [ответить]     [к модератору]  
  • +/
    По ссылке есть we once tried to use squashfs on our products with different bloc... весь текст скрыт [показать]
     
  • 1.12, Аноним (-), 12:51, 01/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +17 +/
    > Компания Huawei

    Это та которая закрывает прошивки и лишает гарантии при попытке разлочить рута? НЕНУЖНО.

     
     
  • 2.38, Аноним (-), 16:28, 01/06/2018 [^] [ответить]    [к модератору]  
  • +/
    А всё потому, что кто-то не хочет GPLv3.
     
  • 1.13, Аноним (-), 12:52, 01/06/2018 [ответить] [показать ветку] [···]     [к модератору]  
  • +3 +/
    К чему эти полумеры, Huawei Если вы так не желаете, чтобы пользователь вашего п... весь текст скрыт [показать]
     
     
  • 2.17, Аноним (-), 13:19, 01/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Это убыточно для экономики Китайской Народной Республики: пользователь нужен живым и здоровым, чтобы новый телефон купил у них же.
     
     
  • 3.25, Аноним (-), 14:14, 01/06/2018 [^] [ответить]    [к модератору]  
  • +/
    А куда он денется?
    Да и гарантия при разблокировке снимается :)
     
  • 3.69, Аноним (-), 19:59, 01/06/2018 [^] [ответить]     [к модератору]  
  • +4 +/
    Мазь от ожогов тоже товар Сочтут выгодным - диверсифицируют бизнес, откроют Хуа... весь текст скрыт [показать]
     
  • 2.21, ryoken (ok), 14:02, 01/06/2018 [^] [ответить]    [к модератору]  
  • +1 +/
    > подрывать или сжигать аккумулятор.

    Это к гнусмасам. Не подскажет кто, они (гнусмасы) уже в характеристиках тротиловый ээквивалент публикуют?

     
     
  • 3.36, Аноним (-), 16:08, 01/06/2018 [^] [ответить]    [к модератору]  
  • +/
    Эти-то просто ошиблись в разработке. А Хуавей могут и реально дойти до чего-то такого
     
     
  • 4.49, Andrey Mitrofanov (?), 18:29, 01/06/2018 [^] [ответить]    [к модератору]  
  • +/
    >А Хуавей могут и реально дойти до
    > чего-то такого

    Хойвей: "А чего?!  Им можно??"

     
  • 1.52, Аноним (-), 18:36, 01/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    ext4 давно ли сжатию научился?
     
     
  • 2.87, Аноним (-), 17:33, 02/06/2018 [^] [ответить]    [к модератору]  
  • –2 +/
    Через подсистему блочного устройства redhat, ищи на гитаре репу  VDO
     
  • 1.59, Аноним (-), 19:11, 01/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    > При увеличении уровня сжатия разрыв уменьшается

    Это точно EroFS, 100%

     
  • 1.74, Аноним (-), 21:00, 01/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • –1 +/
    А стирать можно будет УФ-лампой?
     
  • 1.77, Аноним (-), 22:05, 01/06/2018 [ответить] [показать ветку] [···]     [к модератору]  
  • +/
    Народу эта файловая система явно не нравится, а кто его вообще спрашивает А раз... весь текст скрыт [показать]
     
  • 1.89, Аноним (-), 21:10, 03/06/2018 [ответить] [показать ветку] [···]    [к модератору]  
  • +/
    На SSD/Flash выигрыш по скорости совсем несущественный.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Заголовок:
    Текст:


      Закладки на сайте
      Проследить за страницей
    Created 1996-2018 by Maxim Chirkov  
    ДобавитьПоддержатьВебмастеруГИД  
    Hosting by Ihor