The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

Сравнение производительности файловых систем EXT3, EXT4, XFS и ReiserFS

03.12.2008 23:57

Опубликованы результаты оценки производительности файловых систем EXT3, EXT4, XFS и ReiserFS. Тестирование производилось комплектом Phoronix Test Suite 1.6.0 Alpha 2 в Fedora 10 x86_64.

Результаты:

  • Тестирование пакетом Bonnie++:
    • Случайное удаление группы файлов размером 4Гб: EXT4 отстала от EXT3 и ReiserFS примерно на 15%, лучшую производительность продемонстрировала XFS;
    • Последовательное создание 4Гб файлов: первое место, с заметным отрывом, заняла EXT4, далее на 23% отстает XFS, на 34% отстает EXT3 и на 40% - ReiserFS;
    • Последовательное чтение 4Гб файлов: лидируют EXT4 и XFS, от них на 40% отстают EXT3 и ReiserFS;
    • Последовательное чтение 8Гб файлов: лидирует EXT4, на 16% отстает XFS, на 38% отстает EXT3 и на 45% - ReiserFS;
  • Тестирование пакетом IOzone:
    • Производительность записи 4Гб файлов: EXT4 обеспечила скорость записи 57.70MB/s, XFS - 52.27MB/s, EXT3 - 34.31MB/s, а ReiserFS - 30.42MB/s;
    • Производительность чтения 4Гб файлов: XFS и EXT4 читали данные со скоростью 57MB/s, EXT3 - 50MB/s, а ReiserFS - 39MB/s.
  • Тестирование пакетом Flexible IO Tester (IO meter): EXT4 выполнила тест за 75 сек., EXT3 - 125 сек., ReiserFS - 127 сек. и XFS - 243 сек.
  • Тестирование обычными приложениями:
    • Игры Nexuiz, World of Padman, Unreal Tournament 2004, программы сжатия 7-Zip, параллельный BZIP2, LZMA, кодирование звука LAME, шифрование OpenSSL: расхождение результатов на уровне погрешности;
    • Кодирование видео в FFmpeg: EXT3 - 27.25 сек., ReiserFS - 27.47 сек., XFS - 28.12 сек. и EXT4 выполнила задание за 29.13 сек.;
    • Шифрование GnuPG: EXT3 - 60 сек., XFS - 62 сек., ReiserFS - 65 сек. и EXT4 выполнила задание за 71 сек.;
    • Шифрование файлов в Bork File Encrypter: EXT4 - 105 сек., EXT3 - 114 сек., XFS - 123 сек., ReiserFS - 129 сек.

    В итоге прослеживается заметное преимущество EXT4 в синтетических тестах, но небольшое отставание в некоторых тестах реальными приложениями, которые требуют интенсивных вычислений. Вероятно это связано с более высокой нагрузкой на процессор при работе EXT4.

  1. Главная ссылка к новости (http://www.phoronix.com/scan.p...)
  2. OpenNews: План внедрения файловых систем Ext4 и Btrfs
  3. OpenNews: Ted Ts'o заявил о стабильности файловой системы ext4
  4. OpenNews: Linux дистрибутив Fedora 9 будет поддерживать ext4fs (интервью)
  5. OpenNews: Сравнение производительности файловых систем ext4, ext3 и reiser4
  6. OpenNews: В экспериментальной ветке Linux ядра появилась поддержка ext4
Лицензия: CC-BY
Тип: Тема для размышления
Короткая ссылка: https://opennet.ru/19217-ext3
Ключевые слова: ext3, ext3, reiserfs, xfs, benchmark
При перепечатке указание ссылки на opennet.ru обязательно
Обсуждение (42) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 01:22, 04/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Итересно узнать с какими опциями они xfs создавали. А если честно весомых преимуществ у ext4 не так уж и много, поддержка больших разделов это конечно хорошо, но из за статического распределения innode остаются потери свободного места, или риск нехватки innode. Загрузка проца видимо не ниже чем у xfs. А вот если ext4 и вправду удаляет дольше чем ext3 то это точно непонятно. В общем преимущества неочевидны.
     
     
  • 2.7, СуперАноним (?), 08:57, 04/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    А что в Ext4 статические inode ? O_O Тогда с масштабируемостью там как-то не очень...
     
     
  • 3.19, su4p (?), 15:32, 04/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Помоему да, вроде где то даже было что оставили для упрощения перехода с ext3 и для упрощения реализаций undelete, fsck. Хотя если обманываю ткните где почитать можно? самому эта тема интересна. По крайней мере на вики и гуляющим по всему интернету описаниям различия между ext3 и ext4 про динамическое выделение inode ничего нет.
     
     
  • 4.37, Sergey (??), 16:17, 10/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Помоему да, вроде где то даже было что оставили для упрощения перехода
    >с ext3 и для упрощения реализаций undelete, fsck. Хотя если обманываю
    >ткните где почитать можно? самому эта тема интересна. По крайней мере
    >на вики и гуляющим по всему интернету описаниям различия между ext3
    >и ext4 про динамическое выделение inode ничего нет.

    А что, на ext3 работает undelete? Не восстановление данных из порушенной ФС, а случайно удаленного файла? там же освобождаемые блоки нулями забивались, или я чего-то упустил?

     
     
  • 5.42, Su4p (?), 23:01, 10/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >А что, на ext3 работает undelete? Не восстановление данных из порушенной ФС,
    >а случайно удаленного файла? там же освобождаемые блоки нулями забивались, или
    >я чего-то упустил?

    Насколько я понял, там нулями при удалении затирается inode и блоки косвенной адресации, блоки самих данных при этом остаются, т.е. undelete практически невозможен из за того что нет никакой информации о расположении блоков с данными. Единственный вариант - это прочитать все свободное пространство и попытатся восстановить структуру по содержимому, но это будут отрывки информации, с большими бинарниками точно не прокатит. В UFS (как наиболее похожую на ext3) вроде удаляются только сами inode, т.е. операция undelete сводится к поиску первых блоков файла (на которую ссылается сам inode), и блоков косвенной адресации, после чего сами данные можно восстановить.

     

  • 1.2, pavlinux (ok), 01:44, 04/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Вот чего они гонят, ГАЛИМАЯ БАДЯГА!!!

    ПАКЕТ BONNIE++ НА ФАЙЛАХ БОЛЕЕ ~80-95 Мегабайт показывает скорость работы диска.
    И ЗАВИСИТ  ТОЛЬКО ОТ СКОРОСТИ ВРАЩЕНИЯ И КЭША ДИСКА.


    1. Я тестировал Reiser Ext3 XFS BTRFS - разница МАКСИМУИМ в 10% (и то из-за не корректности и накопления погрешностей в вычислениях!!!)

    ГОН, ГАЛИМЫЙ ГОН, от разПиаРеного сайта Хроников


     
     
  • 2.4, User294 (??), 06:48, 04/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >1. Я тестировал Reiser Ext3 XFS BTRFS - разница МАКСИМУИМ в 10%

    А ты попробуй XFS разнести на несколько дисков - посмотрим на разницу :).Для btrfs что-то подобное тоже наверное может прокатить.

     
     
  • 3.11, fresco (??), 09:20, 04/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    +1
     
  • 2.5, ПростойПользователь (?), 08:32, 04/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >ПАКЕТ BONNIE++ НА ФАЙЛАХ БОЛЕЕ ~80-95 Мегабайт показывает скорость работы диска.
    >И ЗАВИСИТ  ТОЛЬКО ОТ СКОРОСТИ ВРАЩЕНИЯ И КЭША ДИСКА.

    Это у тебя старый добрый HDD IDE 7200 RPM на 120 гигов. А они могли и RAID массив из нескольких дисков тестировать и получить высокую скорость, а следовательно, высокие различия.

    В общем, слава EXT4! :) Пора уже ее вместо EXT3 по умолчанию в дистры включать.

     
     
  • 3.10, Avatar (??), 09:18, 04/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Да, а заодно и на продакшене можно использовать. Вперёд экстрималы! За родину! Ура!
     
  • 3.27, User294 (??), 09:46, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >В общем, слава EXT4! :)

    Клава ему а не слава, что-то даже эти результаты бенча какие-то не внушительные, как раз для EXT4.По этим странным бенчам он выглядит банальным середнячком эволюция которого идет по методу "ноги вытащили - хвост увяз".Заметьте, он даже по этому бенчу местами лучше а местами - хуже.

     
     
  • 4.36, vitek (??), 22:55, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    если только по бенчам мерить,
    то нотпад- лучший из текстовых процессоров, а ворд - худший из текстовых редакторов.

    а ext4 по те же бенчам не так уж и хуже.... но вот возможности..

     
     
  • 5.39, User294 (??), 20:09, 10/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >а ext4 по те же бенчам не так уж и хуже.... но
    >вот возможности..

    А какие у EXT4 супервозможности?Почитал описалово.Не впечатлило.Возможности и фичи - в основном подтянуты до актуального уровня(у других всякие там экстенты и так были).И вообще что-то там мало поводов вопить "ура!".Вот когда btrfs допилят и оттестят - я пойму причину радостных воплей :)

     
  • 2.13, anonymus (?), 09:58, 04/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    a kak zhe koeficient plotnosti zapisi na plastinu Gb/(sm*sm)?
     

  • 1.3, User294 (??), 04:11, 04/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Какой-то странный тест, имхо.Нет, то есть, файлы 4Gb это конечно круто но это одна и весьма частная ситуация.В реальных приложениях разница на уровне погрешностей.Что логично поскольку они выбрали приложения которые наврядли упираются именно в ФС.

    Как вариант - придумался такой real world test: ставится некая система на разные типы ФС по очереди, при прочих равных(одна и та же железка, один и тот же диск).Дальше - например меряется время холодной загрузки системы с очередной ФС.Трудно сделать 100% честно и без лажи но зато будет показывать как ФС себя ведет при чтении некоего реалистичного микса из файлов энной ОС в реалистичном сценарии.

     
     
  • 2.6, Holy Cheater (?), 08:56, 04/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    reiserfsck под убунтой половину времени от загрузки системы занимает, кхе хе.
     
     
  • 3.25, User294 (??), 09:26, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >reiserfsck под убунтой половину времени от загрузки системы занимает, кхе хе.

    Я тут не при чем - от рейзера не фанатею.Признаю что там есть интересные технические решения но не более того.Кроме оных у рейзеровских ФС есть и ряд бестолковостей\проблем (впрочем справедливости ради замечу что это можно сказать про любую ФС).

     
  • 2.20, Аноним (20), 16:38, 04/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Говорите "... но это одна и весьма частная ситуация"?
    А как же базы данных?
    Единственно чего нет - тестом по работе с маленькими файликами объёмом от 4кб до 100кб.
     
     
  • 3.26, User294 (??), 09:41, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >А как же базы данных?

    Базы данных - отлично, но базы порядка 4Gb - отдельная и не столь уж частая (по сравнению с всеми остальными случаями) частность.Сравнить ФС только на ней и именно в том контексте как это сделал фороникс - достаточно ... оригинально.Они сравнивали эти операционки сугубо в контексте сервера для немеряных БД?Они вроде этого не говорили.

    >Единственно чего нет - тестом по работе с маленькими файликами объёмом от
    >4кб до 100кб.

    Для юзеров интересны разные случаи.Скажем при запуске программ будет интересно чтение файлов в десятки кб ... несколько Мб.Ну и так далее.Просто тест сделаный наобум - не есть хорошо.Если они выбрали такой размер файлов какой выбрали и забили на все остальные - хорошо бы не просто вывалить результат вида "армяне лучше чем грузины" но и внятно объяснить - а почему собственно мерялось именно так и почему это представляет из себя интерес.Кто кроме автора бенча лучше знает что, как и главное нафига он мерял?

     
     
  • 4.32, vitek (??), 22:29, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    немеряных б/д - это сколько?
    4gb - это уже всего лишь задача sqlite (и аналогов), не более...
    вот 4tb - это (ещё) интересно.

    другое дело, что для б/д любая фс - лишний геморой и расходы.. при чём чем навороченней фс - тем хуже.
    в идеале - raw-devices самое то.
    но мерить производительность - можно... и нужно.

     
     
  • 5.38, Sergey (??), 16:43, 10/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >немеряных б/д - это сколько?
    >4gb - это уже всего лишь задача sqlite (и аналогов), не более...
    >
    >вот 4tb - это (ещё) интересно.
    >
    >другое дело, что для б/д любая фс - лишний геморой и расходы..
    >при чём чем навороченней фс - тем хуже.
    >в идеале - raw-devices самое то.
    >но мерить производительность - можно... и нужно.

    Если ФС грамотно спроектирована, то не дает лишних оверхедов на работу с БД, пример тому VxFS. Но там она только часть большого програмного комплекса.

     
  • 5.40, User294 (??), 21:32, 10/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >4gb - это уже всего лишь задача sqlite (и аналогов), не более...

    Даже так - таких баз не больно то и дофига.У рядового юзера даже таких как правило нет (а что там должно быть напихано в таком количестве?).

    >вот 4tb - это (ещё) интересно.

    Это интересно сильно некоторым, имхо.Базы такого размера - чуть ли не штучный товар.

    >при чём чем навороченней фс - тем хуже.

    Смотря что под навороченностью понимать.

    >в идеале - raw-devices самое то.

    Самое смешное что в идеальном случае разница между оным и файлом должна бы быть чисто номинальная.Хотя ФС для БД и правда лишний уровень - занимается по сути чем-то похожим а нафига бы - не очень то и понятно.

    >но мерить производительность - можно... и нужно.

    Факт, просто когда это делает именно фороникс и именно на 4 гиг файлах и толко таких - это вызывает недоумение вида "а нафига?".

     

  • 1.8, Avatar (??), 09:12, 04/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Все на ext4(миру новые протезы!), а мы останемся на XFS.
    А если серьёзно, то PR победит всё!
     
     
  • 2.9, Avatar (??), 09:13, 04/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    P.S.
    Хватило по горло "граблей" с ext3 за 3 месяца работы в продакшене.
     
     
  • 3.23, Аноним (-), 01:46, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    У меня XFS валит ядро с ошибкой dead lock на файлах более 2-х Гиг.
    И на тяжелых дисковых операциях XFS тоже валит ядро. Мало понимаю почему...
     
  • 3.28, User294 (??), 09:53, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >P.S.
    >Хватило по горло "граблей" с ext3 за 3 месяца работы в продакшене.

    А какие с ним грабли, собственно?При обычном юзании - обычная ФС.А сдуру можно и ... сломать, не то что EXT3.На мою имху проблема у ext3 в основном одна: старинный "классический" дизайн ФС со всеми вытекающими и потуги довести его под современные требования эволюционным методом как то подстановкой старичку очередных костылей и подпорочек чтобы быстрее бегал да вечный головняк при разработке EXTn с совместимостью с ETXn-1 и т.п. из-за чего эффективность работы EXTn оказывается далеко не такой какой могла бы быть, поскольку ему приходится быть чем-то типа "EXTn-1 с набором подпорочек и костылей" (а иначе совместимости - пи...ц!).

     
     
  • 4.33, vitek (??), 22:32, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    ага!
    тоже хотел спросить.
    3-и месяца - это больше показатель админа........
     

  • 1.12, vadiml (?), 09:32, 04/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Что-то странное они намеряли с Reiserfs -- запись на нём действительно медленная, а вот при чтении пары гиг мелких файлов с ней никто сравниться не может, т.е. для файлопомойки -- лучшая файловая система.
     
     
  • 2.29, User294 (??), 10:01, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >при чтении пары гиг мелких файлов

    Файлопомойка на 2 гига - это оригинально.Это не помойка, а как максимум garbage bin.При том специальная карманная версия - наперстком еще иногда называется :).Думаю что такой тип помоек бывает только у гентушников и прочих, которые все и вся из сорцев компиляют.

    >т.е. для файлопомойки -- лучшая файловая система.

    Файлопомойки бывают разные.Часто бывают например залежи многогиговых файлов (в таком случае XFS пожалуй зарулит рейзера, а если ему еще и несколько дисков дать - порвет на британский флаг).

     

  • 1.14, Аноним (14), 10:04, 04/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А потом рейзер падает и вся файлпомойка рухнула коту под хвост. )))
     
     
  • 2.15, Avatar (??), 10:19, 04/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >А потом рейзер падает и вся файлпомойка рухнула коту под хвост. )))
    >

    Да, увы, далеко не всегда с его можно восстановить данные. :(

     
  • 2.17, vadiml (?), 12:59, 04/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >А потом рейзер падает и вся файлпомойка рухнула коту под хвост. )))
    >

    1. У меня как раз проблемы были с ext3, этого у меня есть 3 копии этой файлопомойки: вчерашняя, позавчерашняя и плановое копирования по выходным (позавчерашняя нужна для пользователей, которые вчера "нечаянно" удалили нужный им файл)

    2. Дома пока не купил упс, пару лет из-за света частельно отключался комп. Рейзер только откатывал незавершённые транзакции, а вот корень с ext3, помимо постоянных проверок, пару раз уходил на совсем.

     
     
  • 3.35, vitek (??), 22:42, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    сочувствую.... (другое в голову и не приходит)
     

  • 1.16, tesseract (?), 11:06, 04/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    да JFS и NTFS или HFS+ чего-то не показали. Так же не показали загрузку процессора и отжор памяти кэшом тоже не показали. Так "наколоненочный" тест температуры по больнице.

    >>А они могли и RAID массив из нескольких дисков тестировать и получить высокую скорость, а следовательно, высокие различия.
    >>a 160GB Western Digital WD1600YS-01SHB1 hard drive

    У них старый добрый 160GB sata

     
  • 1.21, Гентушник (?), 19:39, 04/12/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А если я в поте лица неделю компилировал на ноуте генту на ext3, можно ext3 как-нибудь волшебным образом сконвертировать в ext4 без форматирования?
     
     
  • 2.22, Слакварщик (?), 01:17, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    выбрал генту? вот и мучайся!
     
  • 2.24, Breg (??), 02:35, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    Можно, нужно просто примонтировать как экст4, но обратно как экст3 уже не примонтируешь.
    Погугли по поводу и найдешь.
     
  • 2.30, User294 (??), 11:15, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >А если я в поте лица неделю компилировал на ноуте генту на
    >ext3, можно ext3 как-нибудь волшебным образом сконвертировать в ext4 без форматирования?

    Можете смонтировать как ext4.Вот только толку то с того?Файлы которые УЖЕ на диске в меру моего понимания не смогут пользоваться продвинутостями EXT4 - я так понимаю что никто не будет их перетрясать.Да и как вы себе представляете например конверсию из традиционного представления в (более эффективные) extent'ы на ходу?Я так понимаю что такое не реализовано и файлы будут валяться по сути в формате а-ля с EXT3, только вновь записываемые файлы будут юзать преимущества ext4.Надеюсь что нигде не наврал...

     
     
  • 3.31, Slackwarer (?), 15:54, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    я конечно извиняюсь за собственую некомпетентность но разве нельзя все за-tar-ить переформатать в ext4 и растарить систему назад? 0_o
     
     
  • 4.34, vitek (??), 22:40, 05/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    если есть куда и когда - лучший вариант.
    вот только куда и как долго будет проходить ~4-5tb - вопрос...
     
  • 4.41, User294 (??), 21:38, 10/12/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >я конечно извиняюсь за собственую некомпетентность но разве нельзя все за-tar-ить переформатать
    >в ext4 и растарить систему назад? 0_o

    Можно конечно.Только при этом предполагается что есть куда данные слить а сама процедура может занять дофига времени.

     

  • 1.43, Аноним (43), 23:21, 07/01/2010 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    EXT4 нельзя использовать на массиве больше 16ТБ, возможно в будущем исправят.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Спонсоры:
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2020 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру