Следом за Ubuntu разработчики Debian добавили (http://people.skolelinux.org/pere/blog/Debian_now_with_ZFS_o... в репозиторий unstable пакет ZFSonLinux (https://www.opennet.ru/opennews/art.shtml?num=42948) с менеджером логических томов и файловой системой ZFS. Реализация работает на уровне ядра и включает модуль ядра и набор утилит. Для обхода
проблем (https://www.opennet.ru/opennews/art.shtml?num=43944) с несовместимостью лицензий модуля ZFS (CDDL) и ядра Linux (GPLv2), мешающих поставке бинарного модуля в составе дистрибутива, задействована (https://packages.debian.org/unstable/zfs-dkms) система DKMS (https://ru.wikipedia.org/wiki/Dynamic_Kernel_Module_Support) (Dynamic Kernel Module Support), при которой модуль поставляется в исходных текстах и собирается на системе пользователя, непосредственно после установки пакета.URL: http://people.skolelinux.org/pere/blog/Debian_now_with_ZFS_o...
Новость: https://www.opennet.ru/opennews/art.shtml?num=44421
Это они говорили что нельзя так делать?
Нет, это говорили FSC. И говорили, что как раз через DKMS можно, а сразу бинари, как это сделали в Ubuntu - нельзя.
И шо нам это даёт, брателло?
> И шо нам это даёт, брателло?Файловую систему ZFS законным способом. И это хорошо.
----------------
--ПТЧК, Т ПРНС ZFS?
--Д
--ЗБС!!!
> Это они говорили что нельзя так делать?честно говоря с последним (стабильным, включая коммерческую поддержку того же рэдхэт) lvm2 надобность сабжа (да и btrfs) стала сомнительной. (насколько помню рхэл при установке использует lvm по-умолчанию).
разве что для совместимости и миграции.
1. lvm и RAID'ы:
> $ man lvcreate
> --type SegmentType
> Creates a logical volume with the specified segment type. Supported types are: cache, cache-pool, error, linear, mirror, raid1, raid4, raid5_la, raid5_ls (= raid5), raid5_ra, raid5_rs, raid6_nc, raid6_nr, raid6_zr (= raid6), raid10, snapshot, striped, thin, thin-pool or zero.подробнее https://wiki.gentoo.org/wiki/LVM/ru#.D0.A0.D0.B0.D0.B7.D0.BB...
2. Снимки LVM2 и тонкие снимки https://wiki.gentoo.org/wiki/LVM/ru#.D0.A1.D0.BD.D0.B8.D0.BC...
(используется COW кстати, и производительность не падает)
3. Тонкие тома https://wiki.gentoo.org/wiki/LVM/ru#.D0.A2.D0.BE.D0.BD.D0.BA...
в общем масса положительных изменений. и при этом не зависит (ну почти) от типа используемой ФС (в том числе и clustered lvm2 https://wiki.gentoo.org/wiki/LVM/ru#.D0.9F.D1.80.D0.BE.D0.B3... )
lvm2 создает снепшоты живого диска за 400ns ?
пофиг на наносекунды, погоды не делает
сжатие, вот реально нужное
в снэпшотах lvm теперь используется COW.
так что сжатие для (снэпшотов. а не вообще «как хотелка») точно по-барабану.зыж
говорят, что производительность слегка падает, если lvm создан поверх софт-рэйта (mdadm).
но этот юзкейс на сегодня выглядит как — «Вау!»
в любом случае (даже поверх mdadm. например lvm «приехал» из нулевых) — это гораздо быстрее сабжа работает (и в повседневной эксплуатации вообще, и при работе со снимками в частности).
>говорят, что производительность слегка падает, если lvm создан поверх софт-рэйта (mdadm).Ну вообще так делают чуть менее чем все, разве нет?
делать это сейчас — точно нет необходимости.
легаси-системы — да. так исторически сложилось, но от этого нужно уходить постепенно.
Ну не знаю.
mdadm прост как пробка и хорошо выполняет свою работу.
lvm2 raid, судя по описаниям, гораздо сложнее и не настолько прозрачен, что явно не упрощает восстановление данных в случае проблем. А ещё он, например, не поддерживается grub-ом, т.е. чтобы сделать загрузчик на raid1 все равно придётся использовать mdadm.
>>говорят, что производительность слегка падает, если lvm создан поверх софт-рэйта (mdadm).
> Ну вообще так делают чуть менее чем все, разве нет?нет. наркоманы любят hw raid, считая, что оно круче софтрейда:-)
> считая, что оно круче софтрейда:-)а это разве не так?
>> считая, что оно круче софтрейда:-)
> а это разве не так?а разве так?
ну, когда-то давно еще одним из преимущстве zfs raidz называли то, что контроль целостности у него постоянный, а не только по запросу, как у хардверных raid5
Аппаратный RAID круче хотя бы потому, что системе нужно записать один блок один раз, а не два раза, как в случае с программным. А ещё у аппаратного может быть батарейка, которая при отключении питания гарантированно запишет блоки из буфера на оба диска. В случае программного RAID вы сможете на глаз определять, какой из двух отличающихся блоков должен заменить другой?Но, конечно, аппаратный рейд стоит денег. И не только контроллер с батарейкой, но и запасной контроллер, на случай если рабочий из строя выйдет. Но вообще, серьёзные люди не только диски и контроллеры дублируют, но и серверы, коммутаторы, линки, кондиционеры, источники бесперебойного питания, дизель-генераторы ставят, делают два ВРУ от разных подстанций, ставят охранные и пожарные системы и т.д.
Какой-то там программный RAID на локалхосте на антресоли к надёжности не добавляет почти ничего.
> Аппаратный RAID круче хотя бы потому, что системе нужно записать один блок
> один раз, а не два раза, как в случае с программным.
> А ещё у аппаратного может быть батарейка, которая при отключении питания
> гарантированно запишет блоки из буфера на оба диска. В случае программного
> RAID вы сможете на глаз определять, какой из двух отличающихся блоков
> должен заменить другой?"оба диска"?:-))
> Но, конечно, аппаратный рейд стоит денег. И не только контроллер с батарейкой,
> но и запасной контроллер, на случай если рабочий из строя выйдет.
> Но вообще, серьёзные люди не только диски и контроллеры дублируют, но
> и серверы, коммутаторы, линки, кондиционеры, источники бесперебойного питания, дизель-генераторы
> ставят, делают два ВРУ от разных подстанций, ставят охранные и пожарные
> системы и т.д.всего 2 слова: HP EVA. целиком забитая дисками Ъ-инторпрайз пое-нь. с 2 контроллерами. приходилось видеть такое? а в резерве еще одно такое? а приходилось осознавать, что за месяц+ работы инженеров НР это по-прежнему груда дорогущего металла и полнейший рандом вместо данных?)
> Какой-то там программный RAID на локалхосте на антресоли к надёжности не добавляет
> почти ничего.ну куда нам, админам локалхостов, да;(
> ну куда нам, админам локалхостов, да;(А давай проверим админ ли ты локалхоста:
Компании надо хранить много бюкапов. Хостер предлагает взять под это дело сервер с 10 x 1 TB SATA дисками и собрать из них raid-массив.
Вопрос: согласишься или нет с предложением хостера? Почему?
>> ну куда нам, админам локалхостов, да;(
> А давай проверим админ ли ты локалхоста:
> Компании надо хранить много бюкапов. Хостер предлагает взять под это дело сервер
> с 10 x 1 TB SATA дисками и собрать из них
> raid-массив.от слово "бюкапов" я блеванул на клавиатуру. не админ локалхоста или он? :(
> Вопрос: согласишься или нет с предложением хостера? Почему?
хостер предлагает _мне_? ыыыыы
А можно попросить 10 серверов с 10 x 4 TB SATA дисками? + интеграцию этого говна и SLA подписать с указанием суммы со многими нулями?
HP EVA это 3 слова. Я как человек настраивавший и собиравший EVA 4400 (7 дет назад) 2 контроллерами и полной резервируемостью могу сказать что EVA как и многие продукты HP гавшище. Есть 2 производителя топовых СХД - Hitachi и IBM . Альтернативе Иве от ИБМ это сторвайз и он в разы превосходит хьюллет. И я, как бывший админ , админу(эникейщику) теперешнему могу сказать что в СХД есть софт и он на операционках и есть "типа раскрученные" СХД на ядре виндоус.
PS раньше подобные сайты можно было посещать и учиться читая комменты...
HP EVA это 3 слова. Я как человек настраивавший и собиравший EVA 4400 (7 дет назад) 2 контроллерами и полной резервируемостью могу сказать что EVA как и многие продукты HP гавшище. Есть 2 производителя топовых СХД - Hitachi и IBM . Альтернативе Иве от ИБМ это сторвайз и он в разы превосходит хьюллет. И я, как бывший админ , админу(эникейщику) теперешнему могу сказать что в СХД есть софт и он на операционках и есть "типа раскрученные" СХД на ядре виндоус.
PS раньше подобные сайты можно было посещать и учиться читая комменты...
HP EVA это 3 слова. Я как человек настраивавший и собиравший EVA 4400 (7 дет назад) 2 контроллерами и полной резервируемостью могу сказать что EVA как и многие продукты HP гавшище. Есть 2 производителя топовых СХД - Hitachi и IBM . Альтернативе Иве от ИБМ это сторвайз и он в разы превосходит хьюллет. И я, как бывший админ , админу(эникейщику) теперешнему могу сказать что в СХД есть софт и он на операционках и есть "типа раскрученные" СХД на ядре виндоус.
PS раньше подобные сайты можно было посещать и учиться читая комменты...
> HP EVA это 3 слова. Я как человек настраивавший и собиравший
> EVA 4400 (7 дет назад) 2 контроллерами и полной резервируемостью
> могу сказать что EVA как и многие продукты HP гавшище.
> Есть 2 производителя топовых СХД - Hitachi и IBM . Альтернативе
> Иве от ИБМ это сторвайз и он в разы превосходит хьюллет.
> И я, как бывший админ , админу(эникейщику) теперешнему могу сказать
> что в СХД есть софт и он на операционках и есть
> "типа раскрученные" СХД на ядре виндоус.
> PS раньше подобные сайты можно было посещать и учиться читая комменты...пупсик, а ты чего сказать-то хотел? причем аж 3 раза. поведать о том, что НР говно? так я и так в курсе. (ibm, кстати, тоже то еще говно, это тебе "не эникейщику" говорю я, "эникейщик")
или ты поведать пытался что в схд есть ОС?
> А ещё у аппаратного может быть батарейка, которая при отключении питания
> гарантированно запишет блоки из буфера на оба диска.Э, можно маленькое уточнение? На этих "обоих дисках" - тоже батарейка (спасающая от обесточивания)? А то, как бы, немного трудновато будет батарейке в адаптере "гарантировано записывать блоки" невращающихся дисков:)
"Бред сивой кобылы". Чел вообще не представляет как аппаратные RAID работают. Слышал звон, а хер знает где он..
Какое смешное сочетание понтов с неграмотностью. Вот таким хвраиды и впаривают.
> в снэпшотах lvm теперь используется COW.А было иначе?
> зыж
> говорят, что производительность слегка падает, если lvm создан поверх софт-рэйта (mdadm).Кто говорит? Как тестировал? «Слегка» — это насколько?
> Кто говорит? Как тестировал? «Слегка» — это насколько?Все говорят.
Молча.
Слегка - это чуть больше децела.FYI. Эти вопросы бесполезно задавать на опеннете. Если человек сразу не привел адекватных данных, значит у него этих данных нет.
> FYI. Эти вопросы бесполезно задавать на опеннете. Если человек сразу не привел
> адекватных данных, значит у него этих данных нет.Ну так риторические же вопросы были.
Не слегка. По iops - до нескольких раз.
По линейному чтению из-за фрагментации уже записанного - вполне может быть падение с 80Мб/сек до 4-5Мб/сек.
Любые снапшоты ведут к деградации производительности.Искренне ваш, К.О.
я так понимаю, что за 401ns не устроит? ☺зыж
ссылки выше есть (доступно для «чукчи-читателя»). разберитесь с вашим пониманием, что такое «снимки» и что такое «тонкие снимки».
потом попробуйте понять как это работает:
> При обращении к снимку, LVM читает информацию с оригинального логического тома, затем проверяет все зарегистрированные изменения и "откатывает" эти изменения перед выдачей результатов пользователю.и будет вам «сщасьте».
ззыж
и почему бы вам не создать снимок раньше на >400ns? за минуту? 10? за час?
хоть один пример «почему нет»?
Да - прогресс налицо!
Но к примеру снапшоты до сих пор сильно замедляют работу. И чем их больше - тем сильнее. В ZFS же замедление можно только спец приборами зафиксировать.РыХы рекомендует ЫгсФЫсЫ с лвм. Настоятельно и упорно. Догадаетесь почему? Они посмотрели в оригинальные ириксовские ещё сорцы и вот только теперь доперли куски чего они тупо выкусили в своё время :) В 7-ке это вернули назад :))) И это гуд.
> РыХы рекомендует ЫгсФЫсЫ с лвм. Настоятельно и упорно. Догадаетесь почему? Они посмотрели
> в оригинальные ириксовские ещё сорцы и вот только теперь доперли куски
> чего они тупо выкусили в своё время :) В 7-ке это
> вернули назад :)))Откуда вы это взяли ?Хоть я и не использую XFS,но знаю по новостям что от оригинала мало что осталась,даже формат данных поменялся.Добавили контрольные суммы чего не было в оригинале.
>Откуда вы это взяли ?Один бухой RH-шник сказал. Может конечно и врёт, но зачем?!
>Хоть я и не использую XFS,
А я использую. А уж если бы ты до Irix-а добрался ты бы увидел что в оригинале оно было в курсе о волюм-менеджерах ...
>но знаю по новостям что от оригинала мало что осталась,ну вот и ходят слухи что признали что той чего надо вернуть :)
>даже формат данных поменялся.Добавили контрольные суммы чего не было в оригинале.Я не фанат RH, но и не идиот - инженерят они вполне себе неплохо. Было бы глупо получить такой подарок и забросить, так что всё правильно - и даже молодцы.
> В ZFS же замедление можно только спец приборами зафиксировать.смешно.
не, снимки на тормоза самой zfs почти не влияют — этъ точно.
а если ей выдать дцать гигов оперативы в монопольное использование, то можно даже и работать.но! если эти же ресурсы отдать линуховому ядру вместе с lvm2 и xfs, то можно ещё найти место и для постгри под какую-нибудь одиэску.
и даже вместе ораклом в придачу.
зыж
> Но к примеру снапшоты до сих пор сильно замедляют работу. И чем их больше - тем сильнее.это устаревшие сведения почти дцатилетней давности.
> The better way is called "thin provisioning":
> - You specify an area for thin provisioning which is big enough to hold all snapshot data.
> - Now you create a "thin" snapshot on LVM2
> - Snapshot space is allocated from the area for thin provisioning when Copy-on-Write must be done.
> - All Snapshots which use thin-provisioning share the same area.Notes
>
> Thin provisioning optimizes things. Most importantly, it speeds up access to thin provisioning snapshots by modifying the way snapshots are managed.http://hydra.geht.net/tino/howto/linux/lvm2/thin/ — не только zfs сегодня может использовать COW, но и device-mapper https://www.kernel.org/doc/Documentation/device-mapper/snaps...
который используется и в lvm2 (и который о снимках в dm знает) и в mdadm (который об ещё(?!!) не в курсе). может поэтому тормоза есть только при комбинации lvm2 поверх mdadm.
Боюсь тебя расстроить :( md у меня нет. А dm - наоборот есть. И вот :(
Но! Но руку за это не отдам, там ещё довольно кривой рэйд присутствует, вот если получится его из схемы исключить - ситуация сразу станет понятной.
> А dm - наоборот есть.странно было бы, если бы его не было. https://www.kernel.org/doc/Documentation/device-mapper/snaps...
версия lvm хоть какая, не говоря уж про OS
получить так (это мой домашний, на рабочий уже точно не полезу☺):
# lvm version
LVM version: 2.02.145(2) (2016-03-04)
Library version: 1.02.119 (2016-03-04)
Driver version: 4.34.0
# dmsetup version
Library version: 1.02.119 (2016-03-04)
Driver version: 4.34.0
зыж
> Боюсь тебя расстроить :(не получится. снэпшоты lvm2 у меня тормозят не больше, чем zfs и btrfs. коу как коу.
>> В ZFS же замедление можно только спец приборами зафиксировать.
>смешно.Да пожалуйста. Но факт остаётся фактом :-р
>не, снимки на тормоза самой zfs почти не влияют — этъ точно.
тормоза? Ты о чём? Что ещё мржет выдержаь тыЩЩи iSCSI сессий от виртуалок?!?!
Много чего - но из закрытого. Из открытогоо только ZFS! Остальное тихо дохнет.
А уж какую стремительную ФС ты там на своёй уютненькой ___в___одно___рыло___ пользуешь ... всем нас*** уж извини за непосредственность :)
> тывот тогда гони пруф, где ты лично тыЩЩи гоняешь.
а то быстро в гугуль отправлю на предмет мулЬЁНоВ ext4 (усех инсталяций зюйтюфес стока не наберетсИ, скокА у угела винтов в день ломаетЦя. так оне понятней излагайю?)
> надобность сабжа (да и btrfs) стала сомнительнойЯ попросил бы не упоминать бтрфс всуе - Крис сказал 14 февраля, значит будет 14 февраля. А того кто будет тут раскачивать нашу веру в Криса, мы призовём к ответу, по всей строгости опенсорсных понятий.
поддержку btrfs из rhel7+ (ну и центоси) никто не убирал.
а вот портировать новинки в rhel6(-), т.е. в ядро 2.6.32 (из 4.5+ то!) стало накладно.просто lvm2+xfs(ext4/jfs/…) тоже на месте не стоят. ну и плюс сабж.
богатство выбора (всё более) проверенных решений не может не радовать (кроме мс&со), разве нет?
Попробуй сними дамп с лвм партиции - он будет равен размеру партиции, в случае с zfs он будет равен размеру занятой области в партиции. Этим и отличаются фс работающие совместно с менеджером томов.
Плюс дедубликация, плюс сжатие.
Опять же управление избыточностью в LVM реализованно на уровне томов, zfs избыточность реализована на уровне фс что как бе немного не то же самое.
Ну и наконец, пробовал я LVM raid и на rhel и в debian, да оно работает не плохо, но по-сути это md внутри кода lvm.
> ПопробуйпопробуйТЕ, стимиТЕ,… просто правила хорошего тона.
> сними дамп с лвм партиции - он будет равен размеру партиции, в случае с zfs он будет равен размеру занятой области в партиции.вы в своём ли уме? dd снимать собираетесь? у меня знаете ли поверх (партиция? это что за термин?) logical volume (lv) файловая система, которая монтируется, в том числе и для записи. xfsdump - XFS filesystem incremental dump utility. выше уже писал про COW и тонкие снимки.
> Плюс дедубликация, плюс сжатие.
плюс пoнты, надутыe щeчки https://habrahabr.ru/company/hostkey/blog/179151/
> первый косяк мы словили уже через неделю — по мере миграции на Нексенте кончилась память для таблицы дедупликации.
> на каждый блок ФС в пуле Нексенте надо примерно 500 байт в памяти для таблицы дедупликации. Если у нас в системе 128Гб памяти, Нексента может хранить инфу про 256 000 000 блоков:
> максимальный размер занятого пула на 4К блоках — 1Тб, на 16К блоках — 4Тб, на 32К блоках — 8Тб и на 64К блоках — 16Тб. Запишите это красным маркером на стене! Зайдете за границу и прощай премия =)
> …в общем интересная история «успеха». рекомендую.
>> на каждый блок ФС в пуле Нексенте надо примерно 500 байт в памяти для таблицы дедупликации. Если у нас в системе 128Гб памяти, Нексента может хранить инфу про 256 000 000 блоков:
>> максимальный размер занятого пула на 4К блоках — 1Тб, на 16К блоках — 4Тб, на 32К блоках — 8Тб и на 64К блоках — 16Тб. Запишите это красным маркером на стене! Зайдете за границу и прощай премия =)
> в общем интересная история «успеха». рекомендую.Т.е режим на половину в примере блоки =128000000,и при размере 4кб блок получаем 128 эксабайт на дисках хранения.Блин,где такая контора что маилру по размеру данных отдыхает,по моему у них сервак был просто слабенький для таких объемов .......
столько усилий, и только для того, чтобы обойти надуманные копирастические ограничения
кто ж виноват что хипи даже 2 версии GPL сделал не совместимыми между собой. А уж о других свободных лицензиях ... ваще.
> кто ж виноват что хипи даже 2 версии GPL сделал не совместимыми
> между собой.Какая-какая, говорите, вторая-то, "не совместимая между собой", в _ядре_?
о других свободных лицензиях ... ваще.
> Следом за Ubuntu разработчики Debian добавилиКругом враги.
> в репозиторий unstable пакет ZFSonLinux
А-а-а! Где тот аноним, что на днях говорил, дебиан, мол, не тот после s-d, набежали [птенцы], тащат в реп. [всякое], а sid "уже год поломан"ТМ.
тЫ ЗНАЛ!!!1 тОВАРИЩ!
> с несовместимостью
> лицензий модуля ZFS (CDDL) и ядра Linux (GPLv2), мешающих поставке бинарного
> модуля в составе дистрибутива, задействована
> система DKMS
>в исходных текстах и
> собирается на системе пользователя, непосредственно после установки пакета.Прямо. Хоть. На десяточку. И бэсэдэ. Беги.!!. </агащаз>
>> Следом за Ubuntu разработчики Debian добавили
> Кругом враги.
>> в репозиторий unstable пакет ZFSonLinux
>что на днях говорил, дебиан, мол, не тот после s-d, набежали [птенцы], тащат в реп. [всякое], а sid "уже год поломан"ТМ.
> тЫ ЗНАЛ!!!1 тОВАРИЩ!Как D. официально отмазывается и спрыгивает с темы и косит глазами:
""Finally, the inclusion of ZFS was announced slightly more than a year ago, on April 2015 by the DPL at the time, Lucas Nussbaum who wrote [U]"We received legal advice from Software Freedom Law Center about the inclusion of libdvdcss and ZFS in Debian [ . . . ] "[/U] [ . . . ] In January this year, the following DPL, Neil McGovern blogged with a lot of more details about the legal situation behind this and summarized it as [U]"TLDR: It’s going in contrib, as a source only dkms module."[/U]
ZFS is not available exactly in Debian, since Debian is only what's included in the [U]"main"[/U] section archive. What people really meant here is that ZFS code is now in included in [U]"contrib"[/U] and it's available for users using DKMS.
Many people also mixed this with Ubuntu now including ZFS. However, Debian and Ubuntu are not doing the same, Ubuntu is shipping directly pre-built kernel modules, something that is considered to be a GPL violation. [ . . . ]"
-- https://bits.debian.org/2016/05/what-does-it-mean-that-zfs-i...
Прямо проприертарные fbsd-ешники c классикой "порты не часть системы" жанра.
А где можно почитать сравнение FS, и что лучше ставить в 2016 году вместо ext4 и почему?
Ставьте btrfs ヅ
> Ставьте btrfs ヅИ где она в продакшене?
>> Ставьте btrfs ヅ
> И где она в продакшене?User294'у удалось завести Btrfs. Теперь здесь не появляется под своим ником — пишет из-под Анонима. :))
ну твои то 6мб/с тоже не забыты.
как и вантуз с путти.
> ну твои то 6мб/с тоже не забыты.Только добавлять не забывайте: "На древних ноутбучных винтах, заполненных под завязку, и включенной дедупликацией данных".
(А то у некоторых амнезия на этот счёт - помнят только первую часть сообщения).Кстати, на новых ноутбучных винчестерах (1ТБ, 7200rpm) скорость копирования больших файлов между пулами - чуть более 70МБ/с (по показаниям диалога копирования Thunar).
> как и вантуз с путти.
А что с ними не так? (Никогда не использовал одновременно - не знаю).
Оо! Тунар на вантузе! Круто.
> Оо! Тунар на вантузе! Круто.Ты не ответил на вопрос.
У тебя вантузо- и туттифобия?
"продакшен не нужен" (c) ктото усатый
Red Hat рекомендует XFS везде.
Да. __теперь__ это пожалуй уже почти настоящий XFS :)
> Red Hat рекомендует XFS везде.А на SSD тоже?
>> Red Hat рекомендует XFS везде.
> А на SSD тоже?_Настояший_, Irix XFS? Оно про такое не знало, может и убить со страху :))))
а и не надо.достаточно раз в неделю кроном fstrim.но xfs наверное во всех дистрах лет 7 минимум имеет опцию discard.
я лично препочитаю первый вариант для ноута. меньше ssd'ху гоняет.
как по производительности, так xfs отродясь многопоточный, головок в ssd'ах нет, елозить нечему.
на сервере можно заюзать с lvm2 как кэш — man lvmcache. и не забывать включить (man lvcreate) --cachemode {passthrough|writeback|writethrough}
на linux?
устанавливайте (что означает — отдайте управление дисками. диски целиком) lvm2 и используйте ту ФС, которая вам больше импонирует.
мне нравится XFS, например. но она не может уменьшаться, зато расширяется «на лету», даже без размонтирования. ext4 может и сжиматься.
и будут вам и снэпшоты, и рэйды, и COW.см. мой комментарий выше — #2.5
> на linux?
> устанавливайте (что означает — отдайте управление дисками. диски целиком) lvm2 и
> используйте ту ФС, которая вам больше импонирует.
> мне нравится XFS, например. но она не может уменьшаться, зато расширяется «на
> лету», даже без размонтирования. ext4 может и сжиматься.
> и будут вам и снэпшоты, и рэйды, и COW.только у ext4 не могут сжиматься директории. Что приводит к сильной деградации в каталогах где часто файлы создаются и удаляются.
fsck -D - не?
e4defrag http://events.linuxfoundation.org/slides/2010/linuxcon_japan...
$ man e4defrag
> e4defrag [ -c ] [ -v ] target ...
> target is a regular file, a directory, or a device that is mounted as ext4 filesystem. If target is a directory, e4defrag reduces fragmentation of all files in it. If target is a device, e4defrag gets the mount point of it and reduces fragmentation of all files in this mount point..
>If target is a directory, e4defrag reduces fragmentation of all files in it.Именно так. Сама директория не сжимается, лично с этим столкнулся. Деградация проявлялась даже при траверсинге, когда целевой файл лежал на SSD и был залинкован в деградировавшую директорию, скорость доступа падала раза в 2-3 по сравнению с прямым доступом. Способ исправления один — удалить и создать заново. Больше никак.
> в каталогах где часто файлы создаются и удаляются.не совсем так. Если ты в директорию единовременно вдуеть миллион файлов, а потом удалишь большую часть - да, распухнет и будет продолжать тормозить в дальнейшем. А просто сотню создать, сотню удалить и так миллион раз - это без проблем.
Инсайдеры врут что красношляпые только сейчас допёрли посмотреть код оригинальной ириксовской XFS и фтыкнули нафига там код сопряжения с волюм манагером :) Так что будет вам пёрфект матч lvm2\ZFS если не в 7.* ну так хоть в 8.* (скрестил пальцы)
> матч lvm2\ZFSне совсем понятно.
у zfs свой волум манагер. и вот он кстати очень не плохой.
нафиг ещё ему и лвм?
или вы о чём то другом?
Промахнулся товарищ - имел в виду XFS
а, тогда понятно.
да, lvm2+xfs можно (ну или будет можно) сравнивать по фичам c zfs/btrfs.
по производительности, стабильности, удобству — так уже имхо.
> да, lvm2+xfs можно (ну или будет можно) сравнивать по фичам c zfs/btrfs.Репликацию изменений умеет только zvol, так что для данного кейса (гонять реплику ФС/раздела на удалённую площадку) — пока увы.
(Можно zvol+xfs, если навороты zfs не упёрлись. Или вообще голый zvol, для виртуалок.)
> Промахнулся товарищ - имел в виду XFSНу пятница же! А сегодня вышло так что скорее даже тяпница:)
Но спасибо что поправили, да - XFS. И больше я сегодня не пишу :))))
Как и десять лет тому, XFS.
Из серии дебианщики поковырялись в носу. Если бы в инсталлятор добавили поддержку ZFS, то хоть понятно зачем весь сыр-бор.
а зачем?
держать систему на zfs?
теперь два «зачем»?а вот прочитать данные от предыдущего айзена — бывает ой как нужно. можно потом мигрировать, а можно и нет.
и теперь для этого не нужно будет собирать из сырцов и мучаться от вопросов (а может не так собрал, а может версия не та)
> а зачем? держать систему на zfs?Капитан: Потому что на некотором спектре задач - это лучший выбор.
> а вот прочитать данные от предыдущего айзена — бывает ой как нужно.
О FUSE линукс-Ыгспёрд конечно не слышал?
Хотя чего это я линугз Ыкпердов новой волны вопросами смущаю?! Ухожу-ухожу :)
> Капитан: Потому что на некотором спектре задач - это лучший выбор.например, юнга?
>>а вот прочитать данные от предыдущего айзена — бывает ой как нужно.
>О FUSE линукс-Ыгспёрд конечно не слышал?могу и повторить:
>>можно потом мигрировать, а можно и нет.юзкейс — особенно если поГно-сценны в поГно-свалке например дублируются.
а запросы настолько редки, а на скорость дедупликации вам — нас ратъ.
>> Капитан: Потому что на некотором спектре задач - это лучший выбор.
> например, юнга?Например на встраиваемых системах, которые можно включать и выключать с кнопки. ZFS позволяет на выключения на всем скаку тупо покекать, потому что on-disk state всегда целостный. Как Циску - вырубил, врубил - пофигу. Джунипер, который на Фре, при выключениях без шит-дауна обычно разваливается в хлам на своей ufs.
Сечешь?
> Например на встраиваемых системах
> ZFSможет вам как айзену?
на exfat?зыж
> Сечешь?уже догадываюсь.
что-нибудь ещё? диагноз не полный пока.
> Джунипер, который на Фре, при выключениях без шит-дауна обычно разваливается в хлам на своей ufs.Вообще-то, в ufs2 soft updates, поэтому разваливаться (по вине фс) там нечему - в отличие от журналируемых фс, которые могут развалить при повреждении журнала
> Например на встраиваемых системах, которые можно включать и выключать с кнопки.Для встраиваемых систем у ZFS чрезмерно большие аппетиты по памяти
отключайте кеш
>> Например на встраиваемых системах, которые можно включать и выключать с кнопки.
> Для встраиваемых систем у ZFS чрезмерно большие аппетиты по памятиНету у нее аппетитов по памяти при грамотной настройке. А у эникейщиков всегда проблемы по default.
> Нету у нее аппетитов по памяти при грамотной настройке. А у
> эникейщиков всегда проблемы по default.А у тебя, судя по всему, какая-то проблема с руками. Потому что набрать в гугле "zfs memory requirements" нельзя, только если вообще нет рук.
Или не с руками?..
"Нуууу тупые" эникейщикиСервер на котором крутиться 1С Postgresql
root@...:/usr/home/user # uname -a
FreeBSD ... 10.0-RELEASE FreeBSD 10.0-RELEASE #0: Mon Feb 24 02:01:41 ALMT 2014 user@....com:/usr/obj/usr/src/sys/smsmptg amd64
root@...:/usr/home/user # toplast pid: 89415; load averages: 0.17, 0.27, 0.25 up 15+23:29:54 20:25:20
58 processes: 1 running, 56 sleeping, 1 zombie
CPU: 0.3% user, 0.0% nice, 3.2% system, 0.0% interrupt, 96.5% idle
Mem: 51M Active, 583M Inact, 2086M Wired, 1920K Cache, 1208M Free
ARC: 1023M Total, 104M MFU, 766M MRU, 16K Anon, 38M Header, 115M Other
Swap: 2048M Total, 2048M Freeroot@….:/usr/home/user # zfs list
NAME USED AVAIL REFER MOUNTPOINT
zroot 153G 73.7G 583M /zroot
zroot/tmp 13.3M 73.7G 13.3M /zroot/tmp
zroot/usr 151G 73.7G 138G /zroot/usr
zroot/usr/home 10.2G 73.7G 10.2G /zroot/usr/home
zroot/usr/ports 1.72G 73.7G 1.16G /zroot/usr/ports
zroot/usr/ports/distfiles 568M 73.7G 568M /zroot/usr/ports/distfiles
zroot/usr/ports/packages 1.78M 73.7G 1.78M /zroot/usr/ports/packages
zroot/usr/src 602M 73.7G 602M /zroot/usr/src
zroot/var 1.34G 73.7G 143M /zroot/var
zroot/var/crash 148K 73.7G 148K /zroot/var/crash
zroot/var/db 308M 73.7G 303M /zroot/var/db
zroot/var/db/pkg 5.34M 73.7G 5.34M /zroot/var/db/pkg
zroot/var/empty 144K 73.7G 144K /zroot/var/empty
zroot/var/log 918M 73.7G 918M /zroot/var/log
zroot/var/mail 148K 73.7G 148K /zroot/var/mail
zroot/var/run 372K 73.7G 372K /zroot/var/run
zroot/var/tmp 152K 73.7G 152K /zroot/var/tmp
пысы когда мозгов то нет - только требования читать и остается.
> а зачем?
> держать систему на zfs?
> теперь два «зачем»?
> а вот прочитать данные от предыдущего айзена — бывает ой как нужно.
> можно потом мигрировать, а можно и нет.
> и теперь для этого не нужно будет собирать из сырцов и мучаться
> от вопросов (а может не так собрал, а может версия не
> та)Что бы было.
Что бы избавиться от dm-crypt/luks и LVM, хочу шифровать разделы и использовать снэпшоты без тормозов.
Дак, блин, всё ещё нет шифрования в ZFS собственного :(
Одной этой фичи только не хватает для счастья
Есть же! Ты просто проморгал это событие. Влет все разделы шифрует и загружается на 15 секунд быстрей на HDD.
> Дак, блин, всё ещё нет шифрования в ZFS собственного :(
> Одной этой фичи только не хватает для счастьяУровень шифрования должен быть ниже уровня файловой системы - иначе грош-цена шифрованию.
> Уровень шифрования должен быть ниже уровня файловой системы - иначе грош-цена шифрованию.Таки да, иначе зашифрованное может оказаться в незашифрованных метаданных файловой системы.
и щтоб звезда во лбу горела?алё! сабж всё это позволяет. шифруйте, избавляйтесь, не_тормозите.
в инсталяторе вам зачем?
просто потому? ну так засучивайте рукава.
Не тормози. Нет открытой реализации шифрования средствами ZFS, которую можно в случае чего быстро перекинуть на другую ОС. Не зависимо отинсталлятора.
Но как Сэр?!?!? (С) АнегдодТам при установке модуль ведра из сырков собирается, если я правильно понял. Делать такое в инсталлере ...
> Но как Сэр?!?!? (С) Анегдод
> Там при установке модуль ведра из сырков собирается, если я правильно понял.
> Делать такое в инсталлере ...Сообщество Debian имеет большое влияние на GNU FSF и могло бы продавить идею возможности нативного использования ZFS в ядре Линукс. Но ковыряния в носу мешают этому.
Продавить нарушение лицензии? Ты хоть как-то думай, что пишешь
>> Но как Сэр?!?!? (С) Анегдод
>> Там при установке модуль ведра из сырков собирается, если я правильно понял.
>> Делать такое в инсталлере ...
> Сообщество Debian имеет большое влияние на GNU FSF и могло бы продавить
> идею возможности нативного использования ZFS в ядре Линукс. Но ковыряния в
> носу мешают этому.Не нужно. FSF это утопия для open-source и Free-software. Debian комьюнити - связывает эту утопию с реальностью.
> задействована система DKMSИ нет проблем. А с убунтой такой шум подняли. Чего спрашивается? Ведь есть обкатанное решение:
> Например, DKMS также используется для поставки в репозитории non-free пакетов с пропритарными драйверами NVIDIA
А ещё давным давно для VirtualBox, fglrx (ATI/AMD-видео-драйвер), broadcom-sta, sl-modem.
>> задействована система DKMS
> И нет проблем. А с убунтой такой шум подняли. Чего спрашивается? Ведь
> есть обкатанное решение:И это было написано в той теме про убунту. И проблема была совсем не в дкмс.
Вас побеспокоил шум? Это ничего -- просто смотрите в другую сторону.
> И проблема была совсем не в дкмс.Уже бы в двух словах написал бы, так в чём была проблема.
> Уже бы в двух словах написал бы, так в чём была проблема.Ты можешь скачать сорс (распростренение), затем использовать - скомпилять его и подгрузить, но тебе не имеют права дать уже готовый скомпиленый модуль.
Благодаря несовместимости лицензий, ты можешь распространять только исходник. А вот скачав сорс, распространения уже не существует и ты можешь его скомпилять и использовать.
А распространение в скомпилированом виде - нарушает лицензию :)
Это я понимаю. Но человек же утверждает, что:
> И проблема была совсем не в дкмс.В убунту ведь дкмс есть, так в чём же была проблема? Очень хотелось загружаться с LiveCD и сразу из-коробки иметь ZFS? Или компилятор просто не влазил на CD?
Canonical поставляет собранный модуль ядра - проблему все видят именно в этом.
Делают они так, чтобы с обновлениями проблем не было.
О, прогресс всё же не стоит на месте. Поздравляю линуксоидов с нововведением.
ну… если не держишь при этом скрещенные пальцы за спиной, то… почему бы и нет.
спасибо на добром слове, добрый человек.
Как то подумал использовать ZFS дома на домашнем сервере, столкнулся с тем что размер томов нельзя уменьшить даже в Offline, отказался от такой затеи
> Как то подумал использовать ZFS дома на домашнем сервере, столкнулся с тем
> что размер томов нельзя уменьшить даже в Offline, отказался от такой
> затеиВот про то, что объём данных с годами растёт - известно. А вот чтобы меньше становился - это что-то новенькое весёленькое. А для пострадать хернёй "на попробовать" есть виртуальные машины, чтобы на каждый чих и пук не отрезать себе полвинта, ногу и ухо.
>> Как то подумал использовать ZFS дома на домашнем сервере, столкнулся с тем
>> что размер томов нельзя уменьшить даже в Offline, отказался от такой
>> затеи
> Вот про то, что объём данных с годами растёт - известно. А
> вот чтобы меньше становился - это что-то новенькое весёленькое. А для
> пострадать хернёй "на попробовать" есть виртуальные машины, чтобы на каждый чих
> и пук не отрезать себе полвинта, ногу и ухо.Ответ в стиле «мы не сделали — значит, и вам не нужно было».
Отлично просто. Дефект системы управления томами оправдывать «ну мы так не делали и вам не надо, и ваще вы козлы».
Проецирование, молодые люди. Про-е-ци-ро-ва-ни-е.
Ответ в стиле "Мы не знаем зачем оно нам, но возмутимся".
Расскажи про ежедневные задачи в которых активно участвует обгрызание раздела?
Или ты хотел винду в дуалбут, а заранее грамотно разделить винт не осилил?
> Ответ в стиле "Мы не знаем зачем оно нам, но возмутимся".
> Расскажи про ежедневные задачи в которых активно участвует обгрызание раздела?Да какое твоё дело, собственно? Есть ФС, в которых это можно. Это плюс. Есть те, в которых это нельзя. Это минус. Всё. Всё, блджад, минус, понимаешь ты это или нет? Никто не хоронит ZFS или XFS из-за этого. Всё просто, дубина ты стоеросовая, дело не во мне и не в моих ежедневных задачах, не твоё собачье это дело. Просто может система — или не может. ZFS может пятый рейд — хорошо. Может шестой — отлично. Не умеет системный кеш — плохо. Умеет вот так-то — хорошо. Не умеет эдак — плохо. Жрёт много памяти при дедупликации — плохо. Может дедупликацию — хорошо.
Понимаешь, болван ты надутый? Всем насрать на то, что ты думаешь о чьих-то задачах. Всем насрать на тебя и на твоё мнение об их ежедневных задачах. Когда кто-то использует инструмент, а рядом какой-то идиот орёт «эй, нельзя ТАК его использовать! я этого не делаю! покажи, зачем ты его ТАК держишь!» — товарищ идёт на три буквы. Быстро и решительно. А то и инструментом по сусалам, чтобы не учил взрослых людей, что им делать своими руками со своими файловыми системами.
ZFS она, понимаешь, предназначена чтобы данные хранить, а не тома уменьшать.
> ZFS она, понимаешь, предназначена чтобы данные хранить, а не тома уменьшать.Она предназначена, чтобы память жрать, как не в себя, в первую очередь.
Блин, опчть этот вброс. ну а толку что добавили? все равно устанавливать нельзя на нее, щас опять больше криков будет чем току, а току от этого никакого. кто хотел zfs, это я, тому пофиг в репах или где этот пакет, мне главное корень на zfs.
> току от этого никакого. кто хотел zfs, это я, тому пофиг
> в репах или где этот пакет, мне главное корень на zfs.Дядя Юра, Ви дурак?!
"Since wheezy, this is done for you by the installer."
https://wiki.debian.org/Debian_GNU/kFreeBSD_FAQ#Q._What_grub...
Танцы с бубном на ядре kFreeBSD, а я про ядро linux и без танцев с бубном, при обычной установке системы
> Танцы с бубном на ядре kFreeBSD, а я про ядро linux и
> без танцев с бубном, при обычной установке системыПожалуйста. Был рад помочь Вам в Вашем затруднении сформулировать длинный список крючочков Вашей уникальной хотелки.
> Танцы с бубном на ядре kFreeBSD, а я про ядро linux и
> без танцев с бубном, при обычной установке системыИз инсталятора нельзя, но никаких особых танцев с бубном там нет. Ничем не сложнее переезда на новый хард. Но нужно потратить лишние пол часа на копирование или установку через debootstrap, да.
elhana@stellarwind:~$ sudo grub-probe /
zfs
А в чем проблема была переписать код ZFS с другими переменными под новой лицензией и назвать ее _FS?
А потом десять лет судиться с Ораклом? И кому нужно такое счастье?Впрочем, вон выше уже просветили, что пока суть да дело - LVM допилили до состояния, когда у комбайнов ZFS/Btrfs есть реальный шанс просто помереть, во всяком случае в линуксе, уступив куда более осмысленной архитектуре.
Вы только забываете что zfs, да и btrfs, это файловая система с менеджером томов, а lvm просто менеджер томов, поверх которого надо стряпать файловую систему, да и снапшоты и там и там разные, хоть и похожие...
Кхм, ну вы даёте.Я как раз это и помню, именно потому ztf/btrfs в линуксе и являются, скажем так, архитектурно сомнительными (zfs вдвойне из-за проблем с кэшем). Ну и то, что ФС поверх можно выбрать под свои задачи - это, разумеется, плюс.
> Вы только забываете что zfs, да и btrfs, это файловая
> система с менеджером томов, а lvm просто менеджер томов, поверх которого
> надо стряпать файловую систему, да и снапшоты и там и там
> разные, хоть и похожие...И что? Зато можно, например, Windows разместить на LV/NTFS, а запускать через Xen. Надо переселить всю систему на другие диски? Можно это делать не останавливая работу Windows. Надо сделать мгновенный снимок NTFS-раздела, который ещё и активно в этот момент используется Widnows'ом? Можно это сделать не останавливая работу Windows. А ZFS тут чем поможет?
>> Вы только забываете что zfs, да и btrfs, это файловая
>> система с менеджером томов, а lvm просто менеджер томов, поверх которого
>> надо стряпать файловую систему, да и снапшоты и там и там
>> разные, хоть и похожие...
> И что? Зато можно, например, Windows разместить на LV/NTFS, а запускать через
> Xen. Надо переселить всю систему на другие диски? Можно это делать
> не останавливая работу Windows. Надо сделать мгновенный снимок NTFS-раздела, который ещё
> и активно в этот момент используется Widnows'ом? Можно это сделать не
> останавливая работу Windows. А ZFS тут чем поможет?Всем тем же самым потому, что в комплекте с ней идёт ZVOL.
>> Вы только забываете что zfs, да и btrfs, это файловая
>> система с менеджером томов, а lvm просто менеджер томов, поверх которого
>> надо стряпать файловую систему, да и снапшоты и там и там
>> разные, хоть и похожие...
> И что? Зато можно, например, Windows разместить на LV/NTFS, а запускать через
> Xen. Надо переселить всю систему на другие диски? Можно это делать
> не останавливая работу Windows. Надо сделать мгновенный снимок NTFS-раздела, который ещё
> и активно в этот момент используется Widnows'ом? Можно это сделать не
> останавливая работу Windows. А ZFS тут чем поможет?ну вынесите раздел в блочное устройство на zfs и снимайте снапшоты в чем проблема то ?
> Надо сделать мгновенный снимок NTFS-раздела, который ещё
> и активно в этот момент используется Widnows'ом? Можно это сделать не
> останавливая работу Windows.Ну да, дефрагментацию отключать низя...
Хехе ну это как минимум глупость обьявлять что ZFS как ФС и менеджер томов, разрабатывалась SUNом для серьезных применений в РЕАЛЬНЫХ бизнес сферах и учитывая их огромный опыт - МЕНЕЕ ОСМЫСЛЕННАЯ архитектура чем LVM который проектируется как "сферический конь в вакууме". Детский сад просто.
Разрабатывалась-разрабатывалась, да невыразработалась...
https://en.wikipedia.org/wiki/Oracle_America,_Inc._v._Google.... ?
Кто-то знает когда ЭТО будет в ядре https://en.wikipedia.org/wiki/Richacls ?
Во FreeBSD вместе с ZFS в ядре появились и списки контроля доступа NFSv4/NT ACL (кому как нравится). Странно что при всей динамике развития в линуксе этого ещё нет. Причина?
все к этому шло, после шага Canonical c ZFS на Ubuntu...
теперь ZFS в Ubuntu будет как upstream для Debian(Ubuntu -> Debian) или же вернется старая традиция Debian -> Ubuntu для ZFS? :)
> все к этому шло, после шага Canonical c ZFS на Ubuntu...
> теперь ZFS в Ubuntu будет как upstream для Debian(Ubuntu -> Debian) или
> же вернется старая традиция Debian -> Ubuntu для ZFS? :)Апстрим у них один - https://github.com/zfsonlinux/zfs/
Что они там делают дополнительно для интеграции с дистрибутивом - мелочи.Потом Ubuntu поставляет модуль ядра собранный, debian этого делать не будет.
и никто не знает как это теперь использовать