The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Код Bcachefs принят в основной состав ядра Linux 6.7, opennews (??), 31-Окт-23, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


5. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +4 +/
Сообщение от Аноним (5), 31-Окт-23, 07:53 
Прозрачная скажется на производительности и даст порядка 10% экономии места, если не баловаться кучей виртуалочек с одинаковыми образами.
Ответить | Правка | Наверх | Cообщить модератору

23. "Код Bcachefs принят в основной состав ядра Linux 6.7"  –1 +/
Сообщение от Аноним (1), 31-Окт-23, 09:18 
Кто спрашивал про прозрачную?
Ответить | Правка | Наверх | Cообщить модератору

38. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +3 +/
Сообщение от Аноним (5), 31-Окт-23, 10:03 
Тот, кто тебе мешает написать оффлайн-дедупликатор.
Ответить | Правка | Наверх | Cообщить модератору

88. "Код Bcachefs принят в основной состав ядра Linux 6.7"  –1 +/
Сообщение от OpenEcho (?), 31-Окт-23, 12:21 
> кто тебе мешает написать оффлайн-дедупликатор.

Зачем отдельный офлайн дедупликатор если он уже включен в бэкап системах (kopia, restic...)

Ответить | Правка | Наверх | Cообщить модератору

96. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от Аноним (96), 31-Окт-23, 12:38 
> Зачем отдельный офлайн дедупликатор если он уже включен в бэкап системах (kopia, restic...)

Ващет для файлух логично смотреть на bees, jdupes, duperemove, ... - там это есть именно в том виде каком оно в файлухах будет. У линя более-менее устаканился интерфейс "same extent" для софта, когда файлухе можно через IOCTL показать что мы считаем что вот этот и вот этот экстент - дубли. Изначально это в btrfs было, но это кажется и к XFS приделали уже, а вроде и в ZFS последней версии. А уж сабжу просто доктор прописал - вопрос только в том накодили ли это в том коде который в майнлайн приехал (там довольно много разных подветок на грани мержа развелось) и если да то в каком это все состоянии. Учитывая что экспериментальный код брякнулся даже в еще не -rc1, даже ответ на этот вопрос получить не совсем просто, надо сорц от и до читать а он здоровый.

Ответить | Правка | Наверх | Cообщить модератору

227. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от Аноним (227), 01-Ноя-23, 05:34 
в xfs есть рефлинк да
но дедупить её невозможно , потому что переменный размер экстента.
Ответить | Правка | Наверх | Cообщить модератору

235. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от Аноним (235), 01-Ноя-23, 06:37 
> в xfs есть рефлинк да
> но дедупить её невозможно , потому что переменный размер экстента.

Ну там вообще дизайн для этого всего неудобен, то что рефлинк сделали - уже за чудо. А майнтайнер XFS так то молоток, стратежно с проекта слился, перед сабжем, видимо, прикинув перспективы :)

Однако у btrfs так то экстенты тоже переменного размера. При этом дедупы позволяют выбирать размер блока который они оценивают на предмет дупа и совсем мельчить не рекомендуется т.к. сильно мелкие экстентики по скажем 4 кило - много оверхеда в метаданные дают.

И в принципе можно дедупать даже файл сам на себя.

Кому интересно как это на самом деле работает:
man ioctl_ficlone
man ioctl_ficlonerange
man ioctl_fideduperange

Вывешивается ессно в меру умений ФС. Кент имхо все будет уметь, если еще не.

Ответить | Правка | Наверх | Cообщить модератору

316. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от OpenEcho (?), 01-Ноя-23, 23:05 
> Ващет для файлух логично смотреть на bees, jdupes, duperemove, ... - там

За исключением очень специфических задач, на кой оно надо на реальной рабочей машине где все постоянно что-то меняется?

Экономия места?

Ну так ведь чудес на свете не бывает, значит нужны будут ресурсы для депупа и если это рабочая тачка, то на кой это, если там постоянно все меняется. Другое дело бэкапы, которых чем больше тем лучше и где дедуп+компрессия укладывается в логику нужности

Ответить | Правка | К родителю #96 | Наверх | Cообщить модератору

326. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от Аноним (-), 02-Ноя-23, 04:24 
>> Ващет для файлух логично смотреть на bees, jdupes, duperemove, ... - там
> За исключением очень специфических задач, на кой оно надо на реальной рабочей
> машине где все постоянно что-то меняется?

На обычной машине меняется так то довольно немного. А место экономится, зачастую нехило.

> Экономия места?
> Ну так ведь чудес на свете не бывает, значит нужны будут ресурсы
> для депупа и если это рабочая тачка, то на кой это,

Во многих случаях получается потратить ресурсы 1 раз а эффект долговременный. Или часть дедупалок умеет в инкрементальные забеги, когда пересчитывается толко для того что изменилось с момента прошлого забега. В этом случае ресурсов может тратиться не так уж и много.

> если там постоянно все меняется. Другое дело бэкапы, которых чем больше
> тем лучше и где дедуп+компрессия укладывается в логику нужности

Даже в обычной системе не так уж много чего активно меняется. Исключение разве что файлопомойки но вот это как раз и есть специфическая задача. А улучшить стоимость в пересчете на гиг какой же дятел то откажется.

Ответить | Правка | Наверх | Cообщить модератору

97. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от Аноним (5), 31-Окт-23, 12:50 
Да тут в каждой священной войне BtrFS vs ZFS адепты эту дедупликацию используют, что бы сразить наповал противника. При этом плохо себе представляют, какую экономию она в реальности даёт. Потому-то в ZFS прозрачная как бы есть, но отключена по умолчанию.)
Ответить | Правка | К родителю #88 | Наверх | Cообщить модератору

108. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от Аноним (-), 31-Окт-23, 13:21 
> Да тут в каждой священной войне BtrFS vs ZFS адепты эту дедупликацию
> используют, что бы сразить наповал противника. При этом плохо себе представляют,
> какую экономию она в реальности даёт. Потому-то в ZFS прозрачная как
> бы есть, но отключена по умолчанию.)

А отключена она потому что ресурсов жрет неимоверно, и RAM и CPU. А для btrfs есть и рефлинки (которые zfs едва научился в последней версии только), и "офлайн" дедупы, жрущие сильно меньше ресурсов (особенно рам) потому что реалтайм их не жмет, и "полу-онлайн" типа bees, которые такой офлайн на стероидах, трекающий "изменения" и окучивающий их.

Ответить | Правка | Наверх | Cообщить модератору

117. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от Аноним (5), 31-Окт-23, 13:59 
Точно не помню, там требуется что-то порядка 1 Гб оперативы под адаптивный кеш на 1 Тб хранилища. То есть вон тот знаток хранения кеша в метаданных ФС не учёл, что его готовые хеши читаются с накопителя не слишком быстрее остальных секторов, потому так не делается.
Ответить | Правка | Наверх | Cообщить модератору

118. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от Аноним (5), 31-Окт-23, 14:00 
*хеша в метаданных
Ответить | Правка | Наверх | Cообщить модератору

120. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +1 +/
Сообщение от Аноним (120), 31-Окт-23, 14:05 
> Точно не помню, там требуется что-то порядка 1 Гб оперативы под адаптивный
> кеш на 1 Тб хранилища. То есть вон тот знаток хранения
> кеша в метаданных ФС не учёл, что его готовые хеши читаются
> с накопителя не слишком быстрее остальных секторов, потому так не делается.

У офлайн дедупалок обычно либо хранение в рам либо - в БД или файле под это дело. Второе RAM не жрет в тех объемах, но более компромиссно по перфомансу, ессно. Вы же понимаете что серебряных пуль - не бывает? И выигрывая в чем-то одном проигрываем в чем-то ином. Ну вот совсем-онлайн дедуп означает нефиговый жор ресурсов, в реальном времени. Потому что реалтайм не ждет.

Офлайн дедупалка реалтаймом не ограничена и может в общем то тупить себе в удовольствие, всем похрену. Будет меньше выигрыша, но запись не заклинит, в отличие от.

Ответить | Правка | К родителю #117 | Наверх | Cообщить модератору

317. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от Аноним (317), 01-Ноя-23, 23:55 
> А отключена она потому что ресурсов жрет неимоверно, и RAM и CPU

Что-то не любят этот жор в деньгах измерять. По моим прикидкам, с inline (почему его не назвали online?) dedupe в ZFS легко потратить на оперативку больше, чем сэкономить на диске.

Ответить | Правка | К родителю #108 | Наверх | Cообщить модератору

350. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +1 +/
Сообщение от Аноним (5), 02-Ноя-23, 09:47 
Если поискать, то сами пользователи ZFS публикуют свои варианты, когда для них экономия ощутима. Задачи специфичные, да. У одного образов виртуалок немерено (он их клонирует и что-то незначительно меняет для тестирования своего софта). У другого на выделенном под хранилище сервере что-то подходящее под дедупликацию хранится, вся имеющаяся оператива отведена под адаптивный кеш, потому её требуется вдвое меньше, чем было бы у местных любителей покупать модули при каждом обновлении браузера.
Ответить | Правка | Наверх | Cообщить модератору

279. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от t (??), 01-Ноя-23, 15:36 
о, а расскажите, kopia используете, да?
Ответить | Правка | К родителю #88 | Наверх | Cообщить модератору

312. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от OpenEcho (?), 01-Ноя-23, 22:27 
>  kopia используете, да?

да

A что рассказать ?

Ответить | Правка | Наверх | Cообщить модератору

342. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от t (??), 02-Ноя-23, 07:21 
почему kopia а не borg?
как себя показывает? не разваливался ли репо?
у меня негативный опыт с kopia - весной пробовал, поставил товарищу под windows, через неделю перестал работать, репа стала не консистентной. это чисто windows проблемы ?
Ответить | Правка | Наверх | Cообщить модератору

388. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +2 +/
Сообщение от OpenEcho (?), 02-Ноя-23, 19:25 
> почему kopia а не borg?

борг - это питон, но при всем при этом работает только то никсами и все что умеет наружу - это только через ССШ. Копия же в отличие - нативный, кросплатформенный код с поддержкой практически всех клаудов и вообще без зависимостей, - это из основного.

> как себя показывает? не разваливался ли репо?

Пока что не разу не было. Самый большой арчивчик - 83терабайта

> у меня негативный опыт с kopia - весной пробовал, поставил товарищу под
> windows, через неделю перестал работать, репа стала не консистентной. это чисто
> windows проблемы ?

Скорее всего что-то не так устаноленно, не надо юзать kopiaUI, это просто электроновский врапер поверх командной линии, под виндой надо по хорошему добавлять в хуках VSS snapshots, значительно надежней, т.к. винда очень любит блокировать файлы и как результат - облом. Ну и не скипать мэинтансе, которя найдет ошибки в бэкапе


Ответить | Правка | Наверх | Cообщить модератору

396. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от t (??), 03-Ноя-23, 01:34 
> борг - это питон, но при всем при этом работает только то
> никсами и все что умеет наружу - это только через ССШ.
> Копия же в отличие - нативный, кросплатформенный код с поддержкой практически
> всех клаудов и вообще без зависимостей, - это из основного.

да, питон, да никсы, да ssh. в целом хватало, пока не пришлось еще и с виндой у друга повозиться.

все клауды в kopia - это ж rclone (может не как зависимость, но прям он), при необходимости через оный можно и другое заливать куда-то.

Но за мессадж спасибо, буду попробовать следующую репо с бекапом поднять используя kopia.

Ответить | Правка | Наверх | Cообщить модератору

94. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +1 +/
Сообщение от Аноним (-), 31-Окт-23, 12:29 
> Тот, кто тебе мешает написать оффлайн-дедупликатор.

А ему это делать и не потребуется. Все что надо это чтобы файлуха вывешивала IOCTL "same extent", тулсам которые его вызывают так то похрен что там за файлуха реально будет. И вопрос вывешивает ли сие файлуха и если да то насколько стремно это работает.

Ответить | Правка | К родителю #38 | Наверх | Cообщить модератору

104. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +1 +/
Сообщение от Аноним (5), 31-Окт-23, 13:02 
Уберите этого Анонима, он уже половину за вон того лентяя написал.
Ответить | Правка | Наверх | Cообщить модератору

110. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от Аноним (-), 31-Окт-23, 13:30 
> Уберите этого Анонима, он уже половину за вон того лентяя написал.

Да это не я написал, это линуксные ядерщики с "same extent" IOCTL. Первым его btrfs'ники предложили но потом XFSникам тоже зашло а там и ZFSники даже как-то смогли все же сову на глобус, хоть и долго ломались и плевались.


-B --dedupe
              call  same-extents  ioctl  or  clonefile()  to  trigger a filesystem-level data deduplication on disk (known as copy-on-write, CoW, cloning, or reflink); only a few filesystems support this
              (BTRFS; XFS when mkfs.xfs was used with -m crc=1,reflink=1; Apple APFS)

Это кус мана на jdupes. В последней версии ZFS вроде это тоже завезли наконец и оно в принципе и его сможет окучивать, как я понимаю. И сабжа окучает, если кентушка вывесит ioctl. А как он внутри это разрулит уже дело его и его ФС. Дедупалка сабмитит кандидатов на дедуп, файлуха дедупает, там не так уж много допущений.

На уровне этого интерфейса можно даже делать вещи типа дедупа файла самого на себя, если у файла 2 одинаковых куска - можно референснуть 2 раза даже в 1 файле. В общем случае cow'ам похрену, что так 2 раза ссыли на блоки, что сяк.

Ответить | Правка | Наверх | Cообщить модератору

225. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +/
Сообщение от Аноним (227), 01-Ноя-23, 05:29 
за Кент Оверстрит (Kent Overstreet)?
Ответить | Правка | К родителю #104 | Наверх | Cообщить модератору

210. "Код Bcachefs принят в основной состав ядра Linux 6.7"  –1 +/
Сообщение от Аноньимъ (ok), 01-Ноя-23, 02:53 
> Прозрачная скажется на производительности и даст порядка 10% экономии места

При этом сожрёт всю RAM без остатка.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

469. "Код Bcachefs принят в основной состав ядра Linux 6.7"  +1 +/
Сообщение от Аноним (469), 04-Ноя-23, 23:05 
> При этом сожрёт всю RAM без остатка.

Поэтому нужно всё писать на ассемблере. Тем более это не проблема с современными средствами разработки (с).

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру