The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Код Bcachefs принят в основной состав ядра Linux 6.7"
Версия для распечатки Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Исходное сообщение [ Отслеживать ]
Подсказка: Доступны два режима работы форума: "Раскрыть нити" и "Свернуть нити".
. "Код Bcachefs принят в основной состав ядра Linux 6.7" +/
Сообщение от Аноним (105), 31-Окт-23, 13:04 
> Тут скорее именно вам стоит разобраться в предметной области: CoW и дедупликация
> - это ортогональные понятия. Наличие CoW не означает обязательное наличие дудпликации.

Вообще, CoW технически как правило означает "достаточно гибкий аллокатор" для возможности вот это самое, и метаданные способные в "write anywhere layout" (или какое-то приближение). И к этому приделать возможность сослаться на 1 экстент эн раз - решаемо. Какой-то эрзац даже к ZFS прикрутили, хоть и через десяток лет.

CoW делает ключевую вещь: когда копии расходятся, он пишет измененную часть в сторонку. Вот без этой части - у вас точно не получится. А с остальным более-менее можно жить с теми или иными сложностями. Для поддержания иллюзии независимости копий файла главное это вон то. А что там надо костыльнуть чтобы >1 раза на регион сослаться - от "ничего" до "терпимо".

> Как и наличие дудпликации не означает обязательного наличия CoW.

Наличие CoW обычно таки означает достаточно гибкую аллокацию - и умение разбивать разошедшиеся версии. А сама по себе возможность сослаться 2 раза (и даже эн раз) на 1 аллоцированый регион мало чему противоречит.

> Например, как вы даже при наличии CoW собираете определять дублирующийся блок, если
> у вас в метаданных не предусмотрено хранение хэша блока?

Ну вот так:
1) Прога-дедубликатор сама считает хеши.
2) Найдя кандидаты она сабмитит их IOCTL "same extent"
3) Файлуха может дополнительно прочекать что блоки идентичны и если все прокатило, вторая копия заменяется ссылью на первую и после этого можно де-аллокацию дубликату сделать.

Это то как реально работают bees, jdupes, duperemove, ... и в этой схеме нигде нет никакого требования для хранения хешей блоков. Такая ерунда. Более того - это вроде на минималках даже на ZFS как-то прикрутили (рефлинки примерно так же работают) хотя там даже и экстентов толком нет.

> А ведь и просто хранить хэш мало, ещё нужно уметь эффективно в процессе
> записи искать совпадения по всей таблице этих хэшей. Как вам тут CoW поможет?

CoW ключевой компонент для поддержания иллюзии независимости копий в рантайме. Остальное так или иначе можно обыграть с умеренным костылированием.

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
Код Bcachefs принят в основной состав ядра Linux 6.7, opennews, 31-Окт-23, 07:41  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру