> Тут скорее именно вам стоит разобраться в предметной области: CoW и дедупликация
> - это ортогональные понятия. Наличие CoW не означает обязательное наличие дудпликации.Вообще, CoW технически как правило означает "достаточно гибкий аллокатор" для возможности вот это самое, и метаданные способные в "write anywhere layout" (или какое-то приближение). И к этому приделать возможность сослаться на 1 экстент эн раз - решаемо. Какой-то эрзац даже к ZFS прикрутили, хоть и через десяток лет.
CoW делает ключевую вещь: когда копии расходятся, он пишет измененную часть в сторонку. Вот без этой части - у вас точно не получится. А с остальным более-менее можно жить с теми или иными сложностями. Для поддержания иллюзии независимости копий файла главное это вон то. А что там надо костыльнуть чтобы >1 раза на регион сослаться - от "ничего" до "терпимо".
> Как и наличие дудпликации не означает обязательного наличия CoW.
Наличие CoW обычно таки означает достаточно гибкую аллокацию - и умение разбивать разошедшиеся версии. А сама по себе возможность сослаться 2 раза (и даже эн раз) на 1 аллоцированый регион мало чему противоречит.
> Например, как вы даже при наличии CoW собираете определять дублирующийся блок, если
> у вас в метаданных не предусмотрено хранение хэша блока?
Ну вот так:
1) Прога-дедубликатор сама считает хеши.
2) Найдя кандидаты она сабмитит их IOCTL "same extent"
3) Файлуха может дополнительно прочекать что блоки идентичны и если все прокатило, вторая копия заменяется ссылью на первую и после этого можно де-аллокацию дубликату сделать.
Это то как реально работают bees, jdupes, duperemove, ... и в этой схеме нигде нет никакого требования для хранения хешей блоков. Такая ерунда. Более того - это вроде на минималках даже на ZFS как-то прикрутили (рефлинки примерно так же работают) хотя там даже и экстентов толком нет.
> А ведь и просто хранить хэш мало, ещё нужно уметь эффективно в процессе
> записи искать совпадения по всей таблице этих хэшей. Как вам тут CoW поможет?
CoW ключевой компонент для поддержания иллюзии независимости копий в рантайме. Остальное так или иначе можно обыграть с умеренным костылированием.
