Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров, opennews (??), 17-Фев-16, (0) [смотреть все] Ну и здорово Zfsonlinux умеет trim , Аноним (-), 22:34 , 17-Фев-16, (1) // Да, как и желание сожрать всю оперативку А еще ZFS конфликтует с zRAM После че, Anonim3 (?), 11:59 , 18-Фев-16, (34) // Настраивать надо, а не гуньдеть ZFS это комбайн , Аниним (?), 16:43 , 18-Фев-16, (53) // а вот другие файловые системы настроек не требуют, Xasd (ok), 09:43 , 19-Фев-16, (76) –3 Действительно, адаптивный размер кэша - слишком иновационно, вот прописывать его, Аноним (-), 19:03 , 19-Фев-16, (81) +2 И прибивать, когда не хватает памяти , count0krsk (ok), 12:19 , 22-Фев-16, (93) –2 В основной ветке не умеет, есть пулл-реквесты, с принятием которых тянут и тянут, 1 (??), 14:09 , 21-Фев-16, (92) А корневой фс её можно будет сделать , Аноним (-), 22:35 , 17-Фев-16, (2) +3 // Как я понимаю, это полноценная ФС, просто из-за лицензии распространяющаяся отде, h31 (ok), 23:33 , 17-Фев-16, (7) +1 // Просто из-за лицензии не интегрировано в ядро , Наркоман (?), 23:55 , 17-Фев-16, (9) –4 // Просто эта штука чуть более чем полностью несовместима с подсистемами ядра, и пр, fi (ok), 02:34 , 18-Фев-16, (16) –1 что-то мне это напоминаетoh, wait P S Шишкин задумчиво одобряет эту самую по, rico (ok), 13:50 , 18-Фев-16, (45) Ее уже давно можно корневой ФС, но придется поплясать с бубном Проблемы две 1 , Elhana (ok), 13:54 , 18-Фев-16, (46) +2 Эх, вкатил бы им Оракл теперь иск Ибо нефиг , Crazy Alex (ok), 22:44 , 17-Фев-16, (3) –23 // чо оно открытое давно, Sadok (ok), 23:20 , 17-Фев-16, (5) +2 // А просто так Чтоб не совали то, чего нет в мейнлайне , Crazy Alex (ok), 23:59 , 17-Фев-16, (10) –12 // Тот же aufs3 в Debian и Ubuntu был всегда, а в Mainline никогда не был , sage (??), 00:42 , 18-Фев-16, (12) +2 иди ищи прошивки с андроид 5 на p970 - умны ты наш Сам сказал что они есть Или , Аноним (-), 12:29 , 21-Фев-16, (91) и чо суть нарушения патентов не в реализации, а в идее, Аноним (-), 01:15 , 20-Фев-16, (85) Эти с их патентами - могут , Аноним (-), 19:04 , 19-Фев-16, (82) Есть бекап сервер, где хранятся бекапы виртуалок Имеет ли смысл пробовать собра, Аноним (-), 22:51 , 17-Фев-16, (4) +1   // Есть дедупликация, есть LZ4, а можно тупо сливать туда актуальные бекапы виртуал, QuAzI (ok), 23:23 , 17-Фев-16, (6) +2   // QuAzI, могли бы вы расписать use case Виртуалки у меня на KVM, делаются бекапы п, Аноним (-), 23:40 , 17-Фев-16, (8)   // Выглядело это примерно так bin sh rsync everywheredt date Y m d sbi, QuAzI (ok), 01:25 , 18-Фев-16, (15)   Я пробовал Зеркалирование ЗФС-томов работает хорошо в чентоси7 и всех убунтах , Аноним (-), 10:30 , 18-Фев-16, (29)   Напомните сколько ресурсов жрет сам zfs при таком активном использовании всех фи, Аноним (-), 11:23 , 18-Фев-16, (31)   Для бекап-сервера вполне приемлемо жрёт Без сжатия и дедупликации пользовал ZFS, Чаёвник (?), 12:05 , 18-Фев-16, (37)   Zfs не умеет cp --reflink, такая вот поддержка Linux и coreutils , Аноним (-), 17:12 , 18-Фев-16, (57) –1   Перекрывается дедупликацией же, Чаёвник (?), 17:45 , 18-Фев-16, (61)   Не перекрывается, cp --reflink мгновенно создает мне кипу 20Гб виртуалок из темп, Аноним (-), 19:01 , 19-Фев-16, (80) –1   Клонами же На FreeBSD можно использовать NullFS 5 , iZEN (ok), 19:28 , 20-Фев-16, (90)   Архивы плохо дедуплицирует, это ожидаемо Рекомендую использовать на ZFS LZ4 ded, Горегоре (?), 14:54 , 26-Фев-16, (95)   Это несовместимо с последующей дедупликацией Возьмите rsync с патчем, позволяющи, PavelR (??), 11:45 , 18-Фев-16, (33)   Хорошая шутка про WD Green, посмеялись, спасибо , Аноним (-), 10:20 , 18-Фев-16, (28) +5   // Дёшево и сердито для бюджетных решений Вы бы свой вариант предложили для SOHO, , Чаёвник (?), 12:00 , 18-Фев-16, (35) –1   по шифрованию сейчас в ML один товарищ развел бурную переписку и даже что-то реа, Elhana (ok), 13:57 , 18-Фев-16, (47)   От дедупликации есть нехилые тормоза В зависимости от типа винтов и мощности се, Celcion (ok), 00:42 , 18-Фев-16, (13) +1   // Вот тут человек подписался в полном незнании того, как это работает Chunks of da, Чаёвник (?), 12:23 , 18-Фев-16, (40) –1   // Надо считать размер DDT и влезет ли она в память Если не влезет, то лучше dedup, Elhana (ok), 14:17 , 18-Фев-16, (49) –1   Если перфоманс бекапов поднимаемых раз в году для вас важнее износа и экономии м, Чаёвник (?), 17:08 , 18-Фев-16, (55) –1   Да, только если бакапов много, а перфоманс падает настолько, что бакапится восст, Elhana (ok), 02:39 , 20-Фев-16, (87) –1   Неуважаемый, а слабо высказывать точку зрения, не пытаясь аппелировать к чьим-то, Celcion (ok), 20:31 , 18-Фев-16, (68) –2   А что ты знаешь Как у Avamar сделана дедупликация Что там внутри Дай хоть оди, QuAzI (ok), 00:04 , 19-Фев-16, (73)   Почему ты решил, что я должен тебе что-то доказывать Более-менее близко я с эти, Celcion (ok), 07:54 , 20-Фев-16, (88) –1   Я бы не сказал, что ZFS здесь непременно будет лучшим решением Посмотрите такие, Аноним (-), 07:35 , 18-Фев-16, (23)   Дедуп 8212 нет, он только для файлопомоек адекватен Но есть финт ушами бл, PnDx (ok), 12:19 , 18-Фев-16, (39) –1   // Если речь про нативный rsync, то rsync проверяет имя файла, его таймстамп, разме, Чаёвник (?), 12:30 , 18-Фев-16, (41) –1   // Блочные устройства 8594 ФС Поблочно Вот так примерно usr bin rsync --copy-, PnDx (ok), 12:56 , 18-Фев-16, (42)   Ты уверен, что велением левой пятки Они на этом деле не одну упряжку собак съел, Чаёвник (?), 13:03 , 18-Фев-16, (43)   Не, бэкэнд для виртуалок на zvol создаёт больше проблем, чем решает на мой вк, PnDx (ok), 13:47 , 18-Фев-16, (44) –1   Можно узнать детальнее, как у вас это сделано и где в этом месте проблемы с ZVOL, Чаёвник (?), 17:10 , 18-Фев-16, (56)   У нас оно было задизайнено на lvm по фибре свои скрипты на предмет lvchange, PnDx (ok), 19:38 , 18-Фев-16, (64)   Какая в ж стабильность В проксмоксе ядро бубунте с zfs, ещё как падает , ПолковникВасечкин (?), 00:13 , 18-Фев-16, (11) –2 // Полковнику ТабуреткеВ Проксмоксе Редхатовское ядро с патчами от проксмоксовцев, , кэп (?), 16:42 , 18-Фев-16, (52) // С разморозкой, в changelog заглядывал На просветись http download proxmox com , ПолковникВасечкин (?), 18:26 , 18-Фев-16, (62) exFAT бы включили искаропки - вот это было бы клёво , Анонин (?), 08:13 , 18-Фев-16, (25) –2 // А она где-то применяется потому что нужна, а не маркетинг В чём её фичастость х, Чаёвник (?), 12:12 , 18-Фев-16, (38) –3 // Файлы больше двух Гб Я вот флешку сделал, чтобы и в убунте и в винде работала , Admino (ok), 14:13 , 18-Фев-16, (48) // До 4 Гб влезает нормально и давно Я считаю что Ext2 3 4 тут гораздо правильнее , Чаёвник (?), 17:25 , 18-Фев-16, (59) –1 У меня телевизор даже понимает exFAT А ext на флешке - это для какой-то другой в, soarin (ok), 20:04 , 18-Фев-16, (65) –1 С вероятностью 99 он сделан на линухе, поэтому с вероятностью 95 он понимает и, Аноним (-), 19:09 , 19-Фев-16, (83) +1 Ну и для того, чтобы не огребать на нём поборы за уродское лицензирование приду, soarin (ok), 20:09 , 18-Фев-16, (66) F2FS - это такой мифический зверь в вакууме Чем ext на флешке хуже exFAT Кром, QuAzI (ok), 22:11 , 18-Фев-16, (70) Ага, так упорно Если вставишь SD карту с ext в агрегат с Android, который без , soarin (ok), 05:08 , 19-Фев-16, (74) –1 f2fs даже MIUI не поддерживает В то время, как exFAT поддерживают все андроиды , mumu (ok), 22:34 , 18-Фев-16, (71) –1 У меня в Lumia 735 карточка в ней отформатирована Фичасточть в том, что можно д, iZEN (ok), 16:54 , 18-Фев-16, (54) –2 // iZEN, вот только ты можешь хвастаться убогим виндофоном и удивляться, почему ви, Чаёвник (?), 17:20 , 18-Фев-16, (58) +1 А я вот взял щас в руки устройство с android 5 одной такой очень популярной коре, soarin (ok), 20:37 , 18-Фев-16, (69) –2 Что, больше меня знаешь про мой телефон, который и в руках даже не держал Об, iZEN (ok), 19:18 , 20-Фев-16, (89) –1 Клёво сильное слово Тем кто использует ubuntu 1 гиков и так не трудно буде, soarin (ok), 20:14 , 18-Фев-16, (67) –4 // У Убунту серьезная пользовательская база и я даю 100 , что это далеко не 1 Кт, Аноним (-), 09:08 , 19-Фев-16, (75) +1 С технической точки зрения exFAT - это просто ещё один навязанный буллшит, как н, Аноним (-), 12:13 , 19-Фев-16, (77) Что то мне это напоминает обещания пятилетней давности о включении в поставку ди, milinsky (ok), 08:25 , 18-Фев-16, (26) +2 Недавно только апи релизнулась, еще библиотек толком нет, а космонавт уже обещае, Shatlwrot (ok), 11:04 , 18-Фев-16, (30) –3 // Включить-то можно все равно им пользоваться не будут еще года 2 , Аноним (-), 11:25 , 18-Фев-16, (32) SDK есть, дрова почти для всех производителей есть - что вам еще надо , Аноним (-), 14:18 , 18-Фев-16, (50) +1 Компания Canonical объявила о своей дурости Модуль ZFS используют единицы, заче, Меломан1 (?), 12:04 , 18-Фев-16, (36) –4 // В стандартной поставке очень много модулей, которые используют единицы, они лежа, Elhana (ok), 14:24 , 18-Фев-16, (51) –1 // Не кормите тролля Он уже вычитал, что ZFS в ядре а не отдельным модулем и сра, Чаёвник (?), 17:31 , 18-Фев-16, (60) А btrfs, нормально интернированной в ядро, для этих целей им мало , Аноним (-), 19:15 , 18-Фев-16, (63) –1 // А где она нормально интегрирована , ПолковникВасечкин (?), 23:28 , 18-Фев-16, (72) Скажите кто-то как работает и включается trim на ZFSLinux не могу найти пока, InventoR (??), 14:59 , 19-Фев-16, (78) // Судя по http open-zfs org wiki Features TRIM_Support поддержка TRIM есть тольк, zfs (??), 17:19 , 19-Фев-16, (79) В некрологах искал , Led (ok), 23:48 , 19-Фев-16, (84) –1 Есть патч от Nexenta, но в апстрим пока не принят Особо отважные могут пробоват, Elhana (ok), 01:48 , 20-Фев-16, (86) –1 Наверняка это связано как-то с новостью о AT T, в которой говорилось о серверах , Аноним (-), 14:55 , 22-Фев-16, (94) 1,2,3,4,11,25,26,30,36,63,78,94

Сообщения

[Сортировка по времени | RSS]

4. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+1 +/–
Сообщение от Аноним (-), 17-Фев-16, 22:51
Есть бекап сервер, где хранятся бекапы виртуалок. Имеет ли смысл пробовать собрать под него ZFS с дедупликацией? Если ли профит от дедупликации не на критичном сервере.
Ответить | Правка | Наверх | Cообщить модератору

	6. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+2 +/–
	Сообщение от QuAzI (ok), 17-Фев-16, 23:23
	Есть дедупликация, есть LZ4, а можно тупо сливать туда актуальные бекапы виртуалок и делать снапшот. Хранить например последних 30 снапшотов - места съедается только на дифы. Если ещё взять какой-нибудь WD Green, охлаждение и нормальный БП + ИБП - неубиваемая вещь в себе. Одно печалит - шифрования нативного нет.
	Ответить | Правка | Наверх | Cообщить модератору

	8. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от Аноним (-), 17-Фев-16, 23:40
	QuAzI, могли бы вы расписать use case. Виртуалки у меня на KVM, делаются бекапы посредством LVM snapshot раздела, где лежит виртуалки, затем гзипается на стороне гипервизора и сливается по NFS на сервер бекапов. Что можно применить на сервере бекапов для лучшей утилизации диска.
	Ответить | Правка | Наверх | Cообщить модератору

	15. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от QuAzI (ok), 18-Фев-16, 01:25
	Выглядело это примерно так #!/bin/sh ### rsync everywhere dt=`date \+\%Y\%m\%d` /sbin/zfs snapshot -r storage@$dt Я рсинкал файлы с нескольких источников на один винт, потом делал снапшот. Любую версию любого файла можно сразу взять без плясок с распаковкой и монтированием разделов (хотя вроде некоторые тома и гзипнутые можно было монтировать, нужно рыть документацию). Ещё можно нечаянно удалить всё на винте, а вот удалить снапшот ZFS - это надо уже шаманить в консоли из под рута, случайно не получится. Снапшоты рулят. В вашем случае всё самое интересное уже убито на стороне гипервизора. От дедупликации будет хороший выигрыш там же, где и от сжатия. Грубо говоря вы хотите архив сжать ещё раз. Я не уверен, что большой шанс на достаточно сильно нагруженных томах, что два их архива будут значительно совпадать непрерывными блоками по 256кб (или сколько там сейчас блок - могу ошибаться). Жамкать что-то на стороне гипервизора оправдано только если канал узкий (хотя это иногда решается rsync), иначе можно сильно удивляться диким и долгим провалам в производительности боевых серверов. А ещё можно на лету зеркалить ZFS том по сети, но я не пробовал.
	Ответить | Правка | Наверх | Cообщить модератору

	29. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от Аноним (-), 18-Фев-16, 10:30
	Я пробовал. Зеркалирование ЗФС-томов работает хорошо в чентоси7 и всех убунтах.
	Ответить | Правка | Наверх | Cообщить модератору

	31. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от Аноним (-), 18-Фев-16, 11:23
	Напомните сколько ресурсов жрет сам zfs при таком активном использовании всех фич?
	Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

	37. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от Чаёвник (?), 18-Фев-16, 12:05
	Для бекап-сервера вполне приемлемо жрёт. Без сжатия и дедупликации пользовал ZFS на десктопе - тоже вполне нормально бегает. От бекапов важнее надёжность, а не перфоманс. Но вы можете продолжать NTFS, если у вас игры показывают FPS немного ниже, мы не против.
	Ответить | Правка | Наверх | Cообщить модератору

	57. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	–1 +/–
	Сообщение от Аноним (-), 18-Фев-16, 17:12
	> Напомните сколько ресурсов жрет сам zfs при таком активном использовании всех фич? Zfs не умеет cp --reflink, такая вот "поддержка" Linux и coreutils.
	Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

	61. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от Чаёвник (?), 18-Фев-16, 17:45
	> Zfs не умеет cp --reflink, такая вот "поддержка" Linux и coreutils. Перекрывается дедупликацией же
	Ответить | Правка | Наверх | Cообщить модератору

	80. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	–1 +/–
	Сообщение от Аноним (-), 19-Фев-16, 19:01
	> Перекрывается дедупликацией же Не перекрывается, cp --reflink мгновенно создает мне кипу 20Гб виртуалок из темплейта. Без нагрузки на CPU и потребления RAM. Или какую-нибудь иерархию можно мгновенно "скопировать" для экспериментов.
	Ответить | Правка | Наверх | Cообщить модератору

	90. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от iZEN (ok), 20-Фев-16, 19:28
	>> Zfs не умеет cp --reflink, такая вот "поддержка" Linux и coreutils. > Перекрывается дедупликацией же Клонами же. На FreeBSD можно использовать NullFS(5).
	Ответить | Правка | К родителю #61 | Наверх | Cообщить модератору

	95. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от Горегоре (?), 26-Фев-16, 14:54
	Архивы плохо дедуплицирует, это ожидаемо. Рекомендую использовать на ZFS LZ4+dedup, это не только сэкономит место, но и скорость на медленных винтах. При дедупликации рекомендуют использовать 1GB RAM на 1TB данных на диске Т.е. если у вас 40 одинаковых образов по 1ТБ то вам нужно около 1GB рамы дополнительно.
	Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

	33. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от PavelR (??), 18-Фев-16, 11:45
	>затем гзипается на стороне гипервизора Это несовместимо с последующей дедупликацией. Возьмите rsync с патчем, позволяющим брать в качестве источника блочное устройство (в файле с исходниками rsync раньше был).
	Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

	28. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+5 +/–
	Сообщение от Аноним (-), 18-Фев-16, 10:20
	Хорошая шутка про WD Green, посмеялись, спасибо.
	Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

	35. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	–1 +/–
	Сообщение от Чаёвник (?), 18-Фев-16, 12:00
	Дёшево и сердито для бюджетных решений. Вы бы свой вариант предложили для SOHO, мы бы тоже посмеялись. Промышленные NASы тут бессмысленно обсуждать, как и выбор ФС к ним.
	Ответить | Правка | Наверх | Cообщить модератору

	47. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от Elhana (ok), 18-Фев-16, 13:57
	> Одно печалит - шифрования нативного нет. по шифрованию сейчас в ML один товарищ развел бурную переписку и даже что-то реализовал уже, так что вполне возможно скоро будет.
	Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

	13. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+1 +/–
	Сообщение от Celcion (ok), 18-Фев-16, 00:42
	От дедупликации есть нехилые тормоза. В зависимости от типа винтов и мощности сервера, упасть производительность может буквально в разы. Профит примерно такой же, как и от сжатия, редко когда сильно больше, но сжатие, как правило, далеко не так сильно снижает скорость и не требует настолько много памяти, как дедупликация. Если сливать туда уже сжатые образы, то профита может не получиться совсем.
	Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

	40. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	–1 +/–
	Сообщение от Чаёвник (?), 18-Фев-16, 12:23
	Вот тут человек подписался в полном незнании того, как это работает. Chunks of data are remembered in a table of some sort that maps the data's checksum to its storage location and reference count. When you store another copy of existing data, instead of allocating new space on disk, the dedup code just increments the reference count on the existing data. When data is highly replicated, which is typical of backup servers, virtual machine images, and source code repositories, deduplication can reduce space consumption not just by percentages, but by multiples. Профит может быть такой как от сжатия, если входные данные - разношёрстный зоопарк. И в разы лучше, если это например ежедневные бекапы компании за последний год. ... Most dedup solutions only work on a limited amount of data -- a handful of terabytes -- because they require their dedup tables to be resident in memory. ZFS places no restrictions on your ability to dedup. You can dedup a petabyte if you're so inclined. The performace of ZFS dedup will follow the obvious trajectory: it will be fastest when the DDTs (dedup tables) fit in memory, a little slower when they spill over into the L2ARC, and much slower when they have to be read from disk. The topic of dedup performance could easily fill many blog entries -- and it will over time -- but the point I want to emphasize here is that there are no limits in ZFS dedup. ZFS dedup scales to any capacity on any platform, even a laptop; it just goes faster as you give it more hardware. Расходы - на посчитать чексум, найти копию в таблице (при условии что таблица не вытеснена из ОЗУ - копейки), сделать запись о дубле - сами дублируемые данные при этом не пишутся (если конечно ты сам не настроил делать несколько копий блоков, чтобы исключить bad blocks - что не есть хорошо, для этого лучше делать зеркало средствами ZFS на другой винт)
	Ответить | Правка | Наверх | Cообщить модератору

	49. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	–1 +/–
	Сообщение от Elhana (ok), 18-Фев-16, 14:17
	Надо считать размер DDT и влезет ли она в память. Если не влезет, то лучше dedup не включать. Расчет памяти есть в интернетах.
	Ответить | Правка | Наверх | Cообщить модератору

	55. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	–1 +/–
	Сообщение от Чаёвник (?), 18-Фев-16, 17:08
	Если перфоманс бекапов поднимаемых раз в году для вас важнее износа и экономии места, то можно и позаморачиваться. Хотя если уж на то пошло - ОЗУ нынче стоит сравнительно дёшево, особенно если искать не антиквариат типа DDR1/DDR2 для старых серверов. Кэш можно вынести на SSD, опять же.
	Ответить | Правка | Наверх | Cообщить модератору

	87. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	–1 +/–
	Сообщение от Elhana (ok), 20-Фев-16, 02:39
	> Если перфоманс бекапов поднимаемых раз в году для вас важнее износа и > экономии места, то можно и позаморачиваться. Хотя если уж на то > пошло - ОЗУ нынче стоит сравнительно дёшево, особенно если искать не > антиквариат типа DDR1/DDR2 для старых серверов. Кэш можно вынести на SSD, > опять же. Да, только если бакапов много, а перфоманс падает настолько, что бакапится/восстанавливаться начинает по пол дня - это уже никуда не годится. И расчет памяти DDT: http://constantin.glez.de/blog/2011/07/zfs-dedupe-or-not-dedupe На каждый TB данных нужно 5 GB памяти под DDT, если предположить что средний размер блока 64K. В целом это означает что вам потребуется 20GB* памяти на TB данных, если вы хотите уместить DDT и метаданные, плюс память для самой ОС и приложений. (* 20 потому что DDT не может занимать более 1/4 памяти выделенной под ARC.) Если столько нет, то есть вариант с L2ARC на SSD, но оно уже медленнее, хотя для бакапов сойдет. Без SSD все может быть совсем печально. Другими словами, если вы запускаете анализ (zdb -S tank) и оно говорит вам, что экономия будет от 20%, можно задуматься о dedup c SSD. Реальная экономия начинается когда дедупликация позволяет экономить место более чем двукратно. Если предположить что у вас куча контейнеров и они все почти одинаковые, при этом они обычно небольшие, то экономия может быть очень существенная - в этом и есть план canonical.
	Ответить | Правка | Наверх | Cообщить модератору

	68. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	–2 +/–
	Сообщение от Celcion (ok), 18-Фев-16, 20:31
	> Вот тут человек подписался в полном незнании того, как это работает. Неуважаемый, а слабо высказывать точку зрения, не пытаясь аппелировать к чьим-то знаниям? Ведь откуда ты знаешь что я знаю, а что я не знаю? Да будет тебе известно, дедупликацию я именно для бэкапов использовал еще на заре внедрения этой технологии, еще Avamar от EMC крутил. Как говорится, когда дедупликация еще не была мэйнстримом. И говорил я об общем случае, а не частных, которых может быть вагон и маленькая тележка, с теми, или иными условиями и результатами. Человек спросил про ZFS - я ответил про ZFS, тем более учтя комментарий про то, что на сторадж выкладываются уже сжатые файлы. Но зачем нам читать и понимать написанное? Поумничать-то - оно завсегда важнее и первостепеннее. Дедупликация до сих пор не получила широкого распространения, потому что эта технология идеальна лишь на бумаге, а на практике имеет весьма немало минусов и подводных камней, главным из которых как было, так и остается огромное потребление ресурсов и весьма ограниченное количество сценариев с реально высокой эффективностью. Плюс, есть немало способов добиться схожего эффекта при куда меньших затратах. Например, те же снапшоты, про которые выше упоминалось.
	Ответить | Правка | К родителю #40 | Наверх | Cообщить модератору

	73. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от QuAzI (ok), 19-Фев-16, 00:04
	А что ты знаешь? Как у Avamar сделана дедупликация? Что там внутри? Дай хоть один повод усомнится, что твой опыт - это твой опыт не говорящий о самой технологии ничего? Вот когда человек пишет "Надо считать размер DDT и влезет ли она в память" - видно, что человек понимает, как это работает и о чём он говорит. А когда "ну хз, мне не нравица" - это как-то не очень объективно, не очень аргументировано и ни слова по делу о реальном опыте не предоставляет. Пользовал ZFS с 2008-го года - вполне нормально шуршит, если понимать, что происходит и немного читать. Странно например включать сжатие, дедупликацию и ещё стопицот фич и надеяться, что всё это влезет в каких-нибудь 256Мб какой-нибудь эмбеддовки для винта забитого мелким файлом на 8Тб.
	Ответить | Правка | Наверх | Cообщить модератору

	88. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	–1 +/–
	Сообщение от Celcion (ok), 20-Фев-16, 07:54
	> Дай хоть один повод усомнится, что твой опыт - это твой > опыт не говорящий о самой технологии ничего? Почему ты решил, что я должен тебе что-то доказывать? Более-менее близко я с этим работал отнюдь не вчера, поэтому деталей уже банально не помню. Помню общее впечатление, которое и озвучил. > Пользовал ZFS с 2008-го года - вполне нормально шуршит, если понимать, что > происходит и немного читать. Странно например включать сжатие, дедупликацию и ещё > стопицот фич и надеяться, что всё это влезет в каких-нибудь 256Мб > какой-нибудь эмбеддовки для винта забитого мелким файлом на 8Тб. Это понятно. Включали на Sun Fire X4500. Можешь загуглить и "почитать", как ты любишь, поняв какой мощности эта железка, что там отнюдь не 256MB памяти и примерно как давно это было. Если учесть, что изначальная версия ZFS, которая сейчас с минорными доработками используется в Linux, взята примерно из того времени, пока Solaris еще имел открытые исходники, то едва ли там с тех пор что-то кардинально поменялось как в производительности, так и в потребляемых ресурсах.
	Ответить | Правка | Наверх | Cообщить модератору

	23. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от Аноним (-), 18-Фев-16, 07:35
	Я бы не сказал, что ZFS здесь непременно будет лучшим решением. Посмотрите такие дедуплицирующие бекаперы как ZBackup и ZPAQ, думаю они больше подойдут под ваши задачи.
	Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

	39. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	–1 +/–
	Сообщение от PnDx (ok), 18-Фев-16, 12:19
	Дедуп — нет, он только для файлопомоек адекватен. Но есть "финт ушами": блочный rsync в сторону zfz|btrfs + снапшоты. contra: rsync KC в rc4 считает до сих пор. См. таблицы с вероятностями коллизий.
	Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

	41. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	–1 +/–
	Сообщение от Чаёвник (?), 18-Фев-16, 12:30
	> contra: rsync KC в rc4 считает до сих пор. См. таблицы с > вероятностями коллизий. Если речь про нативный rsync, то rsync проверяет имя файла, его таймстамп, размер, затем уже, если включена опция - контрольную сумму. Для синхронизации пофайлово этого более чем достаточно для надёжности. Невозможно создать файл, а потом вменяемыми правками сохранить его размер, таймстамп и хэш. Если речь про всякие костыльные форки, то сомнительно считать такие решения хорошим выбором, ИМХО.
	Ответить | Правка | Наверх | Cообщить модератору

	42. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от PnDx (ok), 18-Фев-16, 12:56
	Блочные устройства → ФС. Поблочно. Вот так примерно: /usr/bin/rsync --copy-devices --copy-links --times --partial --inplace ${user}@${host}:"/dev/mapper/${lv[0]}-${lv[1]}.snap" "${p}/${lv[1]}" кс тоже по блокам считается, см. исходники rsync. "--copy-devices" — да, патч. Тупо разрешающий оно самое, запрещённое "из коробки" велением левой пятки авторов. Применен в большинстве современных дистрибутивов. Например, пожилая centos 6: #rsync --version rsync  version 3.1.1  protocol version 31 ... Capabilities:     64-bit files, 64-bit inums, 64-bit timestamps, 64-bit long ints,     socketpairs, hardlinks, symlinks, IPv6, batchfiles, inplace,     append, ACLs, xattrs, iconv, symtimes, prealloc
	Ответить | Правка | Наверх | Cообщить модератору

	43. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от Чаёвник (?), 18-Фев-16, 13:03
	Ты уверен, что велением левой пятки? Они на этом деле не одну упряжку собак съели. Для таких вещей есть сетевая репликация ФС. В том числе сабж её умеет прекрасно без приколов с коллизиями, без костылей, бесплатно и без смс.
	Ответить | Правка | Наверх | Cообщить модератору

	44. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	–1 +/–
	Сообщение от PnDx (ok), 18-Фев-16, 13:47
	> Для таких вещей есть сетевая репликация ФС. В том числе сабж её > умеет прекрасно без приколов с коллизиями, без костылей, бесплатно и без > смс.   Не, бэкэнд для виртуалок на zvol создаёт больше проблем, чем решает (на мой вкус). Потому что миграции становятся ещё менее тривиальными, чем на qcow over ext-fs.
	Ответить | Правка | Наверх | Cообщить модератору

	56. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от Чаёвник (?), 18-Фев-16, 17:10
	> решает (на мой вкус). Потому что миграции становятся ещё менее тривиальными, > чем на qcow over ext-fs. Можно узнать детальнее, как у вас это сделано и где в этом месте проблемы с ZVOL ?
	Ответить | Правка | Наверх | Cообщить модератору

	64. "В Ubuntu 16.04 будет добавлена поддержка ZFS для контейнеров"	+/–
	Сообщение от PnDx (ok), 18-Фев-16, 19:38
	> Можно узнать детальнее, как у вас это сделано и где в этом > месте проблемы с ZVOL ?   У нас оно было задизайнено на lvm по фибре + свои скрипты на предмет "lvchange -a[yn]" etc. (т.к. clvm не вариант для гипервизоров). Геморрой от такого решения окупается нулевым оверхедом на обслуживание/миграцию томов между гипервизорами.   С ZVOL так нельзя. Нужно поступать аналогично qcow, а там заметный провал на перетаскивание последнего журнала. Не считая дурацкой фрагментации дискового пространства между гипервизорами. Ну и как таковое "переливание из пустого в порожнее". Нагружать сеть идиотскими io, когда задача — просто "перещёлкнуть" раздел на соседний хост…   Предупреждая след. вопрос "а почему дизайн такой неправильный": — С ceph связываться пока боязно ("из коробки" не взлетит в силу нюансов с выделением памяти в linux (buddy), время на доводку неясно), люстра стóит небюджетно, gluster по скорости только на оффлайн тянет.
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема