Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Представлен XRAID с реализацией RAID для XFS"	+/–
Сообщение от opennews (?), 15-Ноя-26, 10:30
Кристоф Хелвиг (Christoph Hellwig), мэйнтейнер подсистем DMA, KVM, Slab Allocator и архитектуры PowerPC в ядре Linux, представил первый публичный выпуск XRAID, реализации  декластеризованного RAID с контролем чётности, интегрированной в файловую систему XFS. Проект создан с целью добавления возможности использования RAID на зонированных устройствах хранения, таких как диски  SMR (Shingled Magnetic Recording), и предоставления высокопроизводительной реализации RAID для поддержания целостности данных. Помимо зонированных устройств, XRAID также поддерживает работу на обычных жёстких дисках и SSD-накопителях, демонстрируя на последних существенный прирост производительности по сравнению с mdraid (до 20 раз при записи)... Подробнее: https://www.opennet.ru/opennews/art.shtml?num=66692
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по времени | RSS]

1. "Представлен XRAID с реализацией RAID для XFS"	+/–
Сообщение от Tron is Whistling (?), 15-Ноя-26, 10:30
Смотрю я на графики применительно к mdraid vs это, и понимаю, что где-то у них есть фатальный косяк, который просто ещё не нашли. Сама механика работы не предполагает такой разницы.
Ответить | Правка | Наверх | Cообщить модератору

	3. "Представлен XRAID с реализацией RAID для XFS"	–2 +/–
	Сообщение от Аноним (3), 15-Ноя-26, 11:09
	никогда такого не было, чтобы интеграрованная реализация фич в рамках одной ФС была бы быстрее, чем полностью изолированные друг от друга системы ядра. и, да, пчел, почиатй про dRAID в ZFS
	Ответить | Правка | Наверх | Cообщить модератору

	5. "Представлен XRAID с реализацией RAID для XFS"	–2 +/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 11:35
	ZFS - это вообще унылый тормозной и жрущий память костыль сам по себе
	Ответить | Правка | Наверх | Cообщить модератору

	6. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 11:36
	Понимаешь в чём дело, почти любой отказоустойчивый RAID на запись упирается в синхронизацию записи и write barrier. И там по фигу, где у него реализация. Тут разница уже предполагает, что где-то накосячили именно в этом месте.
	Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

	7. "Представлен XRAID с реализацией RAID для XFS"	+1 +/–
	Сообщение от нах.. (?), 15-Ноя-26, 11:43
	в данном случае это скорее у mdraid фатальный косяк - by design. Напоминаю что они - единственные в мире, кому удалось создать рэйд 1, в котором был performance hit вместо повышения производительности. Возможно он пишет на ssd блоками по 4k, вызывая x32 write amplification? Другое дело что ЭТО - вообще какой-то невероятный концентрат костылей и подпорок (еще и мертвенький без собственно mdraid под ним, причем как обычно, взаимодействуя снова через костыли и подпорки стройным рядом) ну, собственно, тебе ж написали - это не для вас, это для smr дисков нужных ровно никому. Люди которые доверяют ценные данные smr-дискам, заслуживают именно такой "raid". (и расскажите еще им кто-нибудь, что "Процесс чтения, записи и восстановления в случае аварий, охватывает все имеющиеся накопители" - это п-ц, от которого нормальные-то люди пытаются, наоборот, уйти. И ОСОБЕННЫЙ - для smr, которые даже писать в произвольных местах нельзя.) В общем, чудо-рейд для write-only ненужноданных.
	Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

	10. "Представлен XRAID с реализацией RAID для XFS"	–1 +/–
	Сообщение от IdeaFix (ok), 15-Ноя-26, 12:02
	У HM-SMR дисков нет проблем. Они классные, но тебе их просто не дадут.. ни купить ни ФС не дадут под них универсальную. А HA-SMR - это как раз для тебя сделано. Ну вернее как для тебя, это потому что лучшим из лучших (гиперскейлам и пр) нужно именно HM-SMR а тебе и объедки сгодятся в виде HA-SMR. У - унификация. Не обижайся, это не попытка оскорбить лично... просто ты - отличное олицетворение пользователя, который не понимает что такое SMR и бомбит. Ты в большинстве.
	Ответить | Правка | Наверх | Cообщить модератору

	12. Скрыто модератором	+/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 12:03
	Гиперскейлы - это отдельная категория. Или вы предложите движки от электровозов метро к автобусам прикручивать, например?
	Ответить | Правка | Наверх | Cообщить модератору

	14. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 12:04
	HM-SMR - это самый тихий ужасный ужас, который я видел. Максимальная бюджетка, для тех, кому всерьёз заняться нечем. Ну и для "гиперскейлов", угу, которым пофиг на что писать - там всё равно 100500 шардов, и данные однотипные. А вообще ни дома, ни в проде не осталось уже ни одного HDD. Вот так внезапно.
	Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

	19. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от IdeaFix (ok), 15-Ноя-26, 12:12
	Под линукс HM-SMR (ну или перенос логики с диска в ядро) всегда лучше чем HA-SMR. На HWRAID не работают оба, а во всех остальных сценариях HA-SMR хуже.
	Ответить | Правка | Наверх | Cообщить модератору

	11. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 12:02
	Чисто спортивно интересно, как эта засада поведёт себя на тройке SMR с разной конфигурацией зонирования :D
	Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

	16. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от IdeaFix (ok), 15-Ноя-26, 12:08
	Да скорее всего нарежет кусками по 256 всё, край по 512. И будет оперировать массивом зон и раскладывать данные и паритет с привязкой к физическим дивайсам. Там ведь реально не сложно. Посмотрите как программно-определяемый TLC от микрон на SM226x можно зашить как в MLC так и в TLC и всё будет работать. Тут то же самое. Никакого рокетсайнса. Вон пох (или то был нах?) считал что понимает как работают хдд, а тут вдруг перестал понимать. Агрится. А как работает nand (ну или 3dxpoint) он не понимает, от того спокоен.
	Ответить | Правка | Наверх | Cообщить модератору

	18. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от maximnik0 (?), 15-Ноя-26, 12:12
	>Процесс чтения, записи и восстановления в случае аварий, охватывает все имеющиеся накопители" На Хабре была статья как "разработчики ели грибы и разрабатывали новый рэйд" если  с названием не напутал.Там за счёт блочной разметки и записи данные целые при выходе 3 дисков из 9.И там как раз предусмотрен механизм -востановления охватывающий все целые накопители.Но у этих ребят свои проблемы _ реалтейм, в случае 5 секунд отвала диск сразу помечается как проблемный и в лучшем случае переходит только в чтение на момент переноса данных.
	Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

	20. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 12:15
	Да хосспаде, хоть 3 из 9, хоть 10 из 16 - код Рида-Соломона, он более-менее универсальный, так-то. Если правильно интерлив добавить - можно ещё и проблемные группы блоков корректировать.
	Ответить | Правка | Наверх | Cообщить модератору

8. "Представлен XRAID с реализацией RAID для XFS"	+/–
Сообщение от IdeaFix (ok), 15-Ноя-26, 11:58
Чо как там по поводу HM-SMR? Или как всегде это пилит другая команда и оно будет не совместимо с сабжем?
Ответить | Правка | Наверх | Cообщить модератору

	9. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 12:01
	Хосспаде, вот зачем это вам? Ну реально?
	Ответить | Правка | Наверх | Cообщить модератору

	13. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от IdeaFix (ok), 15-Ноя-26, 12:04
	Да просто есть очень много бесплатных дисков :) На десятки терабайт. Пока использую с F2FS без RAID (резервирование другими способами) и это просто отлично. BTRFS не стабилна не смотря ни на что, XFS умеет в менеджмент зон на уровне пруф оф концепт реализации, ZFS как всегда умеет ничего.
	Ответить | Правка | Наверх | Cообщить модератору

	15. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 12:06
	Ну понятно, просто от халявы либо нищеты короче. Это не наезд, это просто момент, который сразу следует учитывать. Редкий случай, за пределами которых все эти HM-SMR...
	Ответить | Правка | Наверх | Cообщить модератору

	17. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от IdeaFix (ok), 15-Ноя-26, 12:11
	Для меня было удивительно на сколько хорошо работает даже HA-SMR под правильной ФС в отличии от HA-SMR под обычной OS. А учитывая что выбора даже с деньгами порой нет, дисков с нужными характеристиками просто может не быть доступно для покупки, это вполне себе вариант. Уходит главная проблема SMR под NTFS :) А то что диск для этого в три раза чаще рампой махнёт или искричества сожжет чуть больше - да вот не пофиг. QLC SSD же нас подготовили к тому что мощный контроллер заставит работать эту дрянную память на все бабки. Ценой ресурса, но на все бабки :)
	Ответить | Правка | Наверх | Cообщить модератору

	21. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 12:17
	Ну кстати где сейчас QLC? Прочили-то да, особенно с host-based. А на деле - ни зашло ни гиперскейтерам, ни в быту, ни кровавому энтерпрайзу, и в итоге их производство почти свёрнуто.
	Ответить | Правка | Наверх | Cообщить модератору

	23. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от IdeaFix (ok), 15-Ноя-26, 12:24
	QLC это как пример того что если очень весело - то не очень то и стыдно :) TLC же зашел. А SMR (в контексте зон) это следующий наг вслед за 4Kn. Гиперскейлам это сильно удобнее чтобы на "обычном" железе стораджи городить. Просто с 512 до 4096 был мааленький шажок, а с 4096 до 2,56e+8 - это уже внушительно. Инвесторам график понравится :)
	Ответить | Правка | Наверх | Cообщить модератору

	24. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 12:26
	TLC зашёл. Потому что не требуется ни слишком большого блока, ни слишком сложной ECC, ни (в ряде случае) городить дополнительный SLC-буфер из свободного места, чтобы оно не казалось настолько уж тормознутым. А QLC - уже запредел. Время доступа к блоку конское, количество ошибок - конское, и не исправить это ничем.
	Ответить | Правка | Наверх | Cообщить модератору

	26. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 12:30
	Гиперскейлов можно всерьёз не рассматривать, это нетиповое применение. Там часто заходит то, что в остальных местах вызовет конские проблемы. Как уже писал - просто в силу однотипности данных и возможности широкого шардинга. Правда не везде даже у гиперскейлов так, и там, где не так - решения уже более серьёзные. Но о них особо не рассказывают, не модно, и морду лица держать гиперскейлом не получится. Давайте остановимся на том, что гиперскейлы - не критерий, и их модель работы для 99.9% прочих задач просто не подходит. Кивать на гиперскейл можно, только обладая их ресурсами и сходными типами данных.
	Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

	22. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 12:22
	Ну и да, магии не бывает. Все эти зонирования работают только при блоке записи > размера зоны. Если у тебя блок меньше, то остаётся только корова, а корова на хдд - это безумная фрагментация и поиски даже при типа линейном типа чтении. Т.е. применимость уже сомнительная. Ну или в крайнем случае при read-mostly.
	Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

	25. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от IdeaFix (ok), 15-Ноя-26, 12:28
	> Ну и да, магии не бывает. > Все эти зонирования работают только при блоке записи > размера зоны. Если > у тебя блок меньше, то остаётся только корова, а корова на > хдд - это безумная фрагментация и поиски даже при типа линейном > типа чтении. Т.е. применимость уже сомнительная. > Ну или в крайнем случае при read-mostly. Оно как на ссд (блоками) читает и пишет зонами. Т.е. менее чем кусок на 256 на диск не пишется. Какая такая фрагментация? Расскажите про фрагментацию например VMFS? Всё уже придумано. Всё работает отлично, а что пох (или это был нах) агрится - это только лишнее тому подтверждение. Ребята научились запихивать 133% данных в тот же объём ЦОДа, да еще и "фргаментация" ушла. Сигейт сделал две рампы, WD уже бросил жечь ресурсы на прошивки HA-SMR... будущее наступило, но у них. А мы быть может и вовсе пропустим это светлое будущее, т.к. большинству пользователей ничего кроме системного TLC SSD на немножко гигабайт и не нужно. Даже в местном сильно не среднепаршивом комьюнити большой личный сторадж есть у единиц.
	Ответить | Правка | Наверх | Cообщить модератору

	27. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 12:31
	Да понятно, что не пишется. Но это уже write amplification.
	Ответить | Правка | Наверх | Cообщить модератору

	28. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 12:34
	WD бросил жечь ресурсы на HA-SMR ровно потому, что кровавый энтерпрайз сделал выбор в пользу PMR. Поэтому PMR-драйвов стало намного больше, хотя да, SMR дешевле. А остаток хлама продадут гиперскейлерам - им нужнее, да.
	Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

	29. "Представлен XRAID с реализацией RAID для XFS"	+/–
	Сообщение от Tron is Whistling (?), 15-Ноя-26, 12:35
	> Ребята научились запихивать 133% данных в тот же объём ЦОДа Read-mostly данных с большим размером блока.
	Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема