The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Предложен механизм blksnap для создания снапшотов блочных устройств в Linux, opennews (??), 07-Ноя-22, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


115. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +/
Сообщение от SSh (ok), 08-Ноя-22, 12:54 
Нет. Перед созданием снапшота вызывается freeze_bdev() https://www.kernel.org/doc/htmldocs/filesystems/API-freeze-b... .
Это позволяет обеспечить консистентность файловой системы и завершение всех запросов на блочное устройсто.

Подробности о том как это примерно работает можно послушать тут https://www.youtube.com/watch?v=eoQyNSezY4U.

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

117. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от arisu (ok), 08-Ноя-22, 13:05 
это примерно работает нифига не лучше dd. возможно, для кого-то это станет сюрпризом — но практически никакой софт не оперирует блочным уровнем, почти все, внезапно, оперируют файлами со сложной внутренней структурой. которая влёт оказывается неконсистентной что с flush, что без. но, конечно, верить в волшебные бэкапы это никак не помешает.
Ответить | Правка | Наверх | Cообщить модератору

146. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от ZFS (?), 09-Ноя-22, 11:38 
Не ври бесстыдник, почитай лучше про zvol.
Ответить | Правка | Наверх | Cообщить модератору

147. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от arisu (ok), 09-Ноя-22, 11:42 
> Не ври бесстыдник, почитай лучше про zvol.

что, оно магически обеспечивает консистентность файлов данных для произвольного набора программ? не употребляй больше то, что ты употребляешь.

Ответить | Правка | Наверх | Cообщить модератору

149. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от ZFS (?), 09-Ноя-22, 11:53 
Нет конечно, речь не о консистентности данных приложений, а хотя бы об одновременности разных участков данных такого среза (снэпшота).
В ZFS одновременность есть, а dd из обычного блочного устройства ее ессно нет.
В dd из снэпшота zvol ессно одновременность есть, как-то так.

Одновременность - не консистентность, но хоть что-то.
Намного хуже оказаться вообще с голой жепой.
А реально неконсистентное битое содержимое окажется в менее, чем одном проценте приложений.
Даже и придумать не могу в каких кроме СУБД, которые (по крайне мере нормальные РСУБД) как раз с потерей последних транзакций таки приведут базу в порядок. А накатив архивные логи с другого устройства мы получим полностью консистентные данные, даже те, которые были на момент факапа.

Ответить | Правка | Наверх | Cообщить модератору

169. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от Заблоченый (?), 10-Ноя-22, 11:09 
>а dd из обычного блочного устройства ее ессно нет

А если это устройство на котором /boot хранится. )

Ответить | Правка | Наверх | Cообщить модератору

171. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от Заблоченый (?), 10-Ноя-22, 11:25 
А если я сконфигурирую хранение файла БД в отдельной ветке и смонтирую ее на отдельное устройство, могу я надеятся что он будет консистентный между флэшами БД? Могу я заскриптить в этот момент, когда система отчитается БД что данные сброшены на диск по флэш-требованию, dd? )
Ответить | Правка | К родителю #149 | Наверх | Cообщить модератору

180. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от Sw00p aka Jerom (?), 11-Ноя-22, 07:34 
откуда лять идея о том, что механизм снепшота ФС должно беспокоить консистентность данных какой-то там БД приложения, которые растут как грибы каждый день? зачем ACID придумали для БД?
Ответить | Правка | Наверх | Cообщить модератору

181. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от arisu (ok), 11-Ноя-22, 09:25 
да ниоткуда, всё нормально, возвращайся на свой локалхост, тут взрослые дяди беседуют.
Ответить | Правка | Наверх | Cообщить модератору

182. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от Sw00p aka Jerom (?), 11-Ноя-22, 09:39 
> тут взрослые дяди беседуют.

кек, простите :)


Ответить | Правка | Наверх | Cообщить модератору

186. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от Аноним (185), 11-Ноя-22, 14:46 
> откуда лять идея о том, что механизм снепшота ФС должно беспокоить консистентность
> данных какой-то там БД приложения, которые растут как грибы каждый день?
> зачем ACID придумали для БД?

Если хочется острых ощущений, сделать вот это вот с базой виндового контроллера домена ;)

Ответить | Правка | К родителю #180 | Наверх | Cообщить модератору

196. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от Sw00p aka Jerom (?), 12-Ноя-22, 22:41 
> Если хочется острых ощущений, сделать вот это вот с базой виндового контроллера
> домена ;)

сделать что? снепшот фс на которой крутиться база контроллера? ну вот делаю, и что? дальнейшие действия какие?

Ответить | Правка | Наверх | Cообщить модератору

173. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от Заблоченый (?), 10-Ноя-22, 11:42 
Если БД не консистента до бэкапа, то он не виноват, естественно. ) Но все сложно структурированные файлы хранятся в виде блоков ) консистентность БД не головная боль а поддержки серверной инфраструктуры, для этого есть админы БД.
Ответить | Правка | К родителю #117 | Наверх | Cообщить модератору

148. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от arisu (ok), 09-Ноя-22, 11:44 
алё, Серёжа, так ты пояснишь, как оно обеспечивает консистентность файлов данных? или это очень сложный вопрос, если на него честно ответить, то вашего слона никто не купит?
Ответить | Правка | К родителю #115 | Наверх | Cообщить модератору

202. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от somethingfunny (ok), 16-Ноя-22, 04:28 
Консистентность файла данных обеспечивается приложением (если речь идёт о базе, то логами).

И вы, мне кажется, немного путаетесь.

Что снапшот LVM, что blksnap - эти вещи они не вместо DD, они в дополнение к DD (или rsync, кому что).

Т.е. вы точно также можете взять снапшот диска с файлами данных и диска с логами (и оба диска будут в согласованном между собой состоянии внутри снапшота), и потом с него утянуть файл данных базы и логи в хранилище бэкапов при помощи rsync или cp, да хоть весь диск целиком при помощи DD.

Вот только с голым DD вам придётся сделать одно из трёх:

а) тормозить базу наглухо
б) лочить таблицы (для MyISAM)
в) Использовать --single-transaction перед тем как делать дамп (+ не должно быть коннекций которые используют ALTER TABLE, CREATE TABLE, DROP TABLE, RENAME TABLE, и тому подобное)

Использование снапшота блочного устройства где лежит база и её логи позволяет сделать бэкап базы без даунтайма, и с минимальной докаткой по логам базы (при условии что логи попали в бэкап).

Копируя живые файлы логов и базы при помощи DD вы потом должны будете применить логи к базе, да ещё подождать пока они применятся (если хвостик логов длинный, то процесс будет небыстрым).

P.S. и слон бесплатный так-то, продавать тут нечего. Исходники все открыты, доки есть, бери да пользуйся, если скиллы позволяют (а инструмент создан как раз с расчётом на среднего админа без навыков мейнтейнера и кодописания).

Ответить | Правка | Наверх | Cообщить модератору

203. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от arisu (ok), 16-Ноя-22, 06:14 
> Копируя живые файлы логов и базы при помощи DD вы потом должны
> будете применить логи к базе, да ещё подождать пока они применятся
> (если хвостик логов длинный, то процесс будет небыстрым).

ну да, ну да, а если сделать бэкап «блочного устройства» волшебной таблеткой — то этого делать совсем не придётся.

> P.S. и слон бесплатный так-то, продавать тут нечего.

свежо питание. *часть* инструмента пытаются засунуть в ядро, чтобы скинуть на кого-то работу по маинтенансу этой бесполезной ерундени.

Ответить | Правка | Наверх | Cообщить модератору

204. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от somethingfunny (ok), 16-Ноя-22, 13:27 
> ну да, ну да, а если сделать бэкап «блочного устройства» волшебной таблеткой — то этого делать совсем не придётся.

придётся, но в гораздо меньшем масштабе и происходить это будет быстрее (т.к. хвост логов будет гораздо короче) в случае с DD и без снапшота вы пока файл будете копировать логов нарастёт уже прилично. Понятие restore time objective не просто так придумали так-то.

И я не получил ответа на вопрос как вы аналогичное действие сделаете с помощью dd и без снапшота. Вы что-то очень много болтаете, и критикуете, однако взамен ничего не предлагаете : )

> свежо питание. *часть* инструмента пытаются засунуть в ядро, чтобы скинуть на кого-то работу по маинтенансу этой бесполезной ерундени.

Если бы вы хотя бы раз попытались сами отправить что-то уровня драйвера в ядро, то знали бы, что мейнтейнеры весьма щепетильно относятся к вопросу "кто будет это поддерживать", и просто скинуть на них свою работу не получится. Претендуя на отправку в ядро серьёзного фунцкионала, разработчик тем самым в 99% процентов случаев подписывается на поддержку своего кода.

Ответить | Правка | Наверх | Cообщить модератору

205. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от arisu (ok), 16-Ноя-22, 15:13 
> И я не получил ответа на вопрос как вы аналогичное действие сделаете
> с помощью dd и без снапшота.

потому что я не собирался отвечать на дурацкие вопросы.

> Если бы вы хотя бы раз попытались сами отправить что-то уровня драйвера
> в ядро

у меня для тебя плохие новости. очень плохие. можешь попробовать угадать.

Ответить | Правка | Наверх | Cообщить модератору

206. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от somethingfunny (ok), 16-Ноя-22, 17:08 
А, ну я так и думал - критиковать и дуть щёки горазды, а будучи притянутыми к ответу сразу в кусты :D

Сидите на своём dd спокойно дальше, не смею мешать.

Ответить | Правка | Наверх | Cообщить модератору

207. "Предложен механизм blksnap для создания снапшотов..."  +/
Сообщение от arisu (ok), 16-Ноя-22, 17:47 
> А, ну я так и думал

ты даже смысл прочитаного текста понять не можешь, не льсти себе.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру