The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Предложен механизм blksnap для создания снапшотов блочных устройств в Linux, opennews (??), 07-Ноя-22, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


17. "Предложен механизм blksnap для создания снапшотов блочных ус..."  –2 +/
Сообщение от пох. (?), 07-Ноя-22, 19:16 
Не совсем - процесс отключения питания, к сожалению, не мгновенен. Современные диски очень, очень такого не любят.

Нормальная база с double buffer writes (ни на что не намекаю) кстати, да, восстановится. И заново из лога накатит транзакции, о которых сообщила что они - завершены. (А если она не уверена что они в лог попали - то и не сообщает).

Но то - нормальная. А у тебя - поцргрец про, импортозаместительный. Поэтому он не поднимается вообще. Но мы уже послали запрос в контору-импортозамещятель и с нетерпением ждем ее ответа. Как придет - уведомим тебя письменно.

Ответить | Правка | Наверх | Cообщить модератору

20. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +2 +/
Сообщение от амоним (?), 07-Ноя-22, 19:20 
так постгрес, собссно работает по той же схеме.
лог транзакций, откат-накат в случае крэша, и прочие радости.
не сильно понимаю в чем превосходство господина. чэсн.
Ответить | Правка | Наверх | Cообщить модератору

24. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +/
Сообщение от пох. (?), 07-Ноя-22, 19:29 
> так постгрес, собссно работает по той же схеме.

дык, эта, тово - ниработает. sig11

> не сильно понимаю в чем превосходство господина. чэсн.

э... вот...


Ответить | Правка | Наверх | Cообщить модератору

43. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +/
Сообщение от амоним (?), 07-Ноя-22, 20:18 
https://postgresqlco.nf/doc/en/param/full_page_writes/
Ответить | Правка | Наверх | Cообщить модератору

67. "Предложен механизм blksnap для создания снапшотов блочных ус..."  –1 +/
Сообщение от пох. (?), 07-Ноя-22, 23:43 
> https://postgresqlco.nf/doc/en/param/full_page_writes/

ну включи, включи на проде.

Ответить | Правка | Наверх | Cообщить модератору

128. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +/
Сообщение от 1 (??), 08-Ноя-22, 19:20 
Ну не знаю как модный, современный postgre ... Но 9 вообще не поднимался после отключения питания ... да да, логи были, но прочитать он их не может и вылетает по signal (хз может и 11 - давно это было). Oracle такое вытворял как раз только на raw-устройствах (за которые тут сильно ратуют).

А вообще - вопрос ... А когда кто-то вообще БД с бакапа подымал ? Чёт я тут попробовал на днях проверить, а что мы каждый божий день делаем ? Да как-то тестовое восстановление не очень большой БД (где-то 10Тб) заняло почти сутки ... Нахрена, спрашивается нужен такой бакап ?

Так что, похоже, только репликация спасёт ...

Ответить | Правка | Наверх | Cообщить модератору

141. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +/
Сообщение от edo (ok), 09-Ноя-22, 10:00 
точно? у нас несколько сотен касс, разумеется, отключения питания бывают сплошь и рядом.
не так давно там был именно 9-ый постгрес, сейчас 11.

всё работает.

Ответить | Правка | Наверх | Cообщить модератору

157. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +/
Сообщение от пох. (?), 09-Ноя-22, 19:37 
> Ну не знаю как модный, современный postgre ... Но 9 вообще не

подсказываю: структуры хранения данных ни разу не изменились. Их как в 95м году придумали, так и остаются ;-)

> А вообще - вопрос ... А когда кто-то вообще БД с бакапа
> подымал ? Чёт я тут попробовал на днях проверить, а что

ну я инвалид :-(

> мы каждый божий день делаем ? Да как-то тестовое восстановление не
> очень большой БД (где-то 10Тб) заняло почти сутки ... Нахрена, спрашивается

хорошие у тебя диски... А я неделю валандался.

> нужен такой бакап ?

Ну, типа, иногда некоторые лавки с потерями, но переживают. Типа не весь мир еще к счастью виртуальный, можно деньги принимать налом, а приходник на БСО выписывать. А потом работать 24/7 чтоб все это вернуть в онлайн.

> Так что, похоже, только репликация спасёт ...

Ну кому как. Этим может и ок - во-первых, разумеется, за это 24x7 заплатили вовсе не по ТК.
А типа либо мы поработаем, либо сразу можем все искать новую работу. Оне чавота не захотели.

Во-вторых репликация не факт бы что и спасла. (теперь у тебя две дохлые реплики)
В-третьих если сравнить потери от "сцайт не открывается" аж неделю раз в пять лет и цену хостинга такого - и не забываем чтоб подальше от оригинала, плюс канал позволяющий такое, плюс кто-то кто может потом починить если репликация развалится, а оно, вот - вполне возможно, оно и в десять раз отличается.


Ответить | Правка | К родителю #128 | Наверх | Cообщить модератору

164. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +/
Сообщение от Заблоченый (?), 10-Ноя-22, 09:29 
А Вы бы поднялись? Есть бесперебойное питание (хотя бы какое-то время) или распределенный кластер.  
Ответить | Правка | К родителю #128 | Наверх | Cообщить модератору

26. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +2 +/
Сообщение от нокия (?), 07-Ноя-22, 19:35 
> у тебя - поцргрец про, импортозаместительный. Поэтому он не поднимается вообще

а что с посгресом не так? это же база данных и должна восстанавливаться после отключения питания.

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

33. "Предложен механизм blksnap для создания снапшотов блочных ус..."  –3 +/
Сообщение от пох. (?), 07-Ноя-22, 19:48 
>> у тебя - поцргрец про, импортозаместительный. Поэтому он не поднимается вообще
> а что с посгресом не так? это же база данных и должна
> восстанавливаться после отключения питания.

ну...э...короче просто не имей дело с теми, кто на это рассчитывает.

А то оно потом спрашивает - "должна? Расписку покажи!"

Ответить | Правка | Наверх | Cообщить модератору

135. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +/
Сообщение от Аноним (57), 09-Ноя-22, 05:56 
тот самый момент, когда постгрес умнее какого-то пох.-а, и последний об этом узнал...
Ответить | Правка | Наверх | Cообщить модератору

166. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +/
Сообщение от Заблоченый (?), 10-Ноя-22, 09:45 
Уважаемый, если у Вас не восстанавливается, то это не значит вообще. И почему Вы тут переходите на политику? Есть нормально построенные комплексные решения, которые сидят на постгрес. Люди просто пограмотнее Вас и не Экают. Простите - не сдержался.
Ответить | Правка | К родителю #33 | Наверх | Cообщить модератору

36. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +2 +/
Сообщение от RM (ok), 07-Ноя-22, 19:53 
Я знал что придешь в топик :)

> ... Современные диски ...

Разрешите перефразировать, запамятовал, вместо "это как если питание выключить. но на всех дисках аднавременна, да"
следует читать "это как если kernel panic наступил, цвет консоли по вкусу"

> Нормальная база с double buffer writes (ни на что не намекаю)

И несмотря на отсутствие намёков в моей голове звучит - ИннаДБ!!!
Они там в MariaDB даж его пытались выпилить :)))
https://mariadb.org/significant-performance-boost-with-new-m.../
Да, я понимаю в общем как надо, и что сначала еще надо постараться найти какие именно гарантии
предоставляет, если предоставляет вообще, именно это ЗУ.

> А у тебя - поцргрец про

Сначала рэйд собрать....

Вобщем, подъитоживая флэйм - ниже аноним все в ответе тебе хорошо объяснил,
без application aware VSS writer тяжело.

Хотя большинство делает просто ДД и это как-то работает в большинстве редких случаев,
когда таки приходиться восстанавливать из снапшота.
Соответственно денег за сделать правильно не платят.

Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

68. "Предложен механизм blksnap для создания снапшотов блочных ус..."  –1 +/
Сообщение от пох. (?), 07-Ноя-22, 23:50 
> следует читать "это как если kernel panic наступил, цвет консоли по вкусу"

Ну тоже не совсем - паник может наступить поздновато, уже поназаписывав каши из поврежденных буферов (то есть собственно, откуда по твоему адские крэши zfs и btrfs)

А тут чпок и отрубилось все. Ближе всего - схдшный свитч вырубить на ходу - пол-пакета она не примет и не запишет.

> без application aware VSS writer тяжело.

vss не умеет поцгреза в wsl, к сожалению. А то б я несомненно рассмотрел такое редкостно ушлепское решение, не пропадать же добру.

> Хотя большинство делает просто ДД и это как-то работает в большинстве редких
> случаев,

Ну я вот напоролся на, кстати, иннодб, не желавшую подниматься даже с магической шестеркой
после такого "dd". Причем я бы там согласился на потерю всех данных новее пары месяцев, лишь бы вообще запустилось и от меня отстало, но хрен там. Как раз из-за неконсистентности - логи уехали вперед от состояния базы, и совсем без логов оно оказывается тоже не может.

Ответить | Правка | Наверх | Cообщить модератору

92. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +/
Сообщение от Аноним (91), 08-Ноя-22, 06:39 
Энтерпрайзные Toshiba умеют при отключении питания сбрасывать на диск кеш записи.
Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

108. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +/
Сообщение от пох. (?), 08-Ноя-22, 10:06 
> Энтерпрайзные Toshiba умеют при отключении питания сбрасывать на диск кеш записи.

дык кэшей-то не один. Еще в памяти есть. И тоже может быть не один.

А это - просто костылик, позволяющий им чуть раньше отрапортовать что запись закончена (именно потому что нам-то не важно на самом деле, чем она там закончена, важно чтобы потом прочиталось именно это) и выиграть в каких-то соревнованиях энтерпрайзных плевков в длинну.


Ответить | Правка | Наверх | Cообщить модератору

167. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +/
Сообщение от Заблоченый (?), 10-Ноя-22, 10:05 
Вы сейчас про энергонезависимую оперативку в рейд контролере? Это не особенность фирмы, это стандартное решение. Здесь речь про кэш работающих процессов в оперативной памяти. Почему то все додумывают, что это чудо-костыль помогает от самого страшного краша. ) Только дисковая система, господа и быстрый снап , чтобы не бэкапить все блоки.
Ответить | Правка | К родителю #92 | Наверх | Cообщить модератору

121. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +/
Сообщение от keydon (ok), 08-Ноя-22, 14:42 
Чет мне кажется ты не разбираешься в поцгресе, у него как раз есть и wal и по дефолту ждет подтверждение от системы про запись на диск.
Ответить | Правка | К родителю #17 | Наверх | Cообщить модератору

168. "Предложен механизм blksnap для создания снапшотов блочных ус..."  +/
Сообщение от Заблоченый (?), 10-Ноя-22, 10:10 
Ну тут много экспертов которые круты во всем, лишь бы похаливарить )) По мне разработчикам БД надо крупными буквами писать - о бесперебойности питания должен позаботиться потребитель продукта. )
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру