The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Доступна система резервного копирования restic 0.15"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Доступна система резервного копирования restic 0.15"  +/
Сообщение от opennews (??), 16-Янв-23, 20:51 
Опубликован выпуск системы резервного копирования restic 0.15, обеспечивающей хранение резервных копий в зашифрованном виде в версионированном репозитории.  Система изначально рассчитана на то, что резервные копии сохраняются в окружениях не заслуживающих доверия и попадание резервной копии в чужие руки не должно скомпрометировать систему. Возможно определение гибких правил для включения и исключения файлов и каталогов при создании резервной копии (формат правил напоминает rsync или gitignore). Поддерживается работа в Linux, macOS, Windows, FreeBSD и OpenBSD. Код проекта написан на языке Go и распространяется под лицензией BSD...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=58491

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Доступна система резервного копирования restic 0.15"  –7 +/
Сообщение от Аноним (1), 16-Янв-23, 20:51 
> Код проекта написан на языке Go и распространяется под лицензией BSD.

без GC в таком проекте не обойтись?

Ответить | Правка | Наверх | Cообщить модератору

2. "Доступна система резервного копирования restic 0.15"  +3 +/
Сообщение от kusb (?), 16-Янв-23, 20:54 
Она не будет там особенно мешать.
Ответить | Правка | Наверх | Cообщить модератору

7. "Доступна система резервного копирования restic 0.15"  +3 +/
Сообщение от Аноним (7), 16-Янв-23, 21:30 
Для любителей без GC есть проект rustic - restic написанный на rust.
https://github.com/rustic-rs/rustic

Они даже заявляют об интероперабельности с restic репами, вроде бы.
Но сам я этот проект пока не тестил

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

10. "Доступна система резервного копирования restic 0.15"  +4 +/
Сообщение от Аноним (10), 16-Янв-23, 21:34 
раст - это как китайцы, делают некачественные копии, абибасы там всякие, растики
Ответить | Правка | Наверх | Cообщить модератору

93. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (93), 19-Янв-23, 10:40 
А для любителей без GC и при этом натуралов?
Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

44. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от Аноним (44), 17-Янв-23, 08:27 
Загнать себя в рамки и принципиально обойтись конечно можно, но в настолько высокоуровневых проектах GC сильно больше помогает, чем вредит.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

66. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от Аноним (66), 17-Янв-23, 14:39 
Местным растонытикам до понимания GC бы ещё дорасти
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

3. "Доступна система резервного копирования restic 0.15"  –3 +/
Сообщение от Аноним (3), 16-Янв-23, 21:13 
Какие преимущества перед borg? Никаких, я правильно понимаю? Вместо проверенного решения предлагают использовать сырую поделку? Для данных?  В проде?
Ответить | Правка | Наверх | Cообщить модератору

5. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от Аноним (7), 16-Янв-23, 21:25 
На мой взгляд основное преимущество restic по сравнению с borg в том, что можно бэкапить на любые удаленные хранилища.

Насколько я помню, Borg требует того, что бы на сервере хранилища был установлен borg. Для restic это не требуется, что позволяет ему бэкапить куда угодно, хоть на S3, хоть на SFTP какой-нибудь. В этом плане по поддержке бэкендов, он очень похож на rclone.

А поддержка объектных хранилищ позволяет хранить бэкапы где-нибудь в облаке за весьма дешево (дешевле наверное только ленточные накопители), так что для некоторых людей это прям киллер фича.

Ответить | Правка | Наверх | Cообщить модератору

30. "Доступна система резервного копирования restic 0.15"  –6 +/
Сообщение от Аноним (30), 17-Янв-23, 05:18 
Вам что то мешает хранить локально только индекс и ручками загружать чанки бэкапа куда угодно?
Ответить | Правка | Наверх | Cообщить модератору

32. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от Аноним (32), 17-Янв-23, 05:42 
Ленточные накопители дешёвые, а вот устройства чтения-записи для них...
Ответить | Правка | Наверх | Cообщить модератору

47. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от 1 (??), 17-Янв-23, 09:00 
Нуууу ... если у вас архив в 1000 кассет, не такие и дорогие ...
Ответить | Правка | Наверх | Cообщить модератору

74. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от t (??), 17-Янв-23, 17:05 
в борг можно бекапить на удаленный сервер, даже если там не стоит борг, просто указывается каталог где лежит репо с бекапом. да, по ssh, но разве этого мало? ))
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

8. "Доступна система резервного копирования restic 0.15"  –2 +/
Сообщение от Аноним (8), 16-Янв-23, 21:31 
Все просто restic это стандарт, borg это для пижонов.  
Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

45. "Доступна система резервного копирования restic 0.15"  +3 +/
Сообщение от ыы (?), 17-Янв-23, 08:33 
спасибо. узнал из вашего сообщения что стандарт существует...
Ответить | Правка | Наверх | Cообщить модератору

13. "Доступна система резервного копирования restic 0.15"  –1 +/
Сообщение от Аноним (13), 16-Янв-23, 22:00 
Какой к свиньям прод? Что борг, что эта фигнюшка - это чисто бэкапить коллекцию порно на локалхосте. В прод решения ничего не знающие про ленточные библиотеки и расписания не принимаются.
Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

16. "Доступна система резервного копирования restic 0.15"  –4 +/
Сообщение от Легивон (?), 16-Янв-23, 22:16 
Перфокарты еще забыл.
Какой отношение тулза для резервного копирования имееть к планировщику? У тебя что в системе крона нет? Или надо чтобы обязательно мышкой возюкать и деньги платить? Иначе не ынтерпрайс?
Современному бизнесу нет времени ждать пока перемотаются и разбекапятся ленты. Пока это будет происходить, клиенты уйдут в сервис конкурента.
Ответить | Правка | Наверх | Cообщить модератору

43. "Доступна система резервного копирования restic 0.15"  –1 +/
Сообщение от ыы (?), 17-Янв-23, 08:20 
крон для бэкапа? это только для бэкапа порно на локалхосте. а система резервного копирования должна уметь: понимать что такое политика резервного хранения, понимать что такое копия длительного хранения (и их не одна), уметь предоставлять доступ к резервированным данным без их восстановления, понимать что такое безопасность и разные права доступа. И все это - настраиваться из одного окна а не ползая по куче конфигов непонятно где. ну, на самом деле понятно где, но это скорее усугубляет уродство бэкапа через крон а не оправдывает его...
Ответить | Правка | Наверх | Cообщить модератору

46. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (44), 17-Янв-23, 08:49 
Такой стиль изложения у тебя, вроде сам понимаешь что несёшь бред, но пытаешься выгородиться как можешь, ибо ъынтърпрайзъ!
Ответить | Правка | Наверх | Cообщить модератору

68. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от ыы (?), 17-Янв-23, 15:48 
большинство использованных терминов вообще говоря взято прямо из ПО...
Оно там действительно именно так и называется. и имеет соответствующий функционал и смысл :)
Яж вас не заставляю использовать лучшие практики и создавать эффективные решения.
пользуйте крон... без проблем :)
Ответить | Правка | Наверх | Cообщить модератору

73. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от t (??), 17-Янв-23, 17:03 
в borg есть правила для prune - можно например сделать чтобы при каждом новом запуске старые согласно указанным вами параметрам удалялись.
а запуск то конечно можно настроить по крону или systemd timer-у, как угодно.
Ответить | Правка | К родителю #43 | Наверх | Cообщить модератору

77. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Легивон (?), 17-Янв-23, 20:55 
А что тебя смущает? Демоны cron одни из самых стабильных программ. Я конкретно про кананическую реализацию vixie cron, ту что в дебиане. Она не обновлялась уже лет 15, но работает как ни в чем не бывало... и столько же еще проработает без обновлений.
У вашего же брата на лицо какое-то магическое мышление и возможно каргокуль. Вы думаете, что надежности и эффективности можно добиться только посредством запуска сложных (и подчастую проприетарных) программ. А на самом деле главным критерием является отнють не сложность, а observability и скорость внесения корректирующих изменений. Ошибки всегда случаются, нужно иметь возможность увидеть их сразу и тут же исправить. А это означает система бекапа должна быть интергированна в единую систему мониторинга на которую ВСЕ смотрят, где работает система эскалации, инструменты реализующие систему должны быть максимально типичны и просты, чтобы любой мог с ними разобраться. Это категорически не про ваши блотвары.
И вот в то время когда современному прогрессивному kpacнorлaзиkу прилетит алерт, он тут же зайдет на хост и починить что-то из 3 сломавшихся: cron/restic/скрипт_обертка_логов тривиальных программ... В это время ынтерпрайс господин^w "мышковозюкатель в свитере с оленем" будет разрываться между 20 разными дашбордами и консолями управления от всех его "мокрых писечек скачать бесплатно без регистрации и СМС" не имея возможности быстро видеть состояния системы и не понимая что делать если что то пошло не так. "Ой, я агент то установил, а оно не работает." "Переустановлю его еще раз и еще!" Или ой, вендорская поддержка то почему-то самоотменилась, как открыть тикет? Как получить мои данные назад?
Ну и к вопросу автоматизации процесса. Абстрактная роль с рестиком для ансибла бекапящая что угодно и запускающая перед/после бекапа скрипты и выводящая метрики в единую систему мониторинга... делает за 1 день! А потом она просто запускается на любое количество машин. Для кубера уже тоже написали гору оберток.
Ответить | Правка | К родителю #43 | Наверх | Cообщить модератору

78. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от Котофалк (?), 17-Янв-23, 20:57 
> понимать что такое безопасность

вместо вас? простите, не удержался.

> и разные права доступа

подумайте о том, чтобы мигрировать с MS-DOS

> И все это - настраиваться из одного окна а не ползая по куче конфигов непонятно где

Это здравая мысль. Правда "настройка из одного места" в общем случае не означает, что вам обязательно втюхают переизобретённые велосипеды "свой крон", "свои права" и прочее.

Ответить | Правка | К родителю #43 | Наверх | Cообщить модератору

95. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от pofigist (?), 22-Янв-23, 10:45 
man NDMP
Без его поддержки - только для бекапа коллекции порно на локалхосте.
Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

96. "Доступна система резервного копирования restic 0.15"  –1 +/
Сообщение от Легивон (?), 22-Янв-23, 12:10 
Виндузятники - такие виндузятники. Не могут и помыслить, что что-то можно сделать без установки зонда (агента, клиента и т.д.) на хост.
А зачем он мне нужен, ваш зонд? Я прекрасно управляю конфигурацией всех хостов (включая их бекап) из 1 точки из Ансибле, имею сложную многоуровневую систему наследования конфигураций на основе групп, не повторяюсь и не занимаюсь хардкодингом одних и тех же конфигураций. Зачем мне отвлекаться и прописывать план резервного копирования в какой-то тулзе сбоку переизобретающей велосипеды? Как это потом асинхронно сопровождать? Мне например нравится IaC и повторяемость которую он дает. Нравится иметь единый гибко управляемый источник алертов. А ваши проприетарные мокрые кисочки с мышковозюкательным интерфейсом и без интеграции в стандарт дефакто мониторинга для крупных инсталяции prometheus - только все портят.
Что делать если у меня нет сетевой связаности между всеми нодами? Она просто не нужна, ни для чего. Понимаю, что для админов локалочки и сервера: 1с + AD + zabbix высоконагруженого на 20 аналоговых перекладывателей бумаг - области применения таких писечек, это звучит невероятным.
Ответить | Правка | Наверх | Cообщить модератору

97. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от pofigist (?), 22-Янв-23, 17:20 
Линаксоиды такие линаксоиды... Ничерта не знают, но лезут рассуждать - https://datatracker.ietf.org/doc/html/draft-skardal-ndmpv4-04
Ответить | Правка | Наверх | Cообщить модератору

75. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от t (??), 17-Янв-23, 17:06 
мне и самому интересен этот вопрос. только без сарказма.
я так полагаю, что restic работает под windows, а borg - только под linux.
Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

76. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от t (??), 17-Янв-23, 17:30 
короче - restic умеет в многопоток, в большее количество бекендов напрямую, работает с windows, но не умеет в сжатие.

у borg минус в отсутствие многопоточного сжатия.
(rclone поможет отправить в те же бекенды готовый репо)


а, вот пара рекурсивных линков )) :
https://github.com/restic/restic/issues/1875#issuecomment-40...
vs
https://github.com/borgbackup/borg/issues/3954#issuecomment-...

Ответить | Правка | Наверх | Cообщить модератору

88. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Alex (??), 18-Янв-23, 10:51 
>но не умеет в сжатие.

Он умеет в сжатие... у вас устаревшие сведения

Ответить | Правка | Наверх | Cообщить модератору

4. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (4), 16-Янв-23, 21:22 
достойное ПО. velero использует его как бекенд.
Ответить | Правка | Наверх | Cообщить модератору

17. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Легивон (?), 16-Янв-23, 22:20 
"Кетчуп" (k8up) лучше, имхо.
Там тож разумеется рестик бекендом.
Ответить | Правка | Наверх | Cообщить модератору

6. "Доступна система резервного копирования restic 0.15"  +3 +/
Сообщение от Аноним (10), 16-Янв-23, 21:27 
Чем это лучше обычного советского "tar -cf - snapshot | gzip -9 | openssl enc -aes-256-cbc -pass file:key.b64 -iter 2097152" ?
Ответить | Правка | Наверх | Cообщить модератору

9. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от Аноним (8), 16-Янв-23, 21:31 
Тем что не нужно думать (или уметь думать)
Ответить | Правка | Наверх | Cообщить модератору

54. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (54), 17-Янв-23, 10:19 
> Тем что не нужно думать (или уметь думать)

вся суть современного IT.
Те кто хотят думать, используют tar.gz и шифрование.
Те кто не хотят используют restic

Ответить | Правка | Наверх | Cообщить модератору

57. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от КО (?), 17-Янв-23, 10:32 
Чем учить каждого встречного как делать пики точеные, лучше эти пики продавать и зарабатывать.
Ответить | Правка | Наверх | Cообщить модератору

62. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (62), 17-Янв-23, 13:31 
Я тебе по секрету скажу, компьютеры и IT создавались именно для того, чтобы меньше думать.
Ответить | Правка | К родителю #54 | Наверх | Cообщить модератору

69. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (1), 17-Янв-23, 16:46 
Чтоб люди из использущие меньше думали, а не те, кто их обслуживают
Ответить | Правка | Наверх | Cообщить модератору

11. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (11), 16-Янв-23, 21:52 
тем что высвободившееся от чтения манов свободное время можно потратить на блэкджек и шлюх
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

27. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (27), 17-Янв-23, 03:31 
Ну да, каждая домохозяйка рождается с врождёнными знаниями restic, причём наперёд по будущим версиям.
Ответить | Правка | Наверх | Cообщить модератору

12. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от Аноним (1), 16-Янв-23, 21:55 
можно же "tar -zcf" вместо " | gzip" или я что-то путаю?
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

29. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Anatoly (??), 17-Янв-23, 05:03 
Можно, что придётся добавить ещё --options gzip:compression-level=9
Ответить | Правка | Наверх | Cообщить модератору

58. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (27), 17-Янв-23, 11:57 
tar -[0-7][lmh] - не?
Ответить | Правка | Наверх | Cообщить модератору

14. "Доступна система резервного копирования restic 0.15"  –1 +/
Сообщение от Аноним (13), 16-Янв-23, 22:02 
Блин, откуда вы лезете со своими портянками, интересно? Недоучки. Таром он что-то бэкапить собрался.
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

15. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (1), 16-Янв-23, 22:03 
а что не так?
Ответить | Правка | Наверх | Cообщить модератору

18. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Легивон (?), 16-Янв-23, 22:26 
То что например никак не реализуется сценарий постоянного инкрементального копирования, ведь без хранения всех предыдущих копий это невозможно.
Или нет встроеной очистки уровня: хранить годовые копии, месячные, недельные и 7 ежедевных. В сценарии с таром надо будет скачивать все инкременты, мержить и заливать назад результирующие файлы.
Ответить | Правка | Наверх | Cообщить модератору

19. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (19), 16-Янв-23, 22:30 
Если у меня 10 серверов по 20 гб каждый можно я не буду делать инкремент и уровни?
Ответить | Правка | Наверх | Cообщить модератору

48. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (48), 17-Янв-23, 09:09 
Может ты и бекапы делать не будешь? У тебя же целых 10 серверов аш на, о майн год, целых 20 громадных гигабайт.  

Откуда вы только беретесь.

Ответить | Правка | Наверх | Cообщить модератору

53. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (54), 17-Янв-23, 10:15 
10 маленьких впсок?
можете не делать.
можете даже на хостинг провайдере купить услугу бэкапа
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

20. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от pashev.ru (?), 16-Янв-23, 22:40 
Окстись, ты не Гугл.
Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

21. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (21), 16-Янв-23, 22:55 
О, и Pashev тут. Как ваш гит поживает?
Ответить | Правка | Наверх | Cообщить модератору

38. "Доступна система резервного копирования restic 0.15"  –2 +/
Сообщение от Легивон (?), 17-Янв-23, 07:06 
Лол. Только гуглу позволено пользоваться простыми и эффективными инструментами?
Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

92. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от pashev.ru (?), 18-Янв-23, 16:45 
> Лол. Только гуглу позволено пользоваться простыми и эффективными инструментами?

Как перестать ржать?

Ответить | Правка | Наверх | Cообщить модератору

22. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от Аноним (22), 16-Янв-23, 23:01 
Тар это умеет. Вы не умеете - ваши проблемы.
Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

39. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от Легивон (?), 17-Янв-23, 07:18 
Ну расскажи как будет:
1) Есть большой файл куда апендятся данные. Как будешь бекапить таром? Постоянно заливать весь файл?
2) Как будешь удалять промежуточные инкрементальные бекапы? Скачаешь все 100500 промежуточных бекапов на хост, помержишь и зальешь? А если места не хватит?
Поражаюсь безумным желаниям чуваков в свитерах с оленями. Как же много у них свободного времени и какая у них странная мотивация. Вместо того чтобы использовать готовые стандартные инструменты. Они готовы городить портянки из баш скриптов, сидеть их днями отлаживать, брать на себя ответсвенность за ошибки... и все ради того, чтобы сказать: "мам сматри я пограмист, я за неделю изобрел плохую версию того, что и без меня уже работало и было доступно свободно".
Зачем они это делают? Разве желание развиваться в глубину (подальше от баша), это не естественное желание?
Ответить | Правка | Наверх | Cообщить модератору

49. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от Аноним (48), 17-Янв-23, 09:11 
Показать себя очень важным в вещах в которых у них на работе больше никто не разбирается.  Ну и время занять конечно, начальство не любит когда сотрудники бездельничают и всё просто работает.
Ответить | Правка | Наверх | Cообщить модератору

70. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от Аноним (22), 17-Янв-23, 16:49 
1) Большой файл в исключения тара, отдельным скриптом (в три строчки) копирование этого файла с отступа.
Таром очень удобно бэкапить систему - инкремент крошечный. БД в зависимости от размера или на уровне файлов с дополнительными действиями, или дампом. Просто тар для файлов БД не подходит. Чтобы бэкап был эффективным, надо знать свои данные, в любом случае.

2) "100500 промежуточных бекапов " это уже ошибка проектирования системы бэкапа. Их не должно быть 100500. И если инкремент много весит, это тоже ошибка проектирования. В этом случае проще не использовать инкрементальный бэкап.
Я бэкапил полный раз в месяц и каждый день инкремент. Размер всех инкрементов к концу месяца всегда был меньше полного. Срок хранения подбирался так, чтобы невозможно было превысить свободное место. Головой подумать пришлось при создании этой системы, но в итоге она была очень простая и надежная. И никакой зависимости от мамкиных программистов (студентов и индусов), пишущих открытые решения для бэкапов. Это бесценно.

"мам сматри я пограмист, я за неделю изобрел плохую версию того, что и без меня уже работало и было доступно свободно".
Не проецируйте. Подходит вам существующее решение - отлично. Пользуйтесь. Ради бога.

Доступное свободно, где много всего понакручено лишнего, мне не нужно. Все зависит от проблем, которые нужно решать, и некоторых допущений. Я никогда не шифрую бэкапы, потому что считаю риск их повреждения в зашифрованном виде более существенным, чем гипотетическая опасность их компрометации в хранилище. Проще восстановление.
Если бэкап идет на ленту, риска компрометации по сути нет. Решения с шифрованием нужны голожпым, которые бэкапятся в чужие облака. Больше чем уверен, что в приличных местах никто терабайтные бэкапы не шифрует и не шлет в облака. Подозреваю, что админы пятибаксовых виртуалок на диджитал оушен - основная аудитория бэкапов с шифрованием.

Собственное решение всегда понятно и подходит на 100%. Существующие обычно подходят не на 100% и/или требуют значительных трудозатрат на освоение. Безусловно, в парадигме снятия с администратора личной ответственности, сторонние решения всегда предпочтительны. Раб нижнего уровня в принципе не имеет роскоши что-то на работе изобретать.

"желание развиваться в глубину (подальше от баша), это не естественное желание?"
Хотеть быть подальше от баша, пользуясь юниксоподобной системой - это не естественное желание. Для учившегося работать с линуксом через окошко путти в винде - может быть и естественное. Кто вас знает. Но не надо проецировать на всех остальных. Нравится вам через вебгуй администрировать - ок. Как только разонравится, без нормального шелла быстро станет тоскливо.
Ленивый студент не хочет изучать то, что ему кажется никогда не пригодится. Вот и всё.
Неужели нет интереса к технологиям древних, которые без значительных изменений работают 50 лет? Ни капельки? Совсем-совсем?

Ответить | Правка | К родителю #39 | Наверх | Cообщить модератору

80. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Легивон (?), 17-Янв-23, 22:10 
Какой ужос!
1) Вот написал ты 20 скриптов для разных сервисов и раскидал их по 100 серверам... Как это потом сопровождать? Когда сработает фактор автобуса, что потом делать? Помоему бизнесу лучше сразу тебя не брать. Только на собеседовании заикнулся про баш и кустомные тулзы для бекапа - сразу "вам перезвоним... Охрана, быстрее проводите молодого человека".
Про эффективность бекапа ты прав.
Поэтому:
- для простых файлов (без большого random write) - restic (и т.п.)
- для баз - wal-g (и т.п.)
2) В случае бекапа баз (с некоторыми допущениями) это именно так. Мы храним по 50.000 wal сегментов например.
Студенты и индусы пишушие подобное ПО в 10 раз умнее и тебя и меня вместе взятых.
3) Отлично подходит.
4) Что много понакручено? Детали будут? Имхо это сферическая в ваккууме имплементация философии unix.
restic умеет:
- работать с большим количеством типичных репозиториев, а так же с еще большим количеством используя кооперацию с программой сбоку
- он умеет бекапить и разбекапливать
- монтировать бекапы без скачивания, чтобы выдрать 1 файл например
- умеет очистку
Все! Это по вашему много? Помоему тут ровно столько, сколько минимально необходимо. Помещать один и тот же код реализующий функционал выше в разные бинарники было бы глупо. Это непосредственно связаные с назначением программы вещи.
5) Про шифрование, простите, это уже шиза. Шифрование ничего не стоит.
6) Голожпые? Мы кстати щас мигрируем из облаков selectel и dataline в свои DC. Но сохраняем так называемый вами "облачный" подход: катим виртуалки тераформом в on-premise, деплоим ансиблом, везде где можно вмecто волюмов юзаем s3. Угадаешь как изменилось соединение наших рестиков с новым датастором? Думаю догадался. NIQUAQ! Мы просто стали юзать свой s3. И многие так вами нелюбимые облачные технологии так же используются не для первоцели, а именно потому что это банально стандартный интерфейс/инструмент.
7) Не существует никакой 100% правды. Если бы ваш работодатель понимал, каких потенциальных проблем несут ему такие баш портянки, а какое value добавляют с другой стороны. Вы бы там не работали. Это 100% правда!
8) Юникс система - не является первоцелью. Ктому-же полноценная юникс система все больше превращается в кубирнетис запускатель. Где многих аспектов просто нет, а если что-то сломалось то может быть целесообразнее в несколько кликов перекатить машину, нежеле разбираться.
Ну и вы ошиблись. Когда ты на ше (sh, практически не пишу на баше) писал уже все что только можно и понимаешь разумный диапазон его применения - это становится неинтересно.
Мне гуй не нравится. Люблю минимализм: void linux, i3, vim - мой выбор для десктопа. terraform/ansible/helm - для сервера.
Мне тоскливо становится не без баш. А тоскливо с ним разгребать "сервера снежинки" доставшиеся по наследству, где такие как вы, напихали во все возможные места rc.local/systemd/crond/logrotate и т.д. всяких разных башскриптов. Это подчастую сбагрено отсутствием контроля версий, документации, использования хардкодинга, лютым количеством костылей - именно программирование и конфигурирование на баш благоволит этому подходу.
Алсо: писал в начале 2000 биллинг на баше, все как у людей^w поцонов в свитерах с оленем, с кроном и базой в текстовом файлике со сложность O(n^2). Мне сейчас неловко говорить об этом, чувствую стыд за это.
Ответить | Правка | Наверх | Cообщить модератору

81. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (22), 17-Янв-23, 23:47 
>писал в начале 2000 биллинг на баше

У тебя ничок по моде из 2010х. Ну кому ты :)

>написал ты 20 скриптов для разных сервисов и раскидал их по 100 серверам... Как это потом сопровождать?

Скрипты лежат на сервере, который собирает бэкапы с хостов. Там же логика их пересылки куда-то еще. Все в одном месте.
Вот еще кстати - все привыкли push-модель бэкапов делать, когда сервер сам формирует и выс-рает их куда-то, должен для этого держать у себя креды и иметь установку утилиты (которая может вдруг вместо бэкапа начать выводить stand with ukraine или еще как-нибудь вредить, имея права на чтение всех файлов). В pull модели с использованием базовых утилит таких проблем в принципе нет.

>Студенты и индусы пишушие подобное ПО в 10 раз умнее и тебя и меня вместе взятых.

Судя по тому, как в этой сфере все очень наивно - не умнее. Кучу кода написать - еще не значит, что люди умные. Старательные, трудолюбивые - да.

>Мы просто стали юзать свой s3. И многие так вами нелюбимые облачные технологии так же используются не для первоцели, а именно потому что это банально стандартный интерфейс/инструмент.

Электричества не жалко, это понятно.

Ок, я понимаю. Действительно, если в средней руки конторе дать людям баш с рутом и утилиты, к которым им лень читать ман - через год будет тотальный п-ц. Придет время переустанавливать шендвс. Кондовые ограниченные решения будут лучше тупо за счет ограничения рисков. Между нами разница в отношении к этой ситуации исключительно. Я считаю, что достаточно убрать профнепригодных и можно будет использовать эффективные и очень простые решения, кроме того портабельные и не требующие поддержки. Сегодня есть твой рестик, завтра нет. Что делать будешь с бэкапами, если он в тыкву превратится? Выкинешь и новые очередной мокрой п-кой сделаешь?

>полноценная юникс система все больше превращается в кубирнетис запускатель

Кубер к юникс отношения не имеет, это NT-службы, вид сбоку.

Короче, ты очень успешный, умный, вот это всё. Ну ты понел.

Ответить | Правка | Наверх | Cообщить модератору

82. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (22), 17-Янв-23, 23:51 
>5) Про шифрование, простите, это уже шиза. Шифрование ничего не стоит.

Часть зашифрованного файла побилась. Восстановиться не получится. Кккко такого не бывает, ккреку

Ответить | Правка | К родителю #80 | Наверх | Cообщить модератору

23. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (1), 16-Янв-23, 23:16 
Я хз насколько это работоспособно, не пробовал, но вот что нагуглил - https://www.gnu.org/software/tar/manual/html_node/Incrementa...
Ответить | Правка | К родителю #18 | Наверх | Cообщить модератору

35. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (30), 17-Янв-23, 06:21 
Ну не обязательно tar использовать для составления списка файлов, можно и rdup
Ответить | Правка | Наверх | Cообщить модератору

25. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (25), 17-Янв-23, 00:21 
Не сможешь адекватно директории/файлы эксклюдить/инклюдить
Ответить | Правка | К родителю #15 | Наверх | Cообщить модератору

28. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от Аноним (27), 17-Янв-23, 03:38 
> Не сможешь адекватно

Адекватность утверждает Министерство Правды?

Ответить | Правка | Наверх | Cообщить модератору

72. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (22), 17-Янв-23, 16:57 
Нормально все эксклюдится и инклюдится. Тар обычно вызывается в скрипте обертке. Список файлов и исключений можно в нем же сформировать и использовать при вызове. Не так уж много проблем.
Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

52. "Доступна система резервного копирования restic 0.15"  –1 +/
Сообщение от пох. (?), 17-Янв-23, 10:13 
таром-то еще куда ни шло. Таром с шитзипом и еще и шифрованием поверх - вот это уровень локалхостмастера.

"а теперь давай достанем вооон тот один файл из пары сотен (хотя бы) гигабайт того тара" - впереди ж вечность, спешить некуда... Особенно если потом тар с шитзипом и шифрованием еще порезать под дешевые (то есть не обеспечивающие нормальную fs) облачкаааа.

А потом повторим для инкрементального бэкапа - когда мы не знаем точно когда файл испортился, и нужно достать последнюю еще не порченную модификацию, неизвестно, когда сделанную.

Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

59. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (27), 17-Янв-23, 12:02 
Ты как тот, кто лоб расшиб, молясь богу.
Ответить | Правка | Наверх | Cообщить модератору

34. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (34), 17-Янв-23, 06:10 
Дедупликацией а-ля rsync: блоки с одинаковым хэшом хранятся только один раз.

Выгода от такого решения может быть от многократной до отрицательной в зависимости от того, что и как бэкапится. Как всегда, серебряной пули нет.

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

36. "Доступна система резервного копирования restic 0.15"  +2 +/
Сообщение от Аночик (?), 17-Янв-23, 06:22 
В каком случае отрицательная выгода?
Ответить | Правка | Наверх | Cообщить модератору

60. "Доступна система резервного копирования restic 0.15"  –1 +/
Сообщение от Аноним (27), 17-Янв-23, 12:03 
Да почти всегда.
Ответить | Правка | Наверх | Cообщить модератору

61. "Доступна система резервного копирования restic 0.15"  +2 +/
Сообщение от Аночик (?), 17-Янв-23, 12:12 
Даже GPT более осмысленно отвечает
Ответить | Правка | Наверх | Cообщить модератору

86. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (86), 18-Янв-23, 06:17 
1) Когда дублирующихся блоков настолько мало, что хэш-таблица занимает больше места, чем повтор дубликатов.
2) Когда изменения такого характера, что поблочная дедупликация даст тот же эффект, что пофайловая, только бОльшими вычислительными ресурсами.
Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

55. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (55), 17-Янв-23, 10:21 
Тем, что это не работает.
tar будет просить имя файла после -f

PS: Портянкофил сломался на первой же команде.

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

56. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от Аноним (1), 17-Янв-23, 10:28 
не будет они ничего просить

tar cf - dir/ > dir.tar

Видишь тот одиноко стоящий "-" - это значит писать в stdout

Ответить | Правка | Наверх | Cообщить модератору

87. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (86), 18-Янв-23, 06:23 
Ты бы хоть попробовал, прежде чем критиковать. f - означает вывод в stdout.

Да и вообще tar cf - с пайпом - это стандартный юниксовый паттерн. Скажем, на ssh с распаковкой - это намного быстрее scp.

Ответить | Правка | К родителю #55 | Наверх | Cообщить модератору

85. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от анон (?), 18-Янв-23, 02:52 
смешивать сжатие и шифрование имеет риски вроде как
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

90. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Anonim (??), 18-Янв-23, 14:58 
Наличие дедуплекации. Не?
Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

31. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Sergey (??), 17-Янв-23, 05:32 
Тестил и использую всякие разные средства, лучше rsync ничего нет.
Ответить | Правка | Наверх | Cообщить модератору

33. "Доступна система резервного копирования restic 0.15"  +1 +/
Сообщение от Аноним (30), 17-Янв-23, 05:47 
Вы в каком качестве тестировали rsync и restic?
Ответить | Правка | Наверх | Cообщить модератору

37. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от test (??), 17-Янв-23, 06:36 
Ежедневный бекап серверов с объемом от 4Тb до 10тб.
Ответить | Правка | Наверх | Cообщить модератору

40. "Доступна система резервного копирования restic 0.15"  –3 +/
Сообщение от Аноним (40), 17-Янв-23, 07:47 
Для неосиляторов tar.gz
Ответить | Правка | Наверх | Cообщить модератору

51. "Доступна система резервного копирования restic 0.15"  +4 +/
Сообщение от Аноним (48), 17-Янв-23, 09:12 
Для тех кому не нужны проблемы на пустом месте.
Ответить | Правка | Наверх | Cообщить модератору

64. "Доступна система резервного копирования restic 0.15"  –1 +/
Сообщение от Аноним (64), 17-Янв-23, 13:58 
tar.XZ же. Даже звучит опеннетненько. Выше и сжатие, и время. Особенно время разархивирования. У меня сложилось, что tar для оси, для правки даже одиночного конфига делаю не его копию а сразу тарю всю папку. gpg же? в нем меньше маркиза-дэСада, ключей синей бороды, рубиновых глаз.
А файлики гонять всё-таки rsync. И инструмент для отправки в облака приветствую горячо, желательно простой ибо редкоиспользуемый.  
Ответить | Правка | Наверх | Cообщить модератору

71. "Доступна система резервного копирования restic 0.15"  –1 +/
Сообщение от Аноним (22), 17-Янв-23, 16:56 
>инструмент для отправки в облака приветствую горячо

В чем прикол? Вы же наверняка теми же руками посты набиваете про зонды, но при этом бэкапы доверяете без проблем. ОК, они зашифрованы. Что если облако их удалит или вам доступ запретит?
Откуда вот это щенячье доверие в одном из самых важных вопросов?

Ответить | Правка | Наверх | Cообщить модератору

79. "Доступна система резервного копирования restic 0.15"  –1 +/
Сообщение от Аноними (?), 17-Янв-23, 21:40 
> Что если облако их удалит или вам доступ запретит?

Возможно, он просто не живет в стране-изгое? И такой сценарий для него является  малореалистичным.
Ну и даже если и вдруг - это БЭКАП, Карл. Просто следующий сделаешь вне очереди и в новое хранилище.

Ответить | Правка | Наверх | Cообщить модератору

83. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (22), 17-Янв-23, 23:59 
Смысл бэкапов именно в том, чтобы в ЛЮБОЙ момент времени иметь возможность с них восстановиться, частично или полностью.

>Просто следующий сделаешь вне очереди и в новое хранилище.

А потом ВНЕЗАПНО выяснится, что нужен файл из бэкапа трехмесячной давности.

Если допустимо терять все бэкапы, может быть можно их вообще не делать?

Ответить | Правка | Наверх | Cообщить модератору

65. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (66), 17-Янв-23, 14:36 
> SHA-256

Ну фу, blake3 же есть давно уже

Ответить | Правка | Наверх | Cообщить модератору

84. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от OpenEcho (?), 18-Янв-23, 00:37 
borg хорошо, restic тоже хорошо, но kopia все же лучше чем они оба
Ответить | Правка | Наверх | Cообщить модератору

89. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Alex (??), 18-Янв-23, 10:59 
kopia пока не готова для продакшена... даже полукустарного
Ответить | Правка | Наверх | Cообщить модератору

91. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от OpenEcho (?), 18-Янв-23, 15:00 
> kopia пока не готова для продакшена... даже полукустарного

За такими высказываниями (если вы хотите чтобы ваше мнение не звучало как опеннетовская клоунада), обычно люди приводят доказательства. У меня доказательства - в продакшене пол петабайтов, больше 4 лет. Кстати, хотелось бы услышать четкое определение продуктов, которые готовы для продакшена, а которые - нет (в нашем аджайл движущемся мире)


Ответить | Правка | Наверх | Cообщить модератору

94. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Neon (??), 22-Янв-23, 00:57 
restic 0.15. Т.е. версия 0.15 для системы резервного копирования ?!))) Кто в своем уме будет использовать альфу версию для резервного копирования ?! Надо быть совсем чокнутым на голову)))
Ответить | Правка | Наверх | Cообщить модератору

98. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от OpenEcho (?), 23-Янв-23, 18:44 
> restic 0.15. Т.е. версия 0.15 для системы резервного копирования ?!)))

Можно глянуть где вы нашли информацию о том что это альфа? Везде сказано что 0.15.0 - есть релиз

> Кто в своем уме будет использовать альфу версию для резервного копирования ?! Надо
> быть совсем чокнутым на голову)))

А каким релизным софтом пользуются не чокнутые?

Ответить | Правка | Наверх | Cообщить модератору

99. "Доступна система резервного копирования restic 0.15"  +/
Сообщение от Аноним (99), 23-Янв-23, 21:10 
borg стабилен, restic тоже, использовать можно и то и то в продакшене,
а вот базы бекапить со слейвов с ограничением скорости эффективно примерно так, особенно на кластерные ФС, которые любят запись блоками побольше:

pg_dump -U postgres -p 5432 dbname | pv -q --rate-limit 8m | gzip | ssh -i $KEY -o BatchMode=yes user@srvbackuo "dd obs=128M | dd bs=128M of=/var/backups/srvname/postgresql/dbname.sql.gz"

Не благодарите ^)

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру