URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 95361
[ Назад ]

Исходное сообщение
"FSBackup"

Отправлено Yuna , 21-Янв-14 12:55 
Доброго времени суток.

Не могу понять проблему с FSBackup:
У меня есть папка /home/user/files/0 и тут куча папок куда складируются файлы.
Проблема: у меня почему-то fsbackup бекапит всю папку, если в нее положили новый файл.
Хотя по идее, должен-же бекапить только новые файлы из папок?

__DATA__
/home/user/
/home/user/files/

[21.01.2014 11:50 root@server] /home/user/files/0 # ls
total 7160
43737549 drwxrwxrwx  102 root       user   1536 Jan 15 15:49 ./
43644481 drwxr-xr-x    3 user  user    512 Jan 18 12:36 ../
43737566 drwxrwxrwx    2 root       user  72704 Jan 21 09:29 0/
43737567 drwxrwxrwx    2 root       user  72192 Jan 21 09:30 1/
...
43737564 drwxrwxrwx    2 root       user  73216 Jan 21 09:26 98/
43737565 drwxrwxrwx    2 root       user  72704 Jan 21 09:27 99/

При этом файлы в папках датированы, даже за 2011-й год...

[сообщение отредактировано модератором]


Содержание

Сообщения в этом обсуждении
"FSBackup"
Отправлено Farmut , 21-Янв-14 13:54 
Если необходимо бекапить только одну папку и только изменяющиеся файлы, то имеет смысл использовать, что то попроще FSbackup. Например rsync: /usr/bin/rsync -acuq --delete /что/
/куда/ . Если же все несколько сложнее, то необходимо смотреть конфиг FSbackup, так как вывод ls ни о чем не говорит.  

"FSBackup"
Отправлено Yuna , 21-Янв-14 13:56 
> Если необходимо бекапить только одну папку и только изменяющиеся файлы, то имеет
> смысл использовать, что то попроще FSbackup. Например rsync: /usr/bin/rsync -acuq --delete
> /что/
> /куда/ . Если же все несколько сложнее, то необходимо смотреть конфиг FSbackup,
> так как вывод ls ни о чем не говорит.

Просто пытаюсь понять: это баг FSBackup, что он бекапит всю папку т.к у нее изменилась дата из-за нового файла внутри или так и должно быть.

rsync - 600К мелких файлов = смерть =)


"FSBackup"
Отправлено Farmut , 21-Янв-14 14:01 
600К файлов это ежедневное изменение?

"FSBackup"
Отправлено Yuna , 21-Янв-14 14:02 
> 600К файлов это ежедневное изменение?

Нет, к счастью =)
Просто я делаю бекап не только этой папки.


"FSBackup"
Отправлено Farmut , 21-Янв-14 14:09 
Тогда не вижу проблем с rsync. Он сделает бекап общий 1 раз, а потом будет копировать только файлы которые подверглись изменению. Файлы которые не изменяются копироваться не будут 2й раз. Насколько я понял, вам подобный вариант и требуется. Можно и несколько папок скормить по очереди.

"FSBackup"
Отправлено Yuna , 22-Янв-14 10:52 
> Тогда не вижу проблем с rsync. Он сделает бекап общий 1 раз,
> а потом будет копировать только файлы которые подверглись изменению. Файлы которые
> не изменяются копироваться не будут 2й раз. Насколько я понял, вам
> подобный вариант и требуется. Можно и несколько папок скормить по очереди.

Я думал над этим, но во первых мне не нравится результат бекапа - не архив + инкременты, а папка синхронизированная.
Во вторых у меня сам по себе rsync via ssh не завелся. Потому не иду дальше.


"FSBackup"
Отправлено Maxim Chirkov , 21-Янв-14 19:08 
Наиболее вероятно не создана директория с кэшем для сохранения индексных .db-файлов, поэтому так как данные о прошлом состоянии не сохраняются, каждый раз архив создаётся с нуля. Или в файле конфигурации что-то не так настроено, например число итераций.
В каком режиме делается бэкап (локальный, удалённый, синхронизация) ?

"FSBackup"
Отправлено Yuna , 21-Янв-14 19:17 
> Наиболее вероятно не создана директория с кэшем для сохранения индексных .db-файлов, поэтому
> так как данные о прошлом состоянии не сохраняются, каждый раз архив
> создаётся с нуля. Или в файле конфигурации что-то не так настроено,
> например число итераций.
> В каком режиме делается бэкап (локальный, удалённый, синхронизация) ?

В том и дело - что не с нуля каждый раз.
Все остальные папки бекапятся как положено в инкременте.
Дело именно в этой папке (files).


"FSBackup"
Отправлено Maxim Chirkov , 22-Янв-14 19:18 
> Все остальные папки бекапятся как положено в инкременте.
> Дело именно в этой папке (files).

Т.е. есть куча директорий, в том числе /home/user/files/
если изменить один файл в  /home/user/files/123, то в бэкап копируется всё содержимое /home/user/files/123 ? Время модификации остальных файлов в этой директории точно не меняется ? В генерируемом для каждого бэкапа list-файле перечисляются все файлы или только имя директории ?

Покажите полный конфиг, вырезав от туда параметры доступа.
В вашем примере указано:

__DATA__
/home/user/
/home/user/files/

Если оставить

__DATA__
/home/user/

ситуация изменится ?


"FSBackup"
Отправлено Yuna , 24-Янв-14 10:11 
>[оверквотинг удален]
> Покажите полный конфиг, вырезав от туда параметры доступа.
> В вашем примере указано:
> __DATA__
> /home/user/
> /home/user/files/
> Если оставить
> __DATA__
> /home/user/
> ситуация изменится ?
> В генерируемом для каждого бэкапа list-файле перечисляются все файлы или только имя директории ?

Все файлы что попадают в бекап туда и пишут в т.ч и длиннющий список из /files

>Время модификации остальных файлов в этой директории точно не меняется?

Да точно. Проверял.

Полный конфиг:
http://pastebin.com/vspJF8NH

Нет, ситуация не менялась.
Я даже пробовал !/home/folder/files

Ситуацию меняло замена timesize на md5, но это накладно!


"FSBackup"
Отправлено Maxim Chirkov , 24-Янв-14 14:14 
> Нет, ситуация не менялась.
> Я даже пробовал !/home/folder/files

Т.е. после  !/home/folder/files  в бэкап продолжали попадать файлы из /home/folder/files

/home/folder/files и /home/folder в локальной ФС или что-то смонтированное с другого хоста Какая файловая система используется и ОС ?


"FSBackup"
Отправлено Yuna , 24-Янв-14 14:27 
>> Нет, ситуация не менялась.
>> Я даже пробовал !/home/folder/files
> Т.е. после  !/home/folder/files  в бэкап продолжали попадать файлы из /home/folder/files

Угу

> /home/folder/files и /home/folder в локальной ФС или что-то смонтированное с другого хоста
> Какая файловая система используется и ОС ?

FreeBSD colocation 8.3-RELEASE FreeBSD 8.3-RELEASE #0: Mon Apr  9 21:23:18 UTC 2012     root@mason.cse.buffalo.edu:/usr/obj/usr/src/sys/GENERIC  amd64

/dev/ad6s1a on / (ufs, local)
devfs on /dev (devfs, local, multilabel)
/dev/ad6s1e on /tmp (ufs, local, noatime, soft-updates)
/dev/ad6s1f on /usr (ufs, local, noatime, soft-updates)
/dev/ad6s1d on /var (ufs, local, noatime, soft-updates)
linprocfs on /usr/compat/linux/proc (linprocfs, local)


"FSBackup"
Отправлено Yuna , 22-Янв-14 12:29 
> В каком режиме делается бэкап (локальный, удалённый, синхронизация) ?

Удалённый, FTP