Профиль: Аноним (вход | регистрация) неRU opennet.me  
The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Выпуск утилиты для проверки целостности файлов Precizer 0.16.0"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск утилиты для проверки целостности файлов Precizer 0.16.0"  +/
Сообщение от opennews (??), 02-Июл-26, 08:05 
Опубликован выпуск Precizer 0.16.0, консольной утилиты Precizer, предназначенной для проверки целостности больших деревьев файлов и выявления расхождений после синхронизации данных. Код проекта написан на языке Си и распространяется под лицензией GPLv3. Готовые сборки ранее были доступны для Linux и macOS, а ключевым изменением нового выпуска стала экспериментальная поддержка Windows...

Подробнее: https://www.opennet.ru/opennews/art.shtml?num=65823

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


3. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от Hedgehog (??), 02-Июл-26, 08:28 
Нужно сравнение с fapolicyd
Ответить | Правка | Наверх | Cообщить модератору

9. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +1 +/
Сообщение от penetrator (?), 02-Июл-26, 09:41 
This is a simple application whitelisting daemon for Linux.

это же совсем другая задача

Ответить | Правка | Наверх | Cообщить модератору

32. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от Счукин Е (?), 02-Июл-26, 22:55 
aide, братан. Оно всё это умеет уже.
Ответить | Правка | К родителю #3 | Наверх | Cообщить модератору

36. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от OpenEcho (?), 03-Июл-26, 16:35 
mtree наверное будет постарей, пошустрей и на всех юниксах
Ответить | Правка | Наверх | Cообщить модератору

47. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от Аноним (47), 06-Июл-26, 18:06 
IMA/EVM для онлайн проверки системы при запуску

AIDE для периодической и офлайн проверки системы

gemato + Manifest для проверки каталогов, бекасов, архивов,...

SQL база слишком. B2 предписывает хранить информацию о безопасности (хеши, подписи) в метаданных файловой системы. Но для архивов, деканов подписаный Manifest то вот надо!

Ответить | Правка | К родителю #32 | Наверх | Cообщить модератору

49. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от EiLef3Woos (ok), 07-Июл-26, 06:50 
Вот этот вот всё перечисленное — "не слишком", а SQLite база данных в виде одного файла — это уже "слишком"... Штош...
:-)
Ответить | Правка | Наверх | Cообщить модератору

4. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  –4 +/
Сообщение от Аноним (4), 02-Июл-26, 08:32 
Я уверен, это востребованная функциональность для венды, она любит терять и повреждать файлы. Остальным, видимо, не интересно было. Но чтобы что, вот узнал ты -- хеши расходятся. Переведёшь венду на рейд с btrfs теперь?

>выявления расхождений после синхронизации данных

Практически миллионы-миллиарды изменений отслеживать не реалистично. Rsync уже позволяет перепроверить после завершения синхронизации, этого достаточно.

Ответить | Правка | Наверх | Cообщить модератору

8. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от aname (ok), 02-Июл-26, 09:40 
> она любит терять и повреждать файлы

Наглядное пособие, что в интернетах какой только дичи не пишут.

> Переведёшь венду на рейд с btrfs теперь?

И это когда есть прекрасная NTFS. Таким переводителям медицина уже вряд ли поможет

Ответить | Правка | Наверх | Cообщить модератору

10. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  –3 +/
Сообщение от Аноним (4), 02-Июл-26, 09:46 
Это не та самая ntfs, которая регулярно разваливает MFT?
Ответить | Правка | Наверх | Cообщить модератору

11. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +3 +/
Сообщение от aname (ok), 02-Июл-26, 09:52 
У меня она спокойно переживает аварийные отключения электричества. Если у тебя NTFS постоянно разваливает MFT, то это вопросы к твоему железу/рукам, а не к NTFS.
Ответить | Правка | Наверх | Cообщить модератору

12. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  –3 +/
Сообщение от Аноним (4), 02-Июл-26, 09:55 
А это как повезёт и какие обновления установлены. Если бы ты хоть немного владел темой, то знал, что это самый популярный деструктивный баг, который исправляют из года в год.
Ответить | Правка | Наверх | Cообщить модератору

15. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от aname (ok), 02-Июл-26, 10:07 
Последний раз, когда я видел проблемы с MFT- была XP.

Что ты там делаешь, какое некроговно используешь, какие эксперименты ставишь, какие драйверы NTFS используешь- я не знаю, но очевидно, что проблема уж точно не в шинде.

Вот что- что в шинде уж точно стабильное, так это NTFS.

Ответить | Правка | Наверх | Cообщить модератору

17. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  –1 +/
Сообщение от Аноним (4), 02-Июл-26, 10:49 
А вот майкрософт считает, что в 10 раз 10 устраняли. Никаких экспериментов, чистый сток. Просто признай, что ты ничего не знаешь об обожаемой тобой венде. Ещё раз, такое стабильное, что MFT рассыпается при исчерпании места.
Ответить | Правка | Наверх | Cообщить модератору

18. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от aname (ok), 02-Июл-26, 11:06 
> А вот майкрософт считает, что в 10 раз 10 устраняли. Никаких экспериментов,
> чистый сток. Просто признай, что ты ничего не знаешь об обожаемой
> тобой венде. Ещё раз, такое стабильное, что MFT рассыпается при исчерпании
> места.

У меня, как и у многих, исчерпывалось место и не раз. MFT на месте.

Почему ты сделал какую- то дичь, но обвиняешь других?

Ответить | Правка | Наверх | Cообщить модератору

19. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от Аноним (4), 02-Июл-26, 11:07 
А это как повезёт и какие обновления установлены.
Ответить | Правка | Наверх | Cообщить модератору

20. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  –1 +/
Сообщение от aname (ok), 02-Июл-26, 11:09 
> А это как повезёт и какие обновления установлены.

У меня устанавливаются все обновления. MFT в норме.

Опять линуксоиды не осилили винду.

Ответить | Правка | Наверх | Cообщить модератору

21. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от Аноним (4), 02-Июл-26, 11:12 
Ты выглядишь глупо. Майкрософт признаёт проблему, а ты переводишь в плоскость "линуксоиды не осилили" -- самому не смешно?
Ответить | Правка | Наверх | Cообщить модератору

22. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от aname (ok), 02-Июл-26, 11:56 
> Ты выглядишь глупо. Майкрософт признаёт проблему, а ты переводишь в плоскость "линуксоиды
> не осилили" -- самому не смешно?

Не увидел, до сих пор, ни одной ссылки.
Впрочем, чего ж от тебя ещё ожидать- то

Ответить | Правка | Наверх | Cообщить модератору

24. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от Аноним (4), 02-Июл-26, 12:19 
С таким отношением и не увидишь. Только твоя проблема.
Ответить | Правка | Наверх | Cообщить модератору

25. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от aname (ok), 02-Июл-26, 13:19 
Отсутствие пруфов- это не моя проблема.
Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

26. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от Аноним (4), 02-Июл-26, 13:29 
Дело не в пруфах, дело в том, что ты необразован и безграмотен. При этом, уверен в собственной правоте и считаешь нормальным хамить. Это позволяет создать целостную картину, вести диалог с инвалидами нет смысла. Плохие коммуникативные способности это действительно проблема, но, к счастью, это всё влияет только на твою тенденциозность и совершенно никому не интересно.
Ответить | Правка | К родителю #25 | Наверх | Cообщить модератору

13. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от Аноним (4), 02-Июл-26, 09:57 
Аварийные отключения, кстати, часто ни при чём. Это просто драйвер нтфс у венды такой хороший.
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

40. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от Аноним (40), 04-Июл-26, 10:32 
>И это когда есть прекрасная NTFS.

Прекрасная она была в Win7. Начиная с 8 и выше, до 10 очень часто Винда умирала при потере питания.
Но тут не знаю, или они что-то в NTFS начудили, или после Вин7 винда начала что-то постоянно индексировать и постоянно писать на диск, что вело к грустным последствиям после пропадания питания.

Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

41. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от aname (ok), 04-Июл-26, 12:17 
У меня есть n-компьютеров, с NTFS. По незавищсящим причинам, часто теряют питание. Так вот, NTFS выживает в таких условиях. Я хз за конкретные случаи, но в моём зоопарке NTFS реально тащит.
Ответить | Правка | Наверх | Cообщить модератору

27. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от EiLef3Woos (ok), 02-Июл-26, 14:42 
> Rsync уже позволяет перепроверить после завершения синхронизации, этого достаточно.

Нет, не позволяет и нет, этого не достаточно. Вот тут подробно объясняется почему: https://habr.com/ru/articles/1012934/

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

7. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +3 +/
Сообщение от Рмщъ (?), 02-Июл-26, 09:17 
Вспоминается Adinf
Ответить | Правка | Наверх | Cообщить модератору

23. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от Аноним (23), 02-Июл-26, 12:02 
Ничего надёжнее старой-доброй проверки целостности файлов так и не изобрели.
Ответить | Правка | Наверх | Cообщить модератору

39. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от Аноним (39), 03-Июл-26, 21:24 
И как его обманывали, тоже вспоминается?
Ответить | Правка | К родителю #7 | Наверх | Cообщить модератору

14. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +2 +/
Сообщение от Аноним (14), 02-Июл-26, 09:58 
Каждая новость о борьбе с/за безопасность убеждаюсь что собирать софт нужно самому из сурцов.
Ответить | Правка | Наверх | Cообщить модератору

29. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от EiLef3Woos (ok), 02-Июл-26, 15:25 
Если речь о конкретной программе, то все релизы там собираются автоматически из исходников через GitHub Actions
Ответить | Правка | Наверх | Cообщить модератору

33. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от openssh_user (ok), 03-Июл-26, 05:05 
Да вроде выглядит окей, но я бы всё равно из сурсов собирал бы
Ответить | Правка | Наверх | Cообщить модератору

16. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +1 +/
Сообщение от Аноним (16), 02-Июл-26, 10:20 
Иллюзорный мир демиурга воплотившего мыслеформу в крошечную цифровую реальность рушится на глазах.
Ответить | Правка | Наверх | Cообщить модератору

28. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  –1 +/
Сообщение от EiLef3Woos (ok), 02-Июл-26, 14:57 
Наоборот! Созидается! Тоже хотите контрибьютить? :-D
Ответить | Правка | Наверх | Cообщить модератору

30. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  –4 +/
Сообщение от Аноним (30), 02-Июл-26, 16:35 
Софт на Си уже даже смотреть не хочется.
Ответить | Правка | Наверх | Cообщить модератору

31. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +2 +/
Сообщение от EiLef3Woos (ok), 02-Июл-26, 17:19 
Тогда напишите свой, не на Си, который:

* Будет работать быстрее:
  * «Performance vs Programming Effort between Rust and C on Multicore Architectures: Case Study in N-Body» https://www.researchgate.net/publication/357230568_Performan...
  * «OpenSimplex2F Rust vs C implementations performance benchmark» https://gist.github.com/EndrII/c1a06a3e027a78e1639774b6138a6ce2

* И будет безопаснее: «В Rust Coreutils выявлено 113 уязвимостей. В Ubuntu 26.04 возвращены cp, mv и rm из GNU Coreutils» https://www.opennet.ru/opennews/art.shtml?num=65278

Если Вы решили вынести своё мнение на суд сообщества, будьте добры снабдить его аргументами. А то без инженерных знаний и опыта оно рискует выглядеть не как экспертная позиция, а как открытка из страны уверенных иллюзий.

Ответить | Правка | Наверх | Cообщить модератору

34. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от OpenEcho (?), 03-Июл-26, 16:10 

man mtree

делает тоже самое и очень давно

Ответить | Правка | Наверх | Cообщить модератору

38. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от EiLef3Woos (ok), 03-Июл-26, 17:38 
mtree простой как выключатель, с соответствующей нулевой гибкостью, бедным набором опций и сложными spec'ами.

Практически все альтернативы под все операционки уже указаны в README проекта precizer, с перечислением преимуществ и недостатков: https://github.com/precizer/precizer/blob/main/README.ru.md#альтернативы

Каждый инструмент предназначен для своих узкоспециализированных целей, в которых он хорош.

Ответить | Правка | Наверх | Cообщить модератору

42. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +1 +/
Сообщение от OpenEcho (?), 04-Июл-26, 15:20 
> mtree простой как выключатель

Иммено ! Всё гениальное - простое :)

Я пробовал ваш инструмент, если интересно, моё мнение:
- тулз через чур "разговорчивый", слишком много ненужного вывода на экран. Зачем:
  - "Enjoy your life!"
  - "The precizer completed as expected"
  - "Exit status » SUCCESS"
  Вы где то видели чтоб sqlite, zfs, awk выводил что то подобное?

- чем отличается "add as empty" vs "new" ? Вывод должен быть удобен для парсинга!
- зачем "загрезнять" вывод escape символами:
  - .[1mItems reported during this traversal against the DB 8399.db:.[0m ...
  - Use the .[1m--update.[0m option only when you are certain that...
  как в этом случае парсить без пердолинга? Нужен детектор, если вывод ушел в стрим, значит не надо esc символов, если терминал то юзайте на удовольствие (isatty() - в помощь)
- я не нашел режима, когда на той же самой локальной машине (или через sshfs) можно просто проверить целостность файлов или/и найти что добавилось, удалилось,  изпользуя уже созданную базу хэшей без создания новой базы, чтоб потом уже делать compare. А ведь в таких IDS системах, - это главный режим - просто найти что изменилось, добавилось, удалилось (с возможность не только по размеру и времени, но и по хэшу **без содания новой базы**).  Создание новой базы будет брать значительно больше времени, чем если просто сравнить базу относительно текущего состояния.

- Сравнение:
  These files are no longer in the 1.db but still exist in the 1.db
  когда можно сделать удобно для парсинга, как в гите, вместо того что разделять/загрезнять вывод  статуса художественными предложениями, можно просто:
  - new:  /path/2/file1
  - modified: /path/2/file1
  - deleted: /path/2/file1

В вашем же выводе, нужно literally "читать книгу"

Попытка прогнать:
    precizer -d YYYY-MM-DD_documents.precizer.db --progress -n ${HOME}/Documents
завешается как:
    ERROR: The precizer process terminated unexpectedly due to an error
и чуть ниже:
    ERROR: Exit status » WARNING

Где разница между ERROR и WARNING???
И в чем ошибка то?


- Опция -Т должна быть включенна по умолчанию, это как все подобные системы работают для не критического контента: размер+время модификации. Плюс нет опции добавить еще и хэшинг для целостной паранои

- Опция --start-device-only => --one-file-system как в rsync, более правильней с точки зрения юниксов, т.к. на одном "девайсе" можно смонтировать много чего (и потом нарваться на проблемы)

Кстати, зачем "The primary database has been vacuumed" на только что созданной, свежей базе данных??? Откуда там "дыры" чтоб их пылесосить?


Если не рассматривать тулзу как IDS систему и одновременно иметь backup с versioning, тo тоже самое можно сделать с банальным git,
с файлом `.git` с котором репа редиректится `gitdir: /path/2/repo.git` со значительно более богатыми возможностями

Ответить | Правка | Наверх | Cообщить модератору

43. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от EiLef3Woos (ok), 05-Июл-26, 18:36 
> если интересно, моё мнение:

Мнение действительно очень интересно. Это, пожалуй, первое объективное мнение и с критикой и  пожеланиями за все два года разработки. Вас не затруднит опубликовать такой обзор на странице проекта на гитхабе https://github.com/precizer/precizer/, в разделе Discussions или Issues, чтобы эта информация не потерялась среди постоянно обновляющихся новостей Опеннета? Там будет удобно разобрать каждый пункт, создать задачи для внесения изменений.

Ответить | Правка | Наверх | Cообщить модератору

44. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от EiLef3Woos (ok), 05-Июл-26, 19:22 
> isatty() - в помощь

Буду рад обменяться личными контактами для продолжения диалога. Приятно иметь дело с профессионалами, знающими нюансы на таком уровне.

Ответить | Правка | К родителю #42 | Наверх | Cообщить модератору

52. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от OpenEcho (?), 22-Июл-26, 14:51 
Сорри, но к сожалению не смогу быть более полезным проекту, но следить по возмоххности буду и если что то тригернет, то дам знать. Я и здесь то появляюсь только исключительно когда застреваю в занудных командировках
Ответить | Правка | Наверх | Cообщить модератору

55. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от EiLef3Woos (ok), 22-Июл-26, 19:01 
> Сорри, но к сожалению не смогу быть более полезным проекту, но следить
> по возмоххности буду и если что то тригернет, то дам знать.
> Я и здесь то появляюсь только исключительно когда застреваю в занудных
> командировках

Я действительно искренне благодарен за обратную связь и не прошу какого-то особого участия в проекте. Отзывов обычно не много, но Вам удалось внести столько разумных рациональных предложений, что я хотел бы иметь возможность сообщить о прогрессе по внедрению этих изменений в код. Только это и не более того.

Ответить | Правка | Наверх | Cообщить модератору

48. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от EiLef3Woos (ok), 07-Июл-26, 06:19 
> тулз через чур "разговорчивый", слишком много ненужного вывода на экран.

Подумав — соглашусь. Над этим действительно стоит поработать. Это было удобно на начальных стадиях разработки, но сейчас для многословности есть режим --verbose и многое можно убрать туда, оставив только минимально необходимое


> чем отличается "add as empty" vs "new" ? Вывод должен быть удобен для парсинга!

Согласен. В TODO.


> зачем "загрезнять" вывод escape символами:
> isatty() - в помощь

Абсолютно согласен. В доработку. Причём в первую очередь!


> я не нашел режима, когда на той же самой локальной машине (или через sshfs) можно просто проверить целостность файлов или/и найти что добавилось,

Всё очень просто. Ничего нового выдумывать не нужно — всё уже есть. Не надо ещё раз делать слепок БД с нуля, просто сделайте копию старой базы и обновите уже копию. БД это просто один файл со слепком состояния! Скопируйте его! Запустите повторный проход по тем же директориям с режимом -u (обновление) и указанием копии БД через параметр -d. Получится два файла — старый слепок и новое, текущее состояние. Сравните между собой две БД и получите желаемое:

precizer -c old.db updated.db


> когда можно сделать удобно для парсинга, как в гите
> В вашем же выводе, нужно literally "читать книгу"

Специально для упрощения парсинга есть режим --compare-filter, который работает совместно с --compare. С ним можно ознакомиться в --help, странно, что он не попал ни в документацию, ни в примеры — это явная недоработка!

Согласен. В TODO


> Попытка прогнать:
> завешается как:

Этого мне повторить не удалось. Проверил win/lin. Завершалось либо корректно, либо чётко сообщало как есть, что директории не существует и выход со статусом FAILURE. Уточните условия запуска. А лучше открыть багрепорт и описать со всеми подробностями.


> Где разница между ERROR и WARNING???
> И в чем ошибка то?

И тут согласен! Когда это постоянно крутится на экране, то взгляд "замыливаетcя" и перестаёшь замечать очевидный ляп. Но это всё косметика. Определённо в доработку, но не в первую очередь.

ERROR - это фатальная ошибка, из-за которой ничего сделать не удалось и процесс прерван. WARNING, это ошибка, но не фатальная и что-то да было сделано. Например, при проходе по файлам всё было хорошо, но потом закончилось место на диске и не удалось вакуумировать БД перед финалом. БД останется, данные там будут в полном объёме, но задача завершена не полностью. ХЗ как этот контракт обрисовать без "многабукав" и чтобы было понятно. Надо подумать... Особенно с учётом, что я уже нахожу в коде грубые отступления от этого контракта.


> Опция -Т должна быть включенна по умолчанию

Категорически не соглашусь. Это приведёт к полному пересчёту контрольных сумм файлов только по той причине, что пользователь рекурсивно прошёлся командами, например такими как chmod или chown. Рядовая задача, но она может затронуть миллионы файлов. Казалось бы ерунда, но ядро гарантирует при этом смену mtime атрибута у каждого файла. Прошу заметить — у файла, который на самом деле не изменил своего содержимого! Именно из-за этой проблемы такая опция и появилась. Если пользователь идёт на это осмысленно, тогда да, для этого -Т и предназначается, но не как режим по умолчанию.


> Опция --start-device-only => --one-file-system как в rsync

Согласен. Не сто́ит плодить сущностей. В TODO


> тo тоже самое можно сделать с банальным git

На вкус и цвет, как говорится, все опенсорсы разные... Precizer не является IDS. Наверно, на этот титул без контроля attr/xattr и других очень специфических мелочей пока претендовать рано.

На текущем этапе развития, в первую очередь, это утилита для удобной проверки результатов синхронизации и сверки бэкапов в 3-2-1 стратегии, а уже потом можно придумывать как использовать тулзу и для других нужд.

Если Вы целенаправленно используете precizer как IDS, то очень рекомендую посмотреть в сторону опций --lock-checksum и --rehash-locked, детально описанных в примерах 9 и 10 в основной документации README.

> на только что созданной, свежей базе данных??? Откуда там "дыры" чтоб их пылесосить?

Увы, но факт! Разница приблизительно 10-20%. Как повторить: отключить вызов вакуумирования в src/precizer.c, строка 146. Создать слепок корня OS: precizer -o / и потом вакуумировать, можно даже вручную стандартным SQL запросом через sqlite3 утилиту.

Да, можно бесконечно заниматься тюнингом журнала БД и других .pragma опций в поисках идеального оптимума, но тут очень большое значение имеет durability в ACID "ЗоППА — Защита от Пропадания Питания и Аварий", если в шутку. В основном из-за этого файл БД по-чуть-чуть "подтекает" по занимаемому пространству, даже в процессе последовательных INSERT строка за строкой.

На стадии создания или обновления БД операция выполняется только раз и затраты на вакуумирование копеечны (по сравнению со всем остальным процессом), зато экономия объёма на ровном месте. Если создавать исторический архив слепков, то разница будет ощутима. Можно сделать опцию, легко отключающую вакуумирование по-умолчанию. Много ли это сэкономит CPU и времени... Сомнительно.

Можно в ROADMAP добавить пункт для дополнения информации к "The primary database has been vacuumed" сколько было сэкономлено процентов и за сколько времени было сделано вакуумирование, это не сложно.

Ответить | Правка | К родителю #42 | Наверх | Cообщить модератору

53. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от OpenEcho (?), 22-Июл-26, 15:20 

> Всё очень просто. Ничего нового выдумывать не нужно — всё уже есть.
> Не надо ещё раз делать слепок БД с нуля, просто сделайте
> копию старой базы и обновите уже копию. БД это просто один
> файл со слепком состояния! Скопируйте его! Запустите повторный проход по тем
> же директориям с режимом -u (обновление) и указанием копии БД через
> параметр -d. Получится два файла — старый слепок и новое, текущее
> состояние. Сравните между собой две БД и получите желаемое:
> precizer -c old.db updated.db

Я это понял, но с точки зрения IDS, было бы удобно если бы был ключ который сразу на сканировании сравнивает с базой и выводит несоответствия без необходимости мучить(замедлять) базу апдейтами

> Этого мне повторить не удалось. Проверил win/lin. Завершалось либо корректно, либо чётко
> сообщало как есть, что директории не существует и выход со статусом
> FAILURE. Уточните условия запуска. А лучше открыть багрепорт и описать со
> всеми подробностями.

Я создал базу на первоm проходе, потом с ключом -n

precizer -d YYYY-MM-DD_documents.precizer.db --progress -n ${HOME}/Documents

В надежде получить просто сравнение текущего состояния с базой в итоге вышло
ERROR: Exit status » WARNING


>> Опция -Т должна быть включенна по умолчанию
> Категорически не соглашусь. Это приведёт к полному пересчёту контрольных сумм файлов только по той причине, что пользователь рекурсивно прошёлся командами, например такими как
> chmod или chown.

Вы здесь ошибаетесь, chmod или chown не меняют время модификации файла.
А вот не учет modification time приведет к тому, что файл созданый с
    echo 'aaa' >> file.txt
может быть перезаписан с
    echo 'bbb' >> file.txt

Размер тот же, а контент разный, поэтому все синхронизирующие тулзы учитывают по умолчанию время изменения файла и его размер (как миниум)


> Рядовая задача, но она может затронуть миллионы файлов.
> Казалось бы ерунда, но ядро гарантирует при этом смену mtime атрибута
> у каждого файла.

Вы меня заставили сомневаться в моем опыте :))) и пришлось проверить, но нет, моя память не подвела - chmod & chown не меняют mtime, и даже если б меняли, - если это о синхронизации/бэкапе/IDS, то все изменения должны реплицироваться


> Прошу заметить — у файла, который на самом
> деле не изменил своего содержимого! Именно из-за этой проблемы такая опция
> и появилась.

Проверьте еще раз, на красной шляпе и дебиане, я уже проверил, mtime не меняется от тех двух команд,

> На текущем этапе развития, в первую очередь, это утилита для удобной проверки
> результатов синхронизации и сверки бэкапов в 3-2-1 стратегии, а уже потом
> можно придумывать как использовать тулзу и для других нужд.

Большинство бэкап тулз кстати юзают mtime+size ;) и 3-2-1 уже к сожалению давно устарело после горькой школы с ransomware, поэтому сейчас мастхэв - 3-2-1-1-0 как миниум


> Увы, но факт! Разница приблизительно 10-20%. Как повторить: отключить вызов вакуумирования
> в src/precizer.c, строка 146. Создать слепок корня OS: precizer -o /

Век живи - век учись, пасиб !

Ответить | Правка | Наверх | Cообщить модератору

54. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от EiLef3Woos (ok), 22-Июл-26, 18:41 
Большое спасибо за отзывы! Я внимательно пройдусь по каждому пункту в комментарии. На вдумчивое рассмотрение нужно выделить достаточное количество времени.

Я сейчас занят доработками по предыдущим комментариям.

Вести баг-репорт было бы проще тут https://github.com/precizer/precizer/discussions/163

@OpenEcho присоединяйтесь к дискуссии! Я разделю каждый пункт на задачу для доработки. Я имею в виду задачи для себя. Если Вы смогли бы присоединиться к дискуссии, то я бы мог сообщать о прогрессе.

Ответить | Правка | Наверх | Cообщить модератору

56. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от EiLef3Woos (ok), 22-Июл-26, 19:44 
> Я создал базу на первоm проходе, потом с ключом -n
> precizer -d YYYY-MM-DD_documents.precizer.db --progress -n ${HOME}/Documents
> В надежде получить просто сравнение текущего состояния с базой в итоге вышло
> ERROR: Exit status » WARNING

Всё, теперь я понял идею! Опции -u/--update и -n/--dry-run антагонисты. Параметр -u сделан для того, чтобы пользователь явно согласился с изменением изначального слепка. Это позволяет защитить первичный слепок при случайном повторном запуске. Но при -n итак ни каких изменений не будет, поэтому в -u нет необходимости. Согласен. Принято в TODO.

Ответить | Правка | К родителю #53 | Наверх | Cообщить модератору

35. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от Аноним (35), 03-Июл-26, 16:24 
Попытка сборки в актуальном генту заканчивается вот так:
/usr/x86_64-pc-linux-gnu/binutils-bin/2.46.0/ld: невозможно найти -lpcre2-8: Нет такого файла или каталога
/usr/x86_64-pc-linux-gnu/binutils-bin/2.46.0/ld: have you installed the static version of the pcre2-8 library ?
collect2: ошибка: выполнение ld завершилось с кодом возврата 1
make: *** [Makefile:596: .builds/portable/precizer] Ошибка 1
Ответить | Правка | Наверх | Cообщить модератору

37. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от EiLef3Woos (ok), 03-Июл-26, 17:24 
Установите зависимости:
echo "dev-libs/libpcre2 static-libs" >> /etc/portage/package.use/libpcre2;
emerge -av dev-libs/libpcre2 app-arch/upx dev-db/sqlite

А потом запустите:
make production — сборка бинаря, опримизированного под локальный CPU
или
make portable — можно переносить между разными CPU той архитектуры, где велась сборка (x64 или arm64)

В README проекта есть инструкция как для самостоятельной сборки под Gentoo, так и сборки в Docker контейнере Gentoo: https://github.com/precizer/precizer/blob/main/README.ru.md#...

А ещё проще, установите в "один клик", подключив оверлей https://github.com/precizer/gentoo-overlay

Инструкция по подключению и установке из оверлея в русскоязычном ридми https://github.com/precizer/gentoo-overlay/blob/main/README....

Ответить | Правка | Наверх | Cообщить модератору

51. "Выпуск утилиты для проверки целостности файлов Precizer 0.16..."  +/
Сообщение от EiLef3Woos (ok), 16-Июл-26, 20:12 
Теперь оверлей доступен через официальный каталог. Больше не нужно ручное подключение. Подробности и инструкция тут: https://github.com/precizer/gentoo-overlay/blob/main/README....
Ответить | Правка | К родителю #35 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2026 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру