https://www.opennet.dev/openforum/vsluhforumID1/82232.html Приветствую<br>Ситуация: несколько syslog серверов собирающих данные с определенного количества сетевых устройств. За день набегает около восьми гиг лога для каждой железяки. Всё замечательно до тех пор пока не приходится искать там какую-то инфу. Занимает это достаточно много времени и раздражает ужасно. Снизить объем - нереально, он будет только расти.<br><br>Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может быть что-то кладущее их в базу и предоставляющее простой интерфейс для поиска? Понимаю, что можно и самому написать, но не хочется изобратать велосипеды. <br> https://www.opennet.dev/openforum/vsluhforumID1/82232.html#20 Mon, 20 Oct 2008 17:19:07 GMT &gt;[оверквотинг удален]<br>&gt;Ситуация: несколько syslog серверов собирающих данные с определенного количества сетевых устройств. За <br>&gt;день набегает около восьми гиг лога для каждой железяки. Всё замечательно <br>&gt;до тех пор пока не приходится искать там какую-то инфу. Занимает <br>&gt;это достаточно много времени и раздражает ужасно. Снизить объем - нереально, <br>&gt;он будет только расти. <br>&gt;<br>&gt;Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может <br>&gt;быть что-то кладущее их в базу и предоставляющее простой интерфейс для <br>&gt;поиска? Понимаю, что можно и самому написать, но не хочется изобратать <br>&gt;велосипеды. <br><br>rsyslog<br> https://www.opennet.dev/openforum/vsluhforumID1/82232.html#19 Fri, 10 Oct 2008 19:05:39 GMT &gt;&gt; 50device*8Gb*30=12Tb<br>&gt;&gt; Большие расходы на обработку и хранение такой базы.<br>&gt;<br>&gt;Очень нефиговый объем логов, вы уверены что у вас правильно продумана политика <br>&gt;логирования? <br>&gt;Тем более пишете что события однотипные? <br>&gt;<br>&gt;Мона пример посмотреть логов? <br><br>+1<br><br>поста не нашел - цитата цитаты из данной ветки:<br>&gt;&gt;Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass<br>&gt;&gt;очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"<br>&gt;&gt;всегда можно посмотреть что происходило на самом деле.<br><br>и ответ однозначен - логирование "парвильного" трафика - это бред начинающих админов. нигде практически кроме _серьезных_ струр, которые в этой информации нуждаются это делать не надо: - на время отладки включил - настроил - посмотрел - все хорошо - выключил. все.<br><br><br> https://www.opennet.dev/openforum/vsluhforumID1/82232.html#18 Fri, 10 Oct 2008 18:54:27 GMT &gt;<br>&gt;&gt;Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass <br>&gt;&gt;очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад" <br>&gt;&gt;всегда можно посмотреть что происходило на самом деле. <br>&gt;<br>&gt;Жесть какая... <br>&gt;Фаерволы не предназначены для логгирования трафика. <br>&gt;Замените на нетфлоу, будет одна запись не на пакет, а на сессию. <br>&gt;Размер будет в 1000 раз меньше. <br><br>где Вы увидели задачу логирования трафика? вопрос только о доступе к определенному сетевому ресурсу. и поэтому в тот же фаервол на каждую попытку установить соединение сделает только одну запись (при правильной настройке). а сбор данных по нетфлоу - это другой раздел задач - из разряда "кто-на-сколькоМБ-КУДА-ходил".<br> https://www.opennet.dev/openforum/vsluhforumID1/82232.html#17 Fri, 03 Oct 2008 12:16:04 GMT Дайте уже посмотреть пример лога!<br><br> https://www.opennet.dev/openforum/vsluhforumID1/82232.html#16 Thu, 02 Oct 2008 17:06:48 GMT &gt;Уточню: средняя продалжительность коннекта не должна привышать 1/500 = 0.002сек! <br><br>Честно говоря, даже с уточнением не понял данной выкладки. Почему при пороге 500 новых соединений в секунду "фаер имеет право жить, лишь при условии средней продалжительности коннекта &lt; секунды"? Что-то магическое в цифре 500? Почему не 666 в таком случае? :)<br><br>Возможно я неверно понял.<br> https://www.opennet.dev/openforum/vsluhforumID1/82232.html#15 Thu, 02 Oct 2008 16:36:48 GMT Уточню: средняя продалжительность коннекта не должна привышать 1/500 = 0.002сек!<br> https://www.opennet.dev/openforum/vsluhforumID1/82232.html#14 Thu, 02 Oct 2008 16:33:27 GMT Вернее всего вы не правильно выбираете предназначение лога или не доконца понимаете что хотите.<br><br>8Гб = 8'589'934'592 байт или 99'420 байт/сек. Если представить длину одной записи за 80байт получаем 1243записей/сек. Если представить даже самый идеальный случай, когда &lt;50% - это разрешенный траффик, т.е. ~500коннектов/сек, и учесть, что у вас фаерволом отслеживает состояние подключения (keep-state/check-state), то фаер имеет право жить, лишь при условии средней продалжительности коннекта &lt; секунды, в противном случае таблица состояний будет расти очень быстро. В общем, к чему это я, - где-то вы врете, либо не хотите оптимизировать записи, а просто нарываетесь на рекомандацию купить железяку на неск тысч евро под БД, поскольку более быстрого механизма поиска по структурированным данным, кроме как в БД вы не найдете, притом не каждая БД подайдет. Вот мускуль точно не справится с таким объемом данных!<br> https://www.opennet.dev/openforum/vsluhforumID1/82232.html#13 Thu, 02 Oct 2008 15:51:48 GMT <br>&gt;Полностью согласен. Если вы таким образом собираете статистику - это бред. <br>&gt;Во первых грузите сам фаер - ибо он должен пакеты гонять, а <br>&gt;не гигабайты логов отдавать. <br>&gt;Во вторых - есть нормальные способы для сбора статистики (например нетфлоу как <br>&gt;товарисч выше пишет). По крайней мере вы сразу получите агрегированный лог. <br>&gt;<br><br>Ответил ниже в треде.<br> https://www.opennet.dev/openforum/vsluhforumID1/82232.html#12 Thu, 02 Oct 2008 15:51:01 GMT &gt;<br>&gt;&gt;Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass <br>&gt;&gt;очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад" <br>&gt;&gt;всегда можно посмотреть что происходило на самом деле. <br>&gt;<br>&gt;Жесть какая... <br>&gt;Фаерволы не предназначены для логгирования трафика. <br>&gt;Замените на нетфлоу, будет одна запись не на пакет, а на сессию. <br>&gt;Размер будет в 1000 раз меньше. <br><br>Извините конечно, но вы не пробовали читать то что я написал?<br>Какой нетфлоу? При чем он здесь?<br>Файрволл пишет лог при первой проверке на аксесс-листе, т.е. для одной сессии - одна запись.<br>Логи используются в дальнейшем для траблшута и анализа.<br>