The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"продвинутый syslog"
Вариант для распечатки  
Пред. тема | След. тема 
Форумы OpenNET: Виртуальная конференция (Public)
Изначальное сообщение [ Отслеживать ]

"продвинутый syslog"  
Сообщение от pablo email(ok) on 02-Окт-08, 11:29 
Приветствую
Ситуация: несколько syslog серверов собирающих данные с определенного количества сетевых устройств. За день набегает около восьми гиг лога для каждой железяки. Всё замечательно до тех пор пока не приходится искать там какую-то инфу. Занимает это достаточно много времени и раздражает ужасно. Снизить объем - нереально, он будет только расти.

Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может быть что-то кладущее их в базу и предоставляющее простой интерфейс для поиска? Понимаю, что можно и самому написать, но не хочется изобратать велосипеды.

Высказать мнение | Ответить | Правка | Cообщить модератору

 Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "продвинутый syslog"  
Сообщение от yurmax on 02-Окт-08, 13:59 
>[оверквотинг удален]
>Ситуация: несколько syslog серверов собирающих данные с определенного количества сетевых устройств. За
>день набегает около восьми гиг лога для каждой железяки. Всё замечательно
>до тех пор пока не приходится искать там какую-то инфу. Занимает
>это достаточно много времени и раздражает ужасно. Снизить объем - нереально,
>он будет только расти.
>
>Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может
>быть что-то кладущее их в базу и предоставляющее простой интерфейс для
>поиска? Понимаю, что можно и самому написать, но не хочется изобратать
>велосипеды.

как вариант syslog-ng , всё фигачит в мускуль, поиск и просмотр с веб-морды.
ЗЫ. только не знаю как мускуль отнесется к такому количеству логов......

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

3. "продвинутый syslog"  
Сообщение от pablo email(ok) on 02-Окт-08, 14:24 
>>[оверквотинг удален]
>>Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может
>>быть что-то кладущее их в базу и предоставляющее простой интерфейс для
>>поиска? Понимаю, что можно и самому написать, но не хочется изобратать
>>велосипеды.
>
>как вариант syslog-ng , всё фигачит в мускуль, поиск и просмотр с
>веб-морды.
>ЗЫ. только не знаю как мускуль отнесется к такому количеству логов......

Думаю mysql станет не очень хорошо, я привел размер лога для одного из девайсов, но всего устройств более полусотни и хранить логи желательно не менее месяца.

Есть ли готовые решения на этой основе или необходимо писать самому?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

5. "продвинутый syslog"  
Сообщение от ingoa (??) on 02-Окт-08, 15:22 
>Думаю mysql станет не очень хорошо, я привел размер лога для одного
>из девайсов, но всего устройств более полусотни и хранить логи желательно
>не менее месяца.
>
>Есть ли готовые решения на этой основе или необходимо писать самому?

50device*8Gb*30=12Tb
Большие расходы на обработку и хранение такой базы

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

2. "продвинутый syslog"  
Сообщение от zsh (ok) on 02-Окт-08, 14:02 
как уже верно отметили, syslog-ng облегчит эту проблему. Почти уверен, что проанализировав данные помещаемые в логфайл, можно исключить менее важные вовсе или отфильтровать их в другой логфайл.
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

4. "продвинутый syslog"  
Сообщение от pablo email(ok) on 02-Окт-08, 14:29 
>как уже верно отметили, syslog-ng облегчит эту проблему. Почти уверен, что проанализировав
>данные помещаемые в логфайл, можно исключить менее важные вовсе или отфильтровать
>их в другой логфайл.

В данный момент стоит именно syslog-ng. К сожалению уменьшить (отфильтровать) невозможно, как и раскинуть по разным лог-файлам. Объясню: каждый лог-файл это лог за день от одного устройства и уже содержит однотипные события.
В первую очередь интересует готовое решение для индексации и поиска.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

6. "продвинутый syslog"  
Сообщение от gpl77 (??) on 02-Окт-08, 17:45 

>
>Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может
>быть что-то кладущее их в базу и предоставляющее простой интерфейс для
>поиска? Понимаю, что можно и самому написать, но не хочется изобратать
>велосипеды.

все про syslog-и
http://www.loganalysis.org/

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

8. "продвинутый syslog"  
Сообщение от pablo email(ok) on 02-Окт-08, 17:56 

>
>все про syslog-и
>http://www.loganalysis.org/

Отличный ресурс! Почитаем, спасибо.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

7. "продвинутый syslog"  
Сообщение от Pahanivo email(ok) on 02-Окт-08, 17:51 
> 50device*8Gb*30=12Tb
> Большие расходы на обработку и хранение такой базы.

Очень нефиговый объем логов, вы уверены что у вас правильно продумана политика логирования?
Тем более пишете что события однотипные?

Мона пример посмотреть логов?

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

9. "продвинутый syslog"  
Сообщение от pablo email(ok) on 02-Окт-08, 18:01 
>> 50device*8Gb*30=12Tb
>> Большие расходы на обработку и хранение такой базы.
>
>Очень нефиговый объем логов, вы уверены что у вас правильно продумана политика
>логирования?

Ну не всё так страшно на самом деле. :)
Во-первых всё это дело архивируется, а во-вторых нагруженых устройств (лог от которых достигает восьми гб.) не так так уж и много, но поскольку они одни из самых загруженых, инженерам достаточно часто приходится что-то там искать, а это раздражает и занимает уйму времени.

>Тем более пишете что события однотипные?
>
>Мона пример посмотреть логов?

Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад" всегда можно посмотреть что происходило на самом деле.


Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

10. "продвинутый syslog"  
Сообщение от idle (ok) on 02-Окт-08, 19:00 

>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>всегда можно посмотреть что происходило на самом деле.

Жесть какая...
Фаерволы не предназначены для логгирования трафика.
Замените на нетфлоу, будет одна запись не на пакет, а на сессию. Размер будет в 1000 раз меньше.


Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

11. "продвинутый syslog"  
Сообщение от Pahanivo email(ok) on 02-Окт-08, 19:25 
>
>>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>>всегда можно посмотреть что происходило на самом деле.
>
>Жесть какая...
>Фаерволы не предназначены для логгирования трафика.
>Замените на нетфлоу, будет одна запись не на пакет, а на сессию.
>Размер будет в 1000 раз меньше.

Полностью согласен. Если вы таким образом собираете статистику - это бред.
Во первых грузите сам фаер - ибо он должен пакеты гонять, а не гигабайты логов отдавать.
Во вторых - есть нормальные способы для сбора статистики (например нетфлоу как товарисч выше пишет). По крайней мере вы сразу получите агрегированный лог.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

13. "продвинутый syslog"  
Сообщение от pablo email(ok) on 02-Окт-08, 19:51 

>Полностью согласен. Если вы таким образом собираете статистику - это бред.
>Во первых грузите сам фаер - ибо он должен пакеты гонять, а
>не гигабайты логов отдавать.
>Во вторых - есть нормальные способы для сбора статистики (например нетфлоу как
>товарисч выше пишет). По крайней мере вы сразу получите агрегированный лог.
>

Ответил ниже в треде.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

12. "продвинутый syslog"  
Сообщение от pablo email(ok) on 02-Окт-08, 19:51 
>
>>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>>всегда можно посмотреть что происходило на самом деле.
>
>Жесть какая...
>Фаерволы не предназначены для логгирования трафика.
>Замените на нетфлоу, будет одна запись не на пакет, а на сессию.
>Размер будет в 1000 раз меньше.

Извините конечно, но вы не пробовали читать то что я написал?
Какой нетфлоу? При чем он здесь?
Файрволл пишет лог при первой проверке на аксесс-листе, т.е. для одной сессии - одна запись.
Логи используются в дальнейшем для траблшута и анализа.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

14. "продвинутый syslog"  
Сообщение от parad (??) on 02-Окт-08, 20:33 
Вернее всего вы не правильно выбираете предназначение лога или не доконца понимаете что хотите.

8Гб = 8'589'934'592 байт или 99'420 байт/сек. Если представить длину одной записи за 80байт получаем 1243записей/сек. Если представить даже самый идеальный случай, когда <50% - это разрешенный траффик, т.е. ~500коннектов/сек, и учесть, что у вас фаерволом отслеживает состояние подключения (keep-state/check-state), то фаер имеет право жить, лишь при условии средней продалжительности коннекта < секунды, в противном случае таблица состояний будет расти очень быстро. В общем, к чему это я, - где-то вы врете, либо не хотите оптимизировать записи, а просто нарываетесь на рекомандацию купить железяку на неск тысч евро под БД, поскольку более быстрого механизма поиска по структурированным данным, кроме как в БД вы не найдете, притом не каждая БД подайдет. Вот мускуль точно не справится с таким объемом данных!

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

15. "продвинутый syslog"  
Сообщение от parad (??) on 02-Окт-08, 20:36 
Уточню: средняя продалжительность коннекта не должна привышать 1/500 = 0.002сек!
Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

16. "продвинутый syslog"  
Сообщение от pablo email(ok) on 02-Окт-08, 21:06 
>Уточню: средняя продалжительность коннекта не должна привышать 1/500 = 0.002сек!

Честно говоря, даже с уточнением не понял данной выкладки. Почему при пороге 500 новых соединений в секунду "фаер имеет право жить, лишь при условии средней продалжительности коннекта < секунды"? Что-то магическое в цифре 500? Почему не 666 в таком случае? :)

Возможно я неверно понял.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

17. "продвинутый syslog"  
Сообщение от Pahanivo email(ok) on 03-Окт-08, 16:16 
Дайте уже посмотреть пример лога!

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

18. "продвинутый syslog"  
Сообщение от LS (ok) on 10-Окт-08, 22:54 
>
>>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>>всегда можно посмотреть что происходило на самом деле.
>
>Жесть какая...
>Фаерволы не предназначены для логгирования трафика.
>Замените на нетфлоу, будет одна запись не на пакет, а на сессию.
>Размер будет в 1000 раз меньше.

где Вы увидели задачу логирования трафика? вопрос только о доступе к определенному сетевому ресурсу. и поэтому в тот же фаервол на каждую попытку установить соединение сделает только одну запись (при правильной настройке). а сбор данных по нетфлоу - это другой раздел задач - из разряда "кто-на-сколькоМБ-КУДА-ходил".

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

19. "продвинутый syslog"  
Сообщение от LS (ok) on 10-Окт-08, 23:05 
>> 50device*8Gb*30=12Tb
>> Большие расходы на обработку и хранение такой базы.
>
>Очень нефиговый объем логов, вы уверены что у вас правильно продумана политика
>логирования?
>Тем более пишете что события однотипные?
>
>Мона пример посмотреть логов?

+1

поста не нашел - цитата цитаты из данной ветки:
>>Устройства - файрволы, по политике пишутся и pass и deny. Конечно pass
>>очень раздувают размер, зато в случае каких-либо проблем "несколько дней назад"
>>всегда можно посмотреть что происходило на самом деле.

и ответ однозначен - логирование "парвильного" трафика - это бред начинающих админов. нигде практически кроме _серьезных_ струр, которые в этой информации нуждаются это делать не надо: - на время отладки включил - настроил - посмотрел - все хорошо - выключил. все.


Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

20. "продвинутый syslog"  
Сообщение от simplerulzz on 20-Окт-08, 21:19 
>[оверквотинг удален]
>Ситуация: несколько syslog серверов собирающих данные с определенного количества сетевых устройств. За
>день набегает около восьми гиг лога для каждой железяки. Всё замечательно
>до тех пор пока не приходится искать там какую-то инфу. Занимает
>это достаточно много времени и раздражает ужасно. Снизить объем - нереально,
>он будет только расти.
>
>Подскажите, есть ли какие-либо инструменты для работы с большим количеством логов? Может
>быть что-то кладущее их в базу и предоставляющее простой интерфейс для
>поиска? Понимаю, что можно и самому написать, но не хочется изобратать
>велосипеды.

rsyslog

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]




Спонсоры:
Слёрм
Inferno Solutions
Hosting by Ihor
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2019 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру