Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Представлен проект Lumberjack, нацеленный на модернизацию си..., opennews (??), 02-Мрт-12, (0) [смотреть все] Судя по неоднократному упоминанию структурированных данных , основной формат хр, Аноним (-), 14:25 , 02-Мрт-12, (1) +8 // А чем бинарный формат принципиально лучше текстового Индексы и по текстовым стр, Аноним (-), 14:34 , 02-Мрт-12, (6) +7 // Основных причины две 1 Недостаточная компактность Особенно неприятно отсутстви, Аноним (-), 14:53 , 02-Мрт-12, (18) +8 // Это попытка переизобрести gzip Феерический бред , anonymous (??), 15:05 , 02-Мрт-12, (30) –4 В какой-то степени Но только такой gzip, который позволяет работать сразу со сж, Аноним (-), 15:11 , 02-Мрт-12, (37) +4 Кто мешает пожать и проиндексировать текстовый файл Где ты увидел стабильный API, anonymous (??), 15:22 , 02-Мрт-12, (46) –5 Если поля не удаляются, а только добавляются новые, то, по идее, старые анализат, Аноним (-), 15:45 , 02-Мрт-12, (50) +1 Ага, щаз Ты представление-то имеешь, как парсеры работают , Аноним (-), 16:16 , 02-Мрт-12, (58) –3 Нет Речь шла о структурированном логе со специальным API для работы с ним Есл, Аноним (-), 16:37 , 02-Мрт-12, (68) +1 Структурированные данные, индексируемые данные, множества данных Если кто не п, Wolfis (?), 16:38 , 02-Мрт-12, (69) Ну допустим я имею, ламерок Для тех кто в танке что сломается в SQL при добавл, Аноним (-), 19:24 , 02-Мрт-12, (102) В этой теме про него лучше не вспоминать А то, знаете как помянешь черта и он, XoRe (ok), 22:07 , 02-Мрт-12, (107) +4 OSMщики с XML уже наелись, как стали портянги в 250 гигз, которые в бинарном фор, Аноним (-), 04:02 , 03-Мрт-12, (136) Это типа каждый раз альтер тейбл, который, конечно же, вовсе не накладная операц, Имя и код (?), 06:07 , 03-Мрт-12, (148) +1 а что сломается в парзере, например, 171 по строке на запись, поля поделены од, arisu (ok), 04:43 , 06-Мрт-12, (233) хорошо работают, если писались руками и изначально формат нормальный 171 перв, arisu (ok), 04:40 , 06-Мрт-12, (232) Современный текстовый лог представляет собой текстовую кашу, которую индексирова, Аноним (-), 17:20 , 02-Мрт-12, (76) чем это отличается от 171 каши 187 , не подскажешь , arisu (ok), 04:44 , 06-Мрт-12, (234) А индекс образуется сам собой, причём совершенно задаром , anonimous (?), 00:14 , 03-Мрт-12, (115) А в случае текстаря его еще и хранить надо где-то сильно сбоку , Аноним (-), 04:04 , 03-Мрт-12, (137) Gzip не позволяет доступ на ходу А 20 гиговую портянку сам, пожалуйста, декомпр, Аноним (-), 17:40 , 02-Мрт-12, (86) +1 Против 20гиговых логов есть ротация Кто не настроил, тот - На средненагружен, XoRe (ok), 22:11 , 02-Мрт-12, (109) +3 Угу, что однако не отменяет факта что логи могут быть большими даже с ротацией , Аноним (-), 03:12 , 03-Мрт-12, (124) –1 Пожалуйста, давайте об устрицах -- емши Локальное хранение логов нередко весьма , Michael Shigorin (ok), 03:38 , 03-Мрт-12, (129) А чем проблемы с синхронной записью там - лучше чем с синхронной записью где-то , Аноним (-), 04:06 , 03-Мрт-12, (138) Выделенный коллектор логов обслуживает исключительно логи, а не целевой сервис , anonimous (?), 07:57 , 03-Мрт-12, (158) Целевой сервис не обязан интенсивно писать на диск, если что Более того, не у в, zzz (??), 12:34 , 03-Мрт-12, (163) fsync очень даже бьёт и по чтению Если же сервис со всем нужным помещается в, Michael Shigorin (ok), 19:24 , 03-Мрт-12, (189) Может, но насколько именно - весьма зависит от А еще можно логи хранить на отдел, Аноним (-), 17:35 , 04-Мрт-12, (218) Дядьку, я Вам это по куче систем с самым разным стораджем говорю Это и упомянул , Michael Shigorin (ok), 20:47 , 04-Мрт-12, (220) Тем, что подсистема I O может быть к ним лучше готова Даже локально отделить акт, Michael Shigorin (ok), 19:01 , 03-Мрт-12, (187) Сервер отгружающий бочками файло и не готовый к интенсивному I O довольно странн, Аноним (-), 17:45 , 04-Мрт-12, (219) см тж 220 Так у отгружающего может быть заточка под отгрузку -- приличный re, Michael Shigorin (ok), 20:48 , 04-Мрт-12, (221) могут быть - это предположение факт - это бл , вот это логи отожрали А с фак, XoRe (ok), 05:59 , 03-Мрт-12, (147) +5 Элементарно - минимальная атака на сервак где они в крейсерском режиме нормальны, zzz (??), 07:54 , 03-Мрт-12, (157) Уважаемый, вы бы посмотрели, на какие тезисы я отвечаю Там как раз хотели за сут, XoRe (ok), 14:18 , 03-Мрт-12, (174) +1 Во первых, заранее сложно сказать за какой интервал потребуются логи Во вторых,, Аноним (-), 00:59 , 04-Мрт-12, (192) Уважаемый, вы хотя бы раз logcheck настраивали , vi (?), 02:08 , 04-Мрт-12, (196) Ну ётыдь, ну шо за вьюные разжижения мозгофекалий Воопще-то построение скалейбл, Имя и код (?), 06:29 , 03-Мрт-12, (151) Я тоже не понял Поэтому попробуйте изложить мысль внятно и без задействования ж, Аноним (-), 13:25 , 03-Мрт-12, (168) Ну что за дети пошли Какие понты, исключительно профессиональная терминология, Имя и код (?), 03:33 , 04-Мрт-12, (200) +1 это не 171 профессиональная терминология 187 , это кулхацкерский мунспик был , arisu (ok), 04:50 , 06-Мрт-12, (235) Логи в продакшене отключают только идиоты Вменяемые админы, если дисковое и о и, nobody (??), 22:19 , 02-Мрт-12, (111) +9 Мне пытаются впарить мысль, что DB будет быстрее, чем plain-file на одном , anonimous (?), 00:18 , 03-Мрт-12, (116) +1 работа с БД в большинстве случаев быстрее plain-file начиная с того, что нормал, VoDA (ok), 02:58 , 03-Мрт-12, (122) Значит формат должен допускать лобовой и быстрый инсерт максимально компактных з, zzz (??), 12:28 , 03-Мрт-12, (162) –1 То есть атрибута навроде src_ip в блобгах Вы не предполагаете 8- Упаковка на , Michael Shigorin (ok), 19:20 , 03-Мрт-12, (188) Предполагаю, но полагаю что возможность сокращенно референсить повторную информа, Аноним (-), 01:25 , 04-Мрт-12, (193) 1 каков критерий повторности 2 референсить можно и в текстовом, вопрос в цене , Michael Shigorin (ok), 01:57 , 04-Мрт-12, (195) +1 Угу С блэкджеком и шлюхами Да пофигу, ибо не уточнять, но идентифицировать , Имя и код (?), 03:38 , 04-Мрт-12, (201) А кто вас сказал чтоб это будет реляционная СУБД шарашить с спец формате расс, VoDA (ok), 15:06 , 03-Мрт-12, (183) Вы Вы описываете тютелька в тютельку именно такую DBMS и потом удивлённо развод, Имя и код (?), 03:49 , 04-Мрт-12, (203) +1 Однако, как указывает К Дейт, нормализация в точности и является теми принципам, VoDA (ok), 00:45 , 06-Мрт-12, (227) йопт на поиск 171 повторяющихся элементов 187 в словарях время уходит, нет , arisu (ok), 04:58 , 06-Мрт-12, (236) Пытаются впарить мысль что запись эвента в минимальном бинарном виде без повторя, Аноним (-), 03:16 , 03-Мрт-12, (126) Ну иоптыдь, Опенстриты, они читают на порядки чаще, нежели пишут , Имя и код (?), 04:57 , 03-Мрт-12, (140) Пишут его тоже часто и много И работать с 250Г чушкой в XML попросту не приколь, Аноним (-), 06:31 , 03-Мрт-12, (152) Повторюсь на порядки меньше , Имя и код (?), 03:39 , 04-Мрт-12, (202) ну и какой идиот изначально додумался базу с необходимым по дизайну random acces, arisu (ok), 05:00 , 06-Мрт-12, (237) Дедупликация подразумевает сложную структуру хранения, подобную реляционной или , gaga (ok), 15:21 , 02-Мрт-12, (45) +1 То же самое можно сказать про любую SQL-совместимую СУБД Но почему-то среди них, Аноним (-), 17:23 , 02-Мрт-12, (77) все твои улыбки в основном от того, что ты считаешь one size fits all и волшеб, arisu (ok), 05:02 , 06-Мрт-12, (238) Угу, аж возможность референса в сторону - а вот это уже было, брать вон там вот, Аноним (-), 17:29 , 02-Мрт-12, (80) +2 Анализировать быстро и на автомате и ловить потенциально интересные эвенты довол, Аноним (-), 16:17 , 02-Мрт-12, (59) +1   // Заметим, что идея грепа лога сама по себе порочна Добавление в строку нового по, Аноним (-), 17:25 , 02-Мрт-12, (78) +1   Я бы сказал 50 50, потому что гибкость - хорошая, да И позволяет завернуть очен, Аноним (-), 17:34 , 02-Мрт-12, (83)   Хм Вы когда-нибудь с SQL работали Скажу по секрету там возможностей для хитро, Аноним (-), 17:41 , 02-Мрт-12, (87) +1   Practical Extraction and Report Language На SQL-е - умахаешься Впрочем поЦеринг, Anonymouse (?), 03:13 , 03-Мрт-12, (125) +1   1 Я не считаю что для анализа логов мне надо бросить все и стать DBA2 Я не счи, Аноним (-), 03:50 , 03-Мрт-12, (130) +2   Т е вы хотите сказать, что DSL, коим является SQL имеет больше возможностей, че, cosmonaut (ok), 12:09 , 04-Мрт-12, (213) +1   Да, вспоминается, как аккуратненько добавил разок дополнительное поле в конец ло, Аноним (-), 18:38 , 02-Мрт-12, (99) +1   Узкое место --- не в чтении парсинге поиске, в записи поиск --- значительно бо, anonimous (?), 00:26 , 03-Мрт-12, (117)   Не-а, бинарь в принципе не удобен Эт раз Для первичного анализа берутся не сам, Имя и код (?), 05:16 , 03-Мрт-12, (142) –1   Бинарь в принципе ничем не отличается от текстаря Поскольку вы не читаете секто, zzz (??), 13:18 , 03-Мрт-12, (166)   Не текстовый формат весьма и весьма не удобен Малоюзабелен Никто вотпрямща и н, Имя и код (?), 03:56 , 04-Мрт-12, (204)   Итак, давайте обдумаем Допустим что syslog действительно устарела устаревание , Аноним (-), 15:18 , 02-Мрт-12, (44) –4 // Слишком много букв Но что делать, если утилита посчитает бинарный лог испорченн, anonymous (??), 15:30 , 02-Мрт-12, (48) // Снова на второстепенные вещи отвлекаетесь 1 Много букв потому то в тексте подро, Аноним (-), 15:47 , 02-Мрт-12, (51) –1 Это важный вопрос, но не первой важности, т к он не определяет архитектуру и во, Аноним (-), 15:52 , 02-Мрт-12, (53) Об этом и речь была Цитирую разница между бинарными и текстовымы форматами хр, Аноним (-), 16:01 , 02-Мрт-12, (57) Разница между текстовым и бинарным форматом - логическое следствие разницы между, Аноним (-), 17:46 , 02-Мрт-12, (90) –1 Вы не врубаетесь в самую суть формат хранения логов это второстепенные вещи и н, Аноним (-), 19:17 , 02-Мрт-12, (100) Поддреживаю Собершенно непонятно вокруг чего проблема, если нужны структурирован, Deffic (?), 01:59 , 03-Мрт-12, (119) +2 Проблема сделать логи структурированными Решение этой задачи попутно решит ряд , VoDA (ok), 03:09 , 03-Мрт-12, (123) Она УЖЕ структурирована, в эрэфсях это чётко прописано это свежий The syslog m, Имя и код (?), 06:44 , 03-Мрт-12, (153) +1 Ему раскидали то что он уткнулся лишь в поверхностные, второстепенные вещи, но о, Аноним (-), 10:23 , 03-Мрт-12, (159) И самое забавное, что своими действиями усугубляет именно в этом направлении , Имя и код (?), 12:40 , 03-Мрт-12, (164) Ну так перцы тоже решили реализовать стандарт А то что он бинарный - ну и болт , Аноним (-), 13:37 , 03-Мрт-12, (170) –1 Вы просто передёргиваете gzip, cat, EDITOR -- универсальные, в отличие от , Michael Shigorin (ok), 19:30 , 03-Мрт-12, (190) А что мешает сделать прозрачную развертку этого формата в текст как gzip это дел, Аноним (-), 01:34 , 04-Мрт-12, (194) Вот Вы как понимаю в 193 описали сворачивание по IP Попробуйте набросать ст, Michael Shigorin (ok), 02:08 , 04-Мрт-12, (197) gt оверквотинг удален Вы правы - это тайный набор знаний Его специально выдел, VoDA (ok), 00:54 , 06-Мрт-12, (228) Я и подводил пишущего к мысли, что мы, скорее всего, попадаем на мини-DB и мини-, Michael Shigorin (ok), 01:17 , 06-Мрт-12, (230) Сам MSG не структурирован Как по вашему задаются обязательные и дополнительные , VoDA (ok), 15:23 , 03-Мрт-12, (185) От ёптыдь, попробую объяснить по аналогии Вы про тисипиайпи слыхивали Про т, Имя и код (?), 04:03 , 04-Мрт-12, (205) +1 Аналогия интересна, но не верна Изначальный постулат, который я развиваю это нео, VoDA (ok), 01:02 , 06-Мрт-12, (229) Тогда с ним делать то же что и с испорченным текстовым логом Открыли вы текстар, Аноним (-), 03:52 , 03-Мрт-12, (131) А вы подумали о том, что старый API взаимодействия приложений с syslog не предна, Аноним (-), 17:34 , 02-Мрт-12, (82) // Не вижу никаких проблем чтобы расширить API Это дело одного коммита Длинное соо, Аноним (-), 10:31 , 03-Мрт-12, (160) угу один всемирный такой коммит, который автомагически поправит все клиенты , arisu (ok), 05:09 , 06-Мрт-12, (240) В чем-то вы правы В своем посте я немножечко пожертвовал логичностью ради пров, Аноним (-), 18:25 , 02-Мрт-12, (93) // А мне вот не нравится идея бинарных логов И бинарных конфигов Просто - не нрав, Куяврик (?), 02:40 , 03-Мрт-12, (121) Вот, если бы вы знали, что такое cat,grep,sed и другие умные слова для работы с , cosmonaut (ok), 12:37 , 04-Мрт-12, (214) На 100 выпускник какого-нибудь ВУЗа типа Мэждународного Университета Соломона, Имя и код (?), 05:30 , 03-Мрт-12, (143) +1 // Будем знакомы И как оно вам, бакалаврам , Аноним (-), 13:38 , 03-Мрт-12, (171) Нам такие как Вы бакалавры забавны , Имя и код (?), 04:04 , 04-Мрт-12, (206) Я так понимаю - очепятка В UNIX syslog, и он пишет текстовые логи Я так понима, R (?), 16:34 , 02-Мрт-12, (67) –4 // А еще в UNIX auditd который гораздо важнее syslog , и он пишет бинарные логи , Аноним (-), 17:36 , 02-Мрт-12, (84) // А мексиканского кактуса бритого он важнее аудитди не расскажет мне кто, аутенти, Имя и код (?), 07:06 , 03-Мрт-12, (154) А вот в предлагаемой вон теми парнями схеме - чуть более другой сервис пойдет и , Аноним (-), 13:35 , 03-Мрт-12, (169) Так вот в том-то и дело, шо нет Просто из-за дурацкого формата будут оверхед и , Имя и код (?), 04:06 , 04-Мрт-12, (207) Я так понимаю - вы просто не знакомы с юниксом Действительного, когда в мире ест, Аноним (-), 18:30 , 02-Мрт-12, (95) +2 // имхо, он про солярку , anon9000 (?), 13:48 , 04-Мрт-12, (215) rfc3164 достаточно свежая хреннь Ну Это неуспешно скрыто за зарослями бинарно, Имя и код (?), 05:37 , 03-Мрт-12, (144) // Выбросьте бинарный гзип уже Вы его деревья хаффмана в уме вообще не построите , Аноним (-), 13:40 , 03-Мрт-12, (172) Ну да, ну да, а изчё выинты повыбрасываем - там коды царя соломона используют То, Имя и код (?), 04:09 , 04-Мрт-12, (208) Наверное, стоило особо отметить, что к поддержке проекта уже присоединились комп, Аноним (-), 14:28 , 02-Мрт-12, (2) +2 // app-admin syslog-ng-3 3 4 3 2 5 USE hardened ipv6 pcre ssl tcpd -caps -json , исчо_адын_аноним (?), 15:12 , 03-Мрт-12, (184) +1 // Я против подобного милосердия В назидание , Имя и код (?), 04:10 , 04-Мрт-12, (209) это не интересно где научная ценность где новизна диссертации вот так взял и , Куяврик (?), 00:46 , 13-Мрт-12, (242) Надеюсь, в линуксе наконец появится нормальный механизм удаленной репликации лог, Аноним (-), 14:32 , 02-Мрт-12, (3) +2 Таки тролль man rsyslog-mysql, anonymous (??), 15:57 , 02-Мрт-12, (55) –3 А об ng-syslog никто из анонов, судя по всему, даже не слыхал никогда , Аноним (-), 16:21 , 02-Мрт-12, (63) Конечно нет Все знают про syslog-ng , Имя и код (?), 05:45 , 03-Мрт-12, (145) +1 Хоть горшком назови Только в печь не ставь Судя по тому, что вспомнил о нем од, Аноним (-), 14:42 , 03-Мрт-12, (178) –1 Не-а Искажение названия такого популярного пакета говорит о многом Да прям так, Имя и код (?), 04:12 , 04-Мрт-12, (210) +1 А ты сам-то читал, что там написано Особенно в части репликации логов с поддержк, Аноним (-), 17:37 , 02-Мрт-12, (85) Вы предлагаете конвертировать лог в бинарный формат, а потом реплицировать его с, Аноним (-), 17:44 , 02-Мрт-12, (89) Немного более чем нет , Имя и код (?), 05:47 , 03-Мрт-12, (146) Это что, подтверждение мысли о ненужности rsyslog , Аноним (-), 13:48 , 03-Мрт-12, (173) Нет, подумайте об этом на досуге , Имя и код (?), 04:13 , 04-Мрт-12, (211) Репликация средствами мускула Лол С тем же успехом можно текстовые логи через s, Аноним (-), 18:27 , 02-Мрт-12, (94) –2 Делайте силой мыли, ибо всё остальное - КОСТЫЛИ , Deffic (?), 02:03 , 03-Мрт-12, (120) Не, дядя, мускуль в обязательном порядке для всего лишь ведения логов - это мега, Аноним (-), 03:53 , 03-Мрт-12, (132) –1 Вы передёргиваете , Deffic (?), 22:33 , 05-Мрт-12, (226) Разнообразие форматов журналов следует из разнообразия решаемых задач и разнообр, Аноним (-), 14:32 , 02-Мрт-12, (4) +1 Лучшее враг хорошего , Аноним (-), 14:32 , 02-Мрт-12, (5) +5 а почему сислог они считают устаревшим чем аргументируют , Аноним (-), 14:46 , 02-Мрт-12, (12) +2 // http bb comp-house ru comp-house repo wiki what-i-dont-like-about-journald, anonymous (??), 14:47 , 02-Мрт-12, (13) –2 // Как видим, Герхардса с его проповедями про превосходство rsyslog успешно заткнул, Аноним (-), 14:48 , 02-Мрт-12, (16) // http bb comp-house ru comp-house repo wiki journald-and-rsyslog, anonymous (??), 14:55 , 02-Мрт-12, (23) –1 Устаревшая инфа Судя по сабжевой новости, теперь мнение этого товарища радикальн, Аноним (-), 15:04 , 02-Мрт-12, (28) –1 Не умеет работать со структурированными данными нет поддержки соответствующих ф, Аноним (-), 15:18 , 02-Мрт-12, (43) Так что теперь будет с journald , Аноним (-), 14:55 , 02-Мрт-12, (22) // А ничего не будет Он часть systemd и останется Сделают пересылку в другой журн, anonymous (??), 14:58 , 02-Мрт-12, (25) К нему кроме его текущего API добавят ELAPT А возможно ELAPI будет единственным, VoDA (ok), 15:05 , 02-Мрт-12, (29) +1 // Скорее второе - нынешний API journald пока не стабилизирован, поэтому сейчас его, Аноним (-), 15:06 , 02-Мрт-12, (32) Судя по всем, Lamberjack - это и есть journald, с небольшими косметическими изме, Аноним (-), 15:05 , 02-Мрт-12, (31) Радует то, что постарались обсудить, а не переть своим умом удачи , Michael Shigorin (ok), 15:15 , 02-Мрт-12, (41) +1 // А может, они с systemd upstart еще повторят Для полного счастья , Аноним (-), 16:19 , 02-Мрт-12, (61) +1 // А может, они-таки наймут ОДНОГО вменяемого системного архитектора И сделают ЕДИ, Аноним (-), 16:25 , 02-Мрт-12, (66) // Даже у очень умных людей решения в стиле вот, оно, единое имеют тенденцию оказ, Michael Shigorin (ok), 16:57 , 02-Мрт-12, (71) –1 Мы это видим с каждым новым дистром линукса, которые уже числом, тащемта, за шту, Аноним (-), 14:45 , 03-Мрт-12, (179) Хм, пока похоже, что путаете GNU s Not UNIX с чем-то неприпоминаемым из высказыв, Michael Shigorin (ok), 19:39 , 03-Мрт-12, (191) А кто не согласен - будет расстрелян, так , Аноним (-), 17:04 , 02-Мрт-12, (73) А у несогласных никуда всегда была gentoo , Аноним (-), 00:35 , 03-Мрт-12, (118) –2 LFS, Имя и код (?), 07:10 , 03-Мрт-12, (155) А что делать тем кому не нравится пидон в каждой дырке в системе , zzz (??), 13:21 , 03-Мрт-12, (167) А что там повторять Сейчас разработка upstart фактически превратилась в копипас, Аноним (-), 17:50 , 02-Мрт-12, (91) +1 // Ну вот я как раз за то чтобы они собрались и обсудили как и чего К systemd боль, Аноним (-), 03:55 , 03-Мрт-12, (133) Это вам-то пруф, с предъявами о usr Кто еще не видел http freedesktop org wik, qux (ok), 17:01 , 04-Мрт-12, (217) +1 Чё они х ей занимаются Нужно структурированные, ну прилепи ты syslog2sql и ра, pavlinux (ok), 22:17 , 02-Мрт-12, (110) +1 // бинарное хранение это следствие, а не причина причина же в API для структурирова, VoDA (ok), 03:16 , 03-Мрт-12, (127) всяким там возможным SQL-иньекциям И да, как sql база обеспечит защиту от, Аноним (-), 03:59 , 03-Мрт-12, (134) // REVOKE ALL ON logdbase TO logodmin localhost GRANT INSERT ON logdbase TO logod, pavlinux (ok), 01:24 , 05-Мрт-12, (222) А зачем SQL запросы, когда есть NoSQL решения С хранением данных чисто в операти, XoRe (ok), 06:15 , 03-Мрт-12, (150) –1 Сколько же воплей в этом треде Никаких lumberjack и journald не будет ближайш, Аноним (-), 22:46 , 02-Мрт-12, (113) –2 // См 128 , Аноним (-), 04:00 , 03-Мрт-12, (135) я, например, раз уж ты себя не считаешь достойным , arisu (ok), 05:16 , 06-Мрт-12, (241) Название - игра слов log - бревно Lumberjack - дровосек Т е логоруб Нам предлаг, XoRe (ok), 06:13 , 03-Мрт-12, (149) +5 // Адназначна , Имя и код (?), 07:13 , 03-Мрт-12, (156) Что мы получили 1 программы для дефрагментации реестра2 файлы реестра раскидан, Аноним (-), 11:58 , 03-Мрт-12, (161) +1 ну скажем так если требуется для каких-то целей строить по логам статистику - п, Аноним (186), 17:05 , 03-Мрт-12, (186) // Если нужна статистика, то и сейчас вообще не проблема, например через пайп или п, nobody (??), 02:37 , 04-Мрт-12, (199) +1 Похоже кто то хочет подзаработать на неграмотности админов Что ж, флаг им в руки, vi (?), 02:12 , 04-Мрт-12, (198) Линуксоиды воистину неизлечимы Вместо того что бы механизировать ручной труд, Piter_Ring (ok), 05:06 , 04-Мрт-12, (212) –2 // Некоторые из нас понимают в красителях способны без смывания и закрашивания р, Michael Shigorin (ok), 15:26 , 04-Мрт-12, (216) // Если сильно постараются, то данный проект может вырасти и вместо http www yout, Piter_Ring (ok), 01:42 , 05-Мрт-12, (223) // Это вообще какой-то виндузятник с перочинным топориком непонятно, кто лесорубом, Michael Shigorin (ok), 02:21 , 05-Мрт-12, (224) 1,2,3,4,5,12,22,41,110,113,149,186,198,212

Сообщения

[Сортировка по времени | RSS]

	59. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+1 +/–
	Сообщение от Аноним (-), 02-Мрт-12, 16:17
	> прекрасно делаются, сами журнальные записи тоже текстовые Анализировать быстро и на автомате и ловить потенциально интересные эвенты довольно геморно. В случае структурированности можно быстро и просто фильтрануть, например. Или отсортировать по критерию. В случае текста надо какие-то костыли. Грепать или индексить всю портянку на 20 гигз можно и задолбаться. А когда она уже в удобном виде - почему бы и нет?
	Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

	78. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+1 +/–
	Сообщение от Аноним (-), 02-Мрт-12, 17:25
	> Анализировать быстро и на автомате и ловить потенциально интересные эвенты довольно геморно. > В случае структурированности можно быстро и просто фильтрануть, например. Или отсортировать > по критерию. В случае текста надо какие-то костыли. Грепать или индексить > всю портянку на 20 гигз можно и задолбаться. А когда она > уже в удобном виде - почему бы и нет? Заметим, что идея грепа лога сама по себе порочна. Добавление в строку нового поля, или изменение формулировки сообщения ломает работу всех хитроумных regexpов.
	Ответить | Правка | Наверх | Cообщить модератору

	83. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от Аноним (-), 02-Мрт-12, 17:34
	> Заметим, что идея грепа лога сама по себе порочна. Я бы сказал 50/50, потому что гибкость - хорошая, да. И позволяет завернуть очень хитрый критерий для аналитики, которого вот так сходу может и не быть. С другой стороны, грепать 20-гиговую портянку на каждую оказию - удовольствие ниже среднего. > Добавление в строку нового поля, или изменение формулировки сообщения ломает > работу всех хитроумных regexpов. Ну вот поэтому я и полагаю что в принципе сабж имеет право на жизнь, ЕСЛИ оставят нормальный интерфейс для грепалок на случай когда надо завернуть какую-то хитрозагнутую аналитику, скорость которой не важна, а вот готового тулса не оказалось и все тут, так что цепочка грепов - единственный простой вариант.
	Ответить | Правка | Наверх | Cообщить модератору

	87. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+1 +/–
	Сообщение от Аноним (-), 02-Мрт-12, 17:41
	> Я бы сказал 50/50, потому что гибкость - хорошая, да. И позволяет > завернуть очень хитрый критерий для аналитики, которого вот так сходу может > и не быть. Хм. Вы когда-нибудь с SQL работали? Скажу по секрету: там возможностей для хитрой аналитики куда больше, чем в простом грепе =) Логично, что для работы со структурированными данными, будет использоваться язык структурированных запросов (a.k.a. SQL), или некий его аналог.
	Ответить | Правка | Наверх | Cообщить модератору

	125. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+1 +/–
	Сообщение от Anonymouse (?), 03-Мрт-12, 03:13
	>Хм. Вы когда-нибудь с SQL работали? Скажу по секрету: там возможностей для хитрой аналитики куда больше, чем в простом грепе =) Practical Extraction and Report Language. На SQL-е - умахаешься. Впрочем поЦерингов это не остановит :(
	Ответить | Правка | Наверх | Cообщить модератору

	130. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+2 +/–
	Сообщение от Аноним (-), 03-Мрт-12, 03:50
	> Хм. Вы когда-нибудь с SQL работали? Скажу по секрету: там возможностей для > хитрой аналитики куда больше, чем в простом грепе =) 1) Я не считаю что для анализа логов мне надо бросить все и стать DBA 2) Я не считаю что для анализа логов мне надо бросить все и стать SQL programmer. 3) Базы SQL в общем случае не отличаются скоростью и компактностью. 4) Оно слишком много всего умеет: перспектива словить SQL injection в системе логгинга - здорово придумано. А что, пусть хакер и ломится через систему логгинга сразу. 5) В общем случае SQL базы не дизайнились быть устойчивыми от хакинга, удаления записей задним числом без простого обнаружения этого факта, etc.
	Ответить | Правка | К родителю #87 | Наверх | Cообщить модератору

	213. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+1 +/–
	Сообщение от cosmonaut (ok), 04-Мрт-12, 12:09
	>Скажу по секрету: там возможностей для хитрой аналитики куда больше, чем в простом грепе =) Т.е. вы хотите сказать, что DSL, коим является SQL имеет больше возможностей, чем тьюринг-полный язык (bash+grep+tools+sed+awk)? А где такая трава продается? :)
	Ответить | Правка | К родителю #87 | Наверх | Cообщить модератору

	99. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+1 +/–
	Сообщение от Аноним (-), 02-Мрт-12, 18:38
	> Заметим, что идея грепа лога сама по себе порочна. Добавление в строку > нового поля, или изменение формулировки сообщения ломает работу всех хитроумных regexpов. Да, вспоминается, как аккуратненько добавил разок дополнительное поле в конец лог-строки апача. И все, вебалайзер тут же загнулся.
	Ответить | Правка | К родителю #78 | Наверх | Cообщить модератору

	117. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от anonimous (?), 03-Мрт-12, 00:26
	> Анализировать быстро и на автомате и ловить потенциально интересные эвенты довольно геморно. > В случае структурированности можно быстро и просто фильтрануть, например. Или отсортировать > по критерию. В случае текста надо какие-то костыли. Грепать или индексить > всю портянку на 20 гигз можно и задолбаться. А когда она > уже в удобном виде - почему бы и нет? Узкое место --- не в чтении/парсинге/поиске, в записи. (поиск --- значительно более редкая и менее требовательная к скорости получения результата операция, по сравнению с записью).
	Ответить | Правка | К родителю #59 | Наверх | Cообщить модератору

	142. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	–1 +/–
	Сообщение от Имя и код (?), 03-Мрт-12, 05:16
	>> прекрасно делаются, сами журнальные записи тоже текстовые > Анализировать быстро и на автомате и ловить потенциально интересные эвенты довольно геморно. > В случае структурированности можно быстро и просто фильтрануть, например. Или отсортировать > по критерию. В случае текста надо какие-то костыли. Грепать или индексить > всю портянку на 20 гигз можно и задолбаться. А когда она > уже в удобном виде - почему бы и нет? Не-а, бинарь в принципе не удобен. Эт раз. Для первичного анализа берутся не сами логи, но уже очищенные от инфошума, эт два. И тока ежели оно действительно дальше нуна (отрицательная вероятность), берётся часть простыни, локализированная по.
	Ответить | Правка | К родителю #59 | Наверх | Cообщить модератору

	166. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от zzz (??), 03-Мрт-12, 13:18
	> Не-а, бинарь в принципе не удобен. Эт раз. Бинарь в принципе ничем не отличается от текстаря. Поскольку вы не читаете сектора диска напрямую с DMA с блинов в мозг, так или иначе нужны какие-то программы. В каком именно они варианте данные прочтут мне не так уж принципиально. Если это потом можно удобным утилям скормить. Кстати gzip вы в уме вообще нифига не распакуете, если уж на то пошло. > Для первичного анализа берутся не сами логи, но уже очищенные от инфошума, эт два. 1) Чистить вотпрямща 100500 гигз логов за последнюю неделю - довольно не прикольное начинание. А критерии того что есть шум становятся известны вот сей момент и только так. 2) Опять же, в рантайм в реальном времени все это делать неудобно. 3) А еще у кучи демонов разные форматы логов. > И тока ежели оно действительно дальше нуна (отрицательная вероятность), > берётся часть простыни, локализированная по. Что есть отрицательная вероятность? :)
	Ответить | Правка | Наверх | Cообщить модератору

	204. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от Имя и код (?), 04-Мрт-12, 03:56
	>> Не-а, бинарь в принципе не удобен. Эт раз. > Бинарь в принципе ничем не отличается от текстаря. Поскольку вы не читаете > сектора диска напрямую с DMA с блинов в мозг, так или > иначе нужны какие-то программы. Не текстовый формат весьма и весьма не удобен. Малоюзабелен. > В каком именно они варианте данные прочтут > мне не так уж принципиально. Если это потом можно удобным утилям > скормить. Кстати gzip вы в уме вообще нифига не распакуете, если > уж на то пошло. >> Для первичного анализа берутся не сами логи, но уже очищенные от инфошума, эт два. > 1) Чистить вотпрямща 100500 гигз логов за последнюю неделю - довольно не > прикольное начинание. А критерии того что есть шум становятся известны вот > сей момент и только так. Никто вотпрямща и не чистит, кстати. > 2) Опять же, в рантайм в реальном времени все это делать неудобно. Очень удобно. Если, конечно, Вы не собираетесь делать это ручками. > 3) А еще у кучи демонов разные форматы логов. Тем паче текстовый формат. >> И тока ежели оно действительно дальше нуна (отрицательная вероятность), >> берётся часть простыни, локализированная по. > Что есть отрицательная вероятность? :) Это вероятность, меньшая нулевой :)
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема