Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Представлен проект Lumberjack, нацеленный на модернизацию си..., opennews (??), 02-Мрт-12, (0) [смотреть все] Судя по неоднократному упоминанию структурированных данных , основной формат хр, Аноним (-), 14:25 , 02-Мрт-12, (1) +8 // А чем бинарный формат принципиально лучше текстового Индексы и по текстовым стр, Аноним (-), 14:34 , 02-Мрт-12, (6) +7 // Основных причины две 1 Недостаточная компактность Особенно неприятно отсутстви, Аноним (-), 14:53 , 02-Мрт-12, (18) +8 // Это попытка переизобрести gzip Феерический бред , anonymous (??), 15:05 , 02-Мрт-12, (30) –4 В какой-то степени Но только такой gzip, который позволяет работать сразу со сж, Аноним (-), 15:11 , 02-Мрт-12, (37) +4 Кто мешает пожать и проиндексировать текстовый файл Где ты увидел стабильный API, anonymous (??), 15:22 , 02-Мрт-12, (46) –5 Если поля не удаляются, а только добавляются новые, то, по идее, старые анализат, Аноним (-), 15:45 , 02-Мрт-12, (50) +1 Ага, щаз Ты представление-то имеешь, как парсеры работают , Аноним (-), 16:16 , 02-Мрт-12, (58) –3 Нет Речь шла о структурированном логе со специальным API для работы с ним Есл, Аноним (-), 16:37 , 02-Мрт-12, (68) +1 Структурированные данные, индексируемые данные, множества данных Если кто не п, Wolfis (?), 16:38 , 02-Мрт-12, (69) Ну допустим я имею, ламерок Для тех кто в танке что сломается в SQL при добавл, Аноним (-), 19:24 , 02-Мрт-12, (102) В этой теме про него лучше не вспоминать А то, знаете как помянешь черта и он, XoRe (ok), 22:07 , 02-Мрт-12, (107) +4 OSMщики с XML уже наелись, как стали портянги в 250 гигз, которые в бинарном фор, Аноним (-), 04:02 , 03-Мрт-12, (136) Это типа каждый раз альтер тейбл, который, конечно же, вовсе не накладная операц, Имя и код (?), 06:07 , 03-Мрт-12, (148) +1 а что сломается в парзере, например, 171 по строке на запись, поля поделены од, arisu (ok), 04:43 , 06-Мрт-12, (233) хорошо работают, если писались руками и изначально формат нормальный 171 перв, arisu (ok), 04:40 , 06-Мрт-12, (232) Современный текстовый лог представляет собой текстовую кашу, которую индексирова, Аноним (-), 17:20 , 02-Мрт-12, (76) чем это отличается от 171 каши 187 , не подскажешь , arisu (ok), 04:44 , 06-Мрт-12, (234) А индекс образуется сам собой, причём совершенно задаром , anonimous (?), 00:14 , 03-Мрт-12, (115) А в случае текстаря его еще и хранить надо где-то сильно сбоку , Аноним (-), 04:04 , 03-Мрт-12, (137) Gzip не позволяет доступ на ходу А 20 гиговую портянку сам, пожалуйста, декомпр, Аноним (-), 17:40 , 02-Мрт-12, (86) +1 Против 20гиговых логов есть ротация Кто не настроил, тот - На средненагружен, XoRe (ok), 22:11 , 02-Мрт-12, (109) +3 Угу, что однако не отменяет факта что логи могут быть большими даже с ротацией , Аноним (-), 03:12 , 03-Мрт-12, (124) –1 Пожалуйста, давайте об устрицах -- емши Локальное хранение логов нередко весьма , Michael Shigorin (ok), 03:38 , 03-Мрт-12, (129) А чем проблемы с синхронной записью там - лучше чем с синхронной записью где-то , Аноним (-), 04:06 , 03-Мрт-12, (138) Выделенный коллектор логов обслуживает исключительно логи, а не целевой сервис , anonimous (?), 07:57 , 03-Мрт-12, (158) Целевой сервис не обязан интенсивно писать на диск, если что Более того, не у в, zzz (??), 12:34 , 03-Мрт-12, (163) fsync очень даже бьёт и по чтению Если же сервис со всем нужным помещается в, Michael Shigorin (ok), 19:24 , 03-Мрт-12, (189) Может, но насколько именно - весьма зависит от А еще можно логи хранить на отдел, Аноним (-), 17:35 , 04-Мрт-12, (218) Дядьку, я Вам это по куче систем с самым разным стораджем говорю Это и упомянул , Michael Shigorin (ok), 20:47 , 04-Мрт-12, (220) Тем, что подсистема I O может быть к ним лучше готова Даже локально отделить акт, Michael Shigorin (ok), 19:01 , 03-Мрт-12, (187) Сервер отгружающий бочками файло и не готовый к интенсивному I O довольно странн, Аноним (-), 17:45 , 04-Мрт-12, (219) см тж 220 Так у отгружающего может быть заточка под отгрузку -- приличный re, Michael Shigorin (ok), 20:48 , 04-Мрт-12, (221) могут быть - это предположение факт - это бл , вот это логи отожрали А с фак, XoRe (ok), 05:59 , 03-Мрт-12, (147) +5 Элементарно - минимальная атака на сервак где они в крейсерском режиме нормальны, zzz (??), 07:54 , 03-Мрт-12, (157) Уважаемый, вы бы посмотрели, на какие тезисы я отвечаю Там как раз хотели за сут, XoRe (ok), 14:18 , 03-Мрт-12, (174) +1 Во первых, заранее сложно сказать за какой интервал потребуются логи Во вторых,, Аноним (-), 00:59 , 04-Мрт-12, (192) Уважаемый, вы хотя бы раз logcheck настраивали , vi (?), 02:08 , 04-Мрт-12, (196) Ну ётыдь, ну шо за вьюные разжижения мозгофекалий Воопще-то построение скалейбл, Имя и код (?), 06:29 , 03-Мрт-12, (151) Я тоже не понял Поэтому попробуйте изложить мысль внятно и без задействования ж, Аноним (-), 13:25 , 03-Мрт-12, (168) Ну что за дети пошли Какие понты, исключительно профессиональная терминология, Имя и код (?), 03:33 , 04-Мрт-12, (200) +1 это не 171 профессиональная терминология 187 , это кулхацкерский мунспик был , arisu (ok), 04:50 , 06-Мрт-12, (235) Логи в продакшене отключают только идиоты Вменяемые админы, если дисковое и о и, nobody (??), 22:19 , 02-Мрт-12, (111) +9 Мне пытаются впарить мысль, что DB будет быстрее, чем plain-file на одном , anonimous (?), 00:18 , 03-Мрт-12, (116) +1 работа с БД в большинстве случаев быстрее plain-file начиная с того, что нормал, VoDA (ok), 02:58 , 03-Мрт-12, (122) Значит формат должен допускать лобовой и быстрый инсерт максимально компактных з, zzz (??), 12:28 , 03-Мрт-12, (162) –1 То есть атрибута навроде src_ip в блобгах Вы не предполагаете 8- Упаковка на , Michael Shigorin (ok), 19:20 , 03-Мрт-12, (188) Предполагаю, но полагаю что возможность сокращенно референсить повторную информа, Аноним (-), 01:25 , 04-Мрт-12, (193) 1 каков критерий повторности 2 референсить можно и в текстовом, вопрос в цене , Michael Shigorin (ok), 01:57 , 04-Мрт-12, (195) +1 Угу С блэкджеком и шлюхами Да пофигу, ибо не уточнять, но идентифицировать , Имя и код (?), 03:38 , 04-Мрт-12, (201) А кто вас сказал чтоб это будет реляционная СУБД шарашить с спец формате расс, VoDA (ok), 15:06 , 03-Мрт-12, (183) Вы Вы описываете тютелька в тютельку именно такую DBMS и потом удивлённо развод, Имя и код (?), 03:49 , 04-Мрт-12, (203) +1 Однако, как указывает К Дейт, нормализация в точности и является теми принципам, VoDA (ok), 00:45 , 06-Мрт-12, (227) йопт на поиск 171 повторяющихся элементов 187 в словарях время уходит, нет , arisu (ok), 04:58 , 06-Мрт-12, (236) Пытаются впарить мысль что запись эвента в минимальном бинарном виде без повторя, Аноним (-), 03:16 , 03-Мрт-12, (126) Ну иоптыдь, Опенстриты, они читают на порядки чаще, нежели пишут , Имя и код (?), 04:57 , 03-Мрт-12, (140) Пишут его тоже часто и много И работать с 250Г чушкой в XML попросту не приколь, Аноним (-), 06:31 , 03-Мрт-12, (152) Повторюсь на порядки меньше , Имя и код (?), 03:39 , 04-Мрт-12, (202) ну и какой идиот изначально додумался базу с необходимым по дизайну random acces, arisu (ok), 05:00 , 06-Мрт-12, (237) Дедупликация подразумевает сложную структуру хранения, подобную реляционной или , gaga (ok), 15:21 , 02-Мрт-12, (45) +1 То же самое можно сказать про любую SQL-совместимую СУБД Но почему-то среди них, Аноним (-), 17:23 , 02-Мрт-12, (77) все твои улыбки в основном от того, что ты считаешь one size fits all и волшеб, arisu (ok), 05:02 , 06-Мрт-12, (238) Угу, аж возможность референса в сторону - а вот это уже было, брать вон там вот, Аноним (-), 17:29 , 02-Мрт-12, (80) +2 Анализировать быстро и на автомате и ловить потенциально интересные эвенты довол, Аноним (-), 16:17 , 02-Мрт-12, (59) +1 // Заметим, что идея грепа лога сама по себе порочна Добавление в строку нового по, Аноним (-), 17:25 , 02-Мрт-12, (78) +1 Я бы сказал 50 50, потому что гибкость - хорошая, да И позволяет завернуть очен, Аноним (-), 17:34 , 02-Мрт-12, (83) Хм Вы когда-нибудь с SQL работали Скажу по секрету там возможностей для хитро, Аноним (-), 17:41 , 02-Мрт-12, (87) +1 Practical Extraction and Report Language На SQL-е - умахаешься Впрочем поЦеринг, Anonymouse (?), 03:13 , 03-Мрт-12, (125) +1 1 Я не считаю что для анализа логов мне надо бросить все и стать DBA2 Я не счи, Аноним (-), 03:50 , 03-Мрт-12, (130) +2 Т е вы хотите сказать, что DSL, коим является SQL имеет больше возможностей, че, cosmonaut (ok), 12:09 , 04-Мрт-12, (213) +1 Да, вспоминается, как аккуратненько добавил разок дополнительное поле в конец ло, Аноним (-), 18:38 , 02-Мрт-12, (99) +1 Узкое место --- не в чтении парсинге поиске, в записи поиск --- значительно бо, anonimous (?), 00:26 , 03-Мрт-12, (117) Не-а, бинарь в принципе не удобен Эт раз Для первичного анализа берутся не сам, Имя и код (?), 05:16 , 03-Мрт-12, (142) –1 Бинарь в принципе ничем не отличается от текстаря Поскольку вы не читаете секто, zzz (??), 13:18 , 03-Мрт-12, (166) Не текстовый формат весьма и весьма не удобен Малоюзабелен Никто вотпрямща и н, Имя и код (?), 03:56 , 04-Мрт-12, (204) Итак, давайте обдумаем Допустим что syslog действительно устарела устаревание , Аноним (-), 15:18 , 02-Мрт-12, (44) –4 // Слишком много букв Но что делать, если утилита посчитает бинарный лог испорченн, anonymous (??), 15:30 , 02-Мрт-12, (48)   // Снова на второстепенные вещи отвлекаетесь 1 Много букв потому то в тексте подро, Аноним (-), 15:47 , 02-Мрт-12, (51) –1   Это важный вопрос, но не первой важности, т к он не определяет архитектуру и во, Аноним (-), 15:52 , 02-Мрт-12, (53)   Об этом и речь была Цитирую разница между бинарными и текстовымы форматами хр, Аноним (-), 16:01 , 02-Мрт-12, (57)   Разница между текстовым и бинарным форматом - логическое следствие разницы между, Аноним (-), 17:46 , 02-Мрт-12, (90) –1   Вы не врубаетесь в самую суть формат хранения логов это второстепенные вещи и н, Аноним (-), 19:17 , 02-Мрт-12, (100)   Поддреживаю Собершенно непонятно вокруг чего проблема, если нужны структурирован, Deffic (?), 01:59 , 03-Мрт-12, (119) +2   Проблема сделать логи структурированными Решение этой задачи попутно решит ряд , VoDA (ok), 03:09 , 03-Мрт-12, (123)   Она УЖЕ структурирована, в эрэфсях это чётко прописано это свежий The syslog m, Имя и код (?), 06:44 , 03-Мрт-12, (153) +1   Ему раскидали то что он уткнулся лишь в поверхностные, второстепенные вещи, но о, Аноним (-), 10:23 , 03-Мрт-12, (159)   И самое забавное, что своими действиями усугубляет именно в этом направлении , Имя и код (?), 12:40 , 03-Мрт-12, (164)   Ну так перцы тоже решили реализовать стандарт А то что он бинарный - ну и болт , Аноним (-), 13:37 , 03-Мрт-12, (170) –1   Вы просто передёргиваете gzip, cat, EDITOR -- универсальные, в отличие от , Michael Shigorin (ok), 19:30 , 03-Мрт-12, (190)   А что мешает сделать прозрачную развертку этого формата в текст как gzip это дел, Аноним (-), 01:34 , 04-Мрт-12, (194)   Вот Вы как понимаю в 193 описали сворачивание по IP Попробуйте набросать ст, Michael Shigorin (ok), 02:08 , 04-Мрт-12, (197)   gt оверквотинг удален Вы правы - это тайный набор знаний Его специально выдел, VoDA (ok), 00:54 , 06-Мрт-12, (228)   Я и подводил пишущего к мысли, что мы, скорее всего, попадаем на мини-DB и мини-, Michael Shigorin (ok), 01:17 , 06-Мрт-12, (230)   Сам MSG не структурирован Как по вашему задаются обязательные и дополнительные , VoDA (ok), 15:23 , 03-Мрт-12, (185)   От ёптыдь, попробую объяснить по аналогии Вы про тисипиайпи слыхивали Про т, Имя и код (?), 04:03 , 04-Мрт-12, (205) +1   Аналогия интересна, но не верна Изначальный постулат, который я развиваю это нео, VoDA (ok), 01:02 , 06-Мрт-12, (229)   Тогда с ним делать то же что и с испорченным текстовым логом Открыли вы текстар, Аноним (-), 03:52 , 03-Мрт-12, (131)   А вы подумали о том, что старый API взаимодействия приложений с syslog не предна, Аноним (-), 17:34 , 02-Мрт-12, (82) // Не вижу никаких проблем чтобы расширить API Это дело одного коммита Длинное соо, Аноним (-), 10:31 , 03-Мрт-12, (160) угу один всемирный такой коммит, который автомагически поправит все клиенты , arisu (ok), 05:09 , 06-Мрт-12, (240) В чем-то вы правы В своем посте я немножечко пожертвовал логичностью ради пров, Аноним (-), 18:25 , 02-Мрт-12, (93) // А мне вот не нравится идея бинарных логов И бинарных конфигов Просто - не нрав, Куяврик (?), 02:40 , 03-Мрт-12, (121) Вот, если бы вы знали, что такое cat,grep,sed и другие умные слова для работы с , cosmonaut (ok), 12:37 , 04-Мрт-12, (214) На 100 выпускник какого-нибудь ВУЗа типа Мэждународного Университета Соломона, Имя и код (?), 05:30 , 03-Мрт-12, (143) +1 // Будем знакомы И как оно вам, бакалаврам , Аноним (-), 13:38 , 03-Мрт-12, (171) Нам такие как Вы бакалавры забавны , Имя и код (?), 04:04 , 04-Мрт-12, (206) Я так понимаю - очепятка В UNIX syslog, и он пишет текстовые логи Я так понима, R (?), 16:34 , 02-Мрт-12, (67) –4 // А еще в UNIX auditd который гораздо важнее syslog , и он пишет бинарные логи , Аноним (-), 17:36 , 02-Мрт-12, (84) // А мексиканского кактуса бритого он важнее аудитди не расскажет мне кто, аутенти, Имя и код (?), 07:06 , 03-Мрт-12, (154) А вот в предлагаемой вон теми парнями схеме - чуть более другой сервис пойдет и , Аноним (-), 13:35 , 03-Мрт-12, (169) Так вот в том-то и дело, шо нет Просто из-за дурацкого формата будут оверхед и , Имя и код (?), 04:06 , 04-Мрт-12, (207) Я так понимаю - вы просто не знакомы с юниксом Действительного, когда в мире ест, Аноним (-), 18:30 , 02-Мрт-12, (95) +2 // имхо, он про солярку , anon9000 (?), 13:48 , 04-Мрт-12, (215) rfc3164 достаточно свежая хреннь Ну Это неуспешно скрыто за зарослями бинарно, Имя и код (?), 05:37 , 03-Мрт-12, (144) // Выбросьте бинарный гзип уже Вы его деревья хаффмана в уме вообще не построите , Аноним (-), 13:40 , 03-Мрт-12, (172) Ну да, ну да, а изчё выинты повыбрасываем - там коды царя соломона используют То, Имя и код (?), 04:09 , 04-Мрт-12, (208) Наверное, стоило особо отметить, что к поддержке проекта уже присоединились комп, Аноним (-), 14:28 , 02-Мрт-12, (2) +2 // app-admin syslog-ng-3 3 4 3 2 5 USE hardened ipv6 pcre ssl tcpd -caps -json , исчо_адын_аноним (?), 15:12 , 03-Мрт-12, (184) +1 // Я против подобного милосердия В назидание , Имя и код (?), 04:10 , 04-Мрт-12, (209) это не интересно где научная ценность где новизна диссертации вот так взял и , Куяврик (?), 00:46 , 13-Мрт-12, (242) Надеюсь, в линуксе наконец появится нормальный механизм удаленной репликации лог, Аноним (-), 14:32 , 02-Мрт-12, (3) +2 Таки тролль man rsyslog-mysql, anonymous (??), 15:57 , 02-Мрт-12, (55) –3 А об ng-syslog никто из анонов, судя по всему, даже не слыхал никогда , Аноним (-), 16:21 , 02-Мрт-12, (63) Конечно нет Все знают про syslog-ng , Имя и код (?), 05:45 , 03-Мрт-12, (145) +1 Хоть горшком назови Только в печь не ставь Судя по тому, что вспомнил о нем од, Аноним (-), 14:42 , 03-Мрт-12, (178) –1 Не-а Искажение названия такого популярного пакета говорит о многом Да прям так, Имя и код (?), 04:12 , 04-Мрт-12, (210) +1 А ты сам-то читал, что там написано Особенно в части репликации логов с поддержк, Аноним (-), 17:37 , 02-Мрт-12, (85) Вы предлагаете конвертировать лог в бинарный формат, а потом реплицировать его с, Аноним (-), 17:44 , 02-Мрт-12, (89) Немного более чем нет , Имя и код (?), 05:47 , 03-Мрт-12, (146) Это что, подтверждение мысли о ненужности rsyslog , Аноним (-), 13:48 , 03-Мрт-12, (173) Нет, подумайте об этом на досуге , Имя и код (?), 04:13 , 04-Мрт-12, (211) Репликация средствами мускула Лол С тем же успехом можно текстовые логи через s, Аноним (-), 18:27 , 02-Мрт-12, (94) –2 Делайте силой мыли, ибо всё остальное - КОСТЫЛИ , Deffic (?), 02:03 , 03-Мрт-12, (120) Не, дядя, мускуль в обязательном порядке для всего лишь ведения логов - это мега, Аноним (-), 03:53 , 03-Мрт-12, (132) –1 Вы передёргиваете , Deffic (?), 22:33 , 05-Мрт-12, (226) Разнообразие форматов журналов следует из разнообразия решаемых задач и разнообр, Аноним (-), 14:32 , 02-Мрт-12, (4) +1 Лучшее враг хорошего , Аноним (-), 14:32 , 02-Мрт-12, (5) +5 а почему сислог они считают устаревшим чем аргументируют , Аноним (-), 14:46 , 02-Мрт-12, (12) +2 // http bb comp-house ru comp-house repo wiki what-i-dont-like-about-journald, anonymous (??), 14:47 , 02-Мрт-12, (13) –2 // Как видим, Герхардса с его проповедями про превосходство rsyslog успешно заткнул, Аноним (-), 14:48 , 02-Мрт-12, (16) // http bb comp-house ru comp-house repo wiki journald-and-rsyslog, anonymous (??), 14:55 , 02-Мрт-12, (23) –1 Устаревшая инфа Судя по сабжевой новости, теперь мнение этого товарища радикальн, Аноним (-), 15:04 , 02-Мрт-12, (28) –1 Не умеет работать со структурированными данными нет поддержки соответствующих ф, Аноним (-), 15:18 , 02-Мрт-12, (43) Так что теперь будет с journald , Аноним (-), 14:55 , 02-Мрт-12, (22) // А ничего не будет Он часть systemd и останется Сделают пересылку в другой журн, anonymous (??), 14:58 , 02-Мрт-12, (25) К нему кроме его текущего API добавят ELAPT А возможно ELAPI будет единственным, VoDA (ok), 15:05 , 02-Мрт-12, (29) +1 // Скорее второе - нынешний API journald пока не стабилизирован, поэтому сейчас его, Аноним (-), 15:06 , 02-Мрт-12, (32) Судя по всем, Lamberjack - это и есть journald, с небольшими косметическими изме, Аноним (-), 15:05 , 02-Мрт-12, (31) Радует то, что постарались обсудить, а не переть своим умом удачи , Michael Shigorin (ok), 15:15 , 02-Мрт-12, (41) +1 // А может, они с systemd upstart еще повторят Для полного счастья , Аноним (-), 16:19 , 02-Мрт-12, (61) +1 // А может, они-таки наймут ОДНОГО вменяемого системного архитектора И сделают ЕДИ, Аноним (-), 16:25 , 02-Мрт-12, (66) // Даже у очень умных людей решения в стиле вот, оно, единое имеют тенденцию оказ, Michael Shigorin (ok), 16:57 , 02-Мрт-12, (71) –1 Мы это видим с каждым новым дистром линукса, которые уже числом, тащемта, за шту, Аноним (-), 14:45 , 03-Мрт-12, (179) Хм, пока похоже, что путаете GNU s Not UNIX с чем-то неприпоминаемым из высказыв, Michael Shigorin (ok), 19:39 , 03-Мрт-12, (191) А кто не согласен - будет расстрелян, так , Аноним (-), 17:04 , 02-Мрт-12, (73) А у несогласных никуда всегда была gentoo , Аноним (-), 00:35 , 03-Мрт-12, (118) –2 LFS, Имя и код (?), 07:10 , 03-Мрт-12, (155) А что делать тем кому не нравится пидон в каждой дырке в системе , zzz (??), 13:21 , 03-Мрт-12, (167) А что там повторять Сейчас разработка upstart фактически превратилась в копипас, Аноним (-), 17:50 , 02-Мрт-12, (91) +1 // Ну вот я как раз за то чтобы они собрались и обсудили как и чего К systemd боль, Аноним (-), 03:55 , 03-Мрт-12, (133) Это вам-то пруф, с предъявами о usr Кто еще не видел http freedesktop org wik, qux (ok), 17:01 , 04-Мрт-12, (217) +1 Чё они х ей занимаются Нужно структурированные, ну прилепи ты syslog2sql и ра, pavlinux (ok), 22:17 , 02-Мрт-12, (110) +1 // бинарное хранение это следствие, а не причина причина же в API для структурирова, VoDA (ok), 03:16 , 03-Мрт-12, (127) всяким там возможным SQL-иньекциям И да, как sql база обеспечит защиту от, Аноним (-), 03:59 , 03-Мрт-12, (134) // REVOKE ALL ON logdbase TO logodmin localhost GRANT INSERT ON logdbase TO logod, pavlinux (ok), 01:24 , 05-Мрт-12, (222) А зачем SQL запросы, когда есть NoSQL решения С хранением данных чисто в операти, XoRe (ok), 06:15 , 03-Мрт-12, (150) –1 Сколько же воплей в этом треде Никаких lumberjack и journald не будет ближайш, Аноним (-), 22:46 , 02-Мрт-12, (113) –2 // См 128 , Аноним (-), 04:00 , 03-Мрт-12, (135) я, например, раз уж ты себя не считаешь достойным , arisu (ok), 05:16 , 06-Мрт-12, (241) Название - игра слов log - бревно Lumberjack - дровосек Т е логоруб Нам предлаг, XoRe (ok), 06:13 , 03-Мрт-12, (149) +5 // Адназначна , Имя и код (?), 07:13 , 03-Мрт-12, (156) Что мы получили 1 программы для дефрагментации реестра2 файлы реестра раскидан, Аноним (-), 11:58 , 03-Мрт-12, (161) +1 ну скажем так если требуется для каких-то целей строить по логам статистику - п, Аноним (186), 17:05 , 03-Мрт-12, (186) // Если нужна статистика, то и сейчас вообще не проблема, например через пайп или п, nobody (??), 02:37 , 04-Мрт-12, (199) +1 Похоже кто то хочет подзаработать на неграмотности админов Что ж, флаг им в руки, vi (?), 02:12 , 04-Мрт-12, (198) Линуксоиды воистину неизлечимы Вместо того что бы механизировать ручной труд, Piter_Ring (ok), 05:06 , 04-Мрт-12, (212) –2 // Некоторые из нас понимают в красителях способны без смывания и закрашивания р, Michael Shigorin (ok), 15:26 , 04-Мрт-12, (216) // Если сильно постараются, то данный проект может вырасти и вместо http www yout, Piter_Ring (ok), 01:42 , 05-Мрт-12, (223) // Это вообще какой-то виндузятник с перочинным топориком непонятно, кто лесорубом, Michael Shigorin (ok), 02:21 , 05-Мрт-12, (224) 1,2,3,4,5,12,22,41,110,113,149,186,198,212

Сообщения

[Сортировка по времени | RSS]

	48. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от anonymous (??), 02-Мрт-12, 15:30
	Слишком много букв. Но что делать, если утилита посчитает бинарный лог испорченным и пошлёт куда подальше? Представляется ли возможным что-то быстро предпринять на коленке в таком вот экстренном случае?
	Ответить | Правка | Наверх | Cообщить модератору

	51. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	–1 +/–
	Сообщение от Аноним (-), 02-Мрт-12, 15:47
	Снова на второстепенные вещи отвлекаетесь: 1. Много букв потому то в тексте подробности (внезапно?). 2. Утилита утилите рознь (тут надо смотреть на реализацию утилиты и, особенно, на формат логов (бинарность логов не обязательно подразумевает их архивацию в сполшной solid-архив; можно сжимать на уровне сообщения/строк/записи и т.д.) ).
	Ответить | Правка | Наверх | Cообщить модератору

	53. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от Аноним (-), 02-Мрт-12, 15:52
	Это важный вопрос, но не первой важности, т.к. он не определяет архитектуру и возможности. А разговоры именно об этом
	Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

	57. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от Аноним (-), 02-Мрт-12, 16:01
	Об этом и речь была. Цитирую: "разница между бинарными и текстовымы форматами хранения не несет сколько-нибудь принципиальной разницы". Ключевое здесь: "не несет принципиальной разницы". Просто часть читающих опеннета не осиливает текст моего сообщения (да куда там до понимания сути сообщения когда часть тут новости (пересказ в кратком изложении) не осиливает даже на половину).
	Ответить | Правка | Наверх | Cообщить модератору

	90. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	–1 +/–
	Сообщение от Аноним (-), 02-Мрт-12, 17:46
	> Об этом и речь была. Цитирую: "разница между бинарными и текстовымы форматами > хранения не несет сколько-нибудь принципиальной разницы". Ключевое здесь: "не несет принципиальной > разницы". Просто часть читающих опеннета не осиливает текст моего сообщения (да > куда там до понимания сути сообщения когда часть тут новости (пересказ > в кратком изложении) не осиливает даже на половину). Разница между текстовым и бинарным форматом - логическое следствие разницы между структурированными и неструктурированными данными. Нет, конечно, можно и текстовые данные структурировать (JSON там, XML), но не на таких объемах, как в случае с логами.
	Ответить | Правка | Наверх | Cообщить модератору

	100. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от Аноним (-), 02-Мрт-12, 19:17
	>Разница между текстовым и бинарным форматом - логическое следствие разницы между структурированными и неструктурированными данными. Вы не врубаетесь в самую суть: формат хранения логов это второстепенные вещи и нет никакой проблемы перегнать с одного формата в другой. >Нет, конечно, можно и текстовые данные структурировать (JSON там, XML), но не на таких объемах, как в случае с логами. Проблема сжать существующие логи? Или проблема навесить структуризацию на текущий способ?
	Ответить | Правка | Наверх | Cообщить модератору

	119. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+2 +/–
	Сообщение от Deffic (?), 03-Мрт-12, 01:59
	>>Разница между текстовым и бинарным форматом - логическое следствие разницы между структурированными и неструктурированными данными. > Вы не врубаетесь в самую суть: формат хранения логов это второстепенные вещи > и нет никакой проблемы перегнать с одного формата в другой. >>Нет, конечно, можно и текстовые данные структурировать (JSON там, XML), но не на таких объемах, как в случае с логами. > Проблема сжать существующие логи? Или проблема навесить структуризацию на текущий способ? Поддреживаю. Собершенно непонятно вокруг чего проблема, если нужны структурированные данные, загоняем логи через rsyslog в базу на удалённом сервере, параллельно можно оставить в тексте (если требуется). Хранение логов на рабочем сервере (в любом виде) может помочь только в решении системных проблем. В этом случае их структурированность совершенно необязательна, вам всё равно потребуется просматривать всё записи в логе(ах) последовательно в поисках аномалий. Причём отдельные события могут быть абсолютно обыденными, но вот их последовательность может вам сказать об ошибке. В этом случае разворачиваем базу в простыню? Зачем тогда загоняли в базу? В случае взлома, локальные логи теряют смысл, так как доступ к логам/базе логов есть у взломщика есть и изменить данные и даты не составляет особого труда. Кто-нибудь может обьяснить, что _нужного_ умеет  "Lumberjack" ?
	Ответить | Правка | Наверх | Cообщить модератору

	123. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от VoDA (ok), 03-Мрт-12, 03:09
	>>Нет, конечно, можно и текстовые данные структурировать (JSON там, XML), но не на таких объемах, как в случае с логами. > Проблема сжать существующие логи? Или проблема навесить структуризацию на текущий способ? Проблема сделать логи структурированными. Решение этой задачи попутно решит ряд проблем таких как размер логов, падение анализаторов при добавлении новых полей, невозможность применения одинаковых анализаторов для различных приложений. Раскрою последнее утверждение: хотя данные, которые создают разные приложения в логах подобны, но различен формат и потому нет универсального анализатора. А случае структурированных логов анализатор проверяющий кто заходил на apache с 3 до 5 однозначно будет работать и на DNS и на любых других системах потому что формат стандартизован. Стандартизация представления логов внешним приложениям - одна из основных задач journald и subj.
	Ответить | Правка | К родителю #100 | Наверх | Cообщить модератору

	153. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+1 +/–
	Сообщение от Имя и код (?), 03-Мрт-12, 06:44
	>>Разница между текстовым и бинарным форматом - логическое следствие разницы между структурированными и неструктурированными данными. > Вы не врубаетесь в самую суть: формат хранения логов это второстепенные вещи > и нет никакой проблемы перегнать с одного формата в другой. >>Нет, конечно, можно и текстовые данные структурировать (JSON там, XML), но не на таких объемах, как в случае с логами. > Проблема сжать существующие логи? Или проблема навесить структуризацию на текущий способ? Она УЖЕ структурирована, в эрэфсях это чётко прописано (это свежий): The syslog message has the following ABNF [RFC5234] definition:       SYSLOG-MSG      = HEADER SP STRUCTURED-DATA [SP MSG]       HEADER          = PRI VERSION SP TIMESTAMP SP HOSTNAME                         SP APP-NAME SP PROCID SP MSGID       PRI             = "<" PRIVAL ">"       PRIVAL          = 1*3DIGIT ; range 0 .. 191       VERSION         = NONZERO-DIGIT 0*2DIGIT       HOSTNAME        = NILVALUE / 1*255PRINTUSASCII       APP-NAME        = NILVALUE / 1*48PRINTUSASCII       PROCID          = NILVALUE / 1*128PRINTUSASCII       MSGID           = NILVALUE / 1*32PRINTUSASCII       TIMESTAMP       = NILVALUE / FULL-DATE "T" FULL-TIME       FULL-DATE       = DATE-FULLYEAR "-" DATE-MONTH "-" DATE-MDAY       DATE-FULLYEAR   = 4DIGIT       DATE-MONTH      = 2DIGIT  ; 01-12       DATE-MDAY       = 2DIGIT  ; 01-28, 01-29, 01-30, 01-31 based on                                 ; month/year       FULL-TIME       = PARTIAL-TIME TIME-OFFSET       PARTIAL-TIME    = TIME-HOUR ":" TIME-MINUTE ":" TIME-SECOND                         [TIME-SECFRAC]       TIME-HOUR       = 2DIGIT  ; 00-23       TIME-MINUTE     = 2DIGIT  ; 00-59       TIME-SECOND     = 2DIGIT  ; 00-59       TIME-SECFRAC    = "." 1*6DIGIT       TIME-OFFSET     = "Z" / TIME-NUMOFFSET       TIME-NUMOFFSET  = ("+" / "-") TIME-HOUR ":" TIME-MINUTE       STRUCTURED-DATA = NILVALUE / 1*SD-ELEMENT       SD-ELEMENT      = "[" SD-ID *(SP SD-PARAM) "]"       SD-PARAM        = PARAM-NAME "=" %d34 PARAM-VALUE %d34       SD-ID           = SD-NAME       PARAM-NAME      = SD-NAME       PARAM-VALUE     = UTF-8-STRING ; characters '"', '\' and                                      ; ']' MUST be escaped.       SD-NAME         = 1*32PRINTUSASCII                         ; except '=', SP, ']', %d34 (")       MSG             = MSG-ANY / MSG-UTF8       MSG-ANY         = *OCTET ; not starting with BOM       MSG-UTF8        = BOM UTF-8-STRING       BOM             = %xEF.BB.BF       UTF-8-STRING    = *OCTET ; UTF-8 string as specified                         ; in RFC 3629       OCTET           = %d00-255       SP              = %d32       PRINTUSASCII    = %d33-126       NONZERO-DIGIT   = %d49-57       DIGIT           = %d48 / NONZERO-DIGIT       NILVALUE        = "-" Что нужно ищо этому безумному, выпрашивающему бинарного формата, как Моисей Египетович манны (или маны :) )?
	Ответить | Правка | К родителю #100 | Наверх | Cообщить модератору

	159. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от Аноним (-), 03-Мрт-12, 10:23
	>Что нужно ищо этому безумному, выпрашивающему бинарного формата Ему раскидали то что он уткнулся лишь в поверхностные, второстепенные вещи, но он и дальше свое гнет потому что целью для него не является поиск объективной картины (придется принять факт того что форма представления все-такие вещи второстепенные), а его цель - любой ценой не оказаться не правым (возможно, у него проблемы психического плана из далекого детства и/или просто зашкаливает ЧСВ, но нам то до него и его проблем ..). Такие дела ..
	Ответить | Правка | Наверх | Cообщить модератору

	164. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от Имя и код (?), 03-Мрт-12, 12:40
	>>Что нужно ищо этому безумному, выпрашивающему бинарного формата > Ему раскидали то что он уткнулся лишь в поверхностные, второстепенные вещи, но > он и дальше свое гнет потому что целью для него не > является поиск объективной картины (придется принять факт того что форма представления > все-такие вещи второстепенные), а его цель - любой ценой не оказаться > не правым (возможно, у него проблемы психического плана из далекого детства > и/или просто зашкаливает ЧСВ, но нам то до него и его > проблем ..). Такие дела .. И самое забавное, что своими действиями усугубляет именно в этом направлении :)
	Ответить | Правка | Наверх | Cообщить модератору

	170. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	–1 +/–
	Сообщение от Аноним (-), 03-Мрт-12, 13:37
	> Она УЖЕ структурирована, в эрэфсях это чётко прописано (это свежий): Ну так перцы тоже решили реализовать стандарт. А то что он бинарный - ну и болт бы с ним. Я же не воняю что gzip не только бинарный но и вообще не декодируем в уме и с ножом к горлу требует утилиту gzip для работы, правда?
	Ответить | Правка | К родителю #153 | Наверх | Cообщить модератору

	190. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от Michael Shigorin (ok), 03-Мрт-12, 19:30
	> Я же не воняю Вы просто передёргиваете. > что gzip не только бинарный gzip, cat, $EDITOR -- универсальные, в отличие от.
	Ответить | Правка | Наверх | Cообщить модератору

	194. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от Аноним (-), 04-Мрт-12, 01:34
	> gzip, cat, $EDITOR -- универсальные, в отличие от. А что мешает сделать прозрачную развертку этого формата в текст как gzip это делает для сжатого формата? Ничего? Хм, так это вопрос наличия утилит делающих это.
	Ответить | Правка | Наверх | Cообщить модератору

	197. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от Michael Shigorin (ok), 04-Мрт-12, 02:08
	>> gzip, cat, $EDITOR -- универсальные, в отличие от. > А что мешает сделать прозрачную развертку этого формата в текст как gzip > это делает для сжатого формата? Ничего? Вот Вы (как понимаю) в #193 описали сворачивание по IP.  Попробуйте набросать структуру данных и псевдокод, который сделает разворачивание в текст. Мне пока кажется, что получится или размазанный по данным словарик (IP-шники же приходят новые, иначе совсем узкий случай), или отдельная вспомогательная сущность.  С первым как раз в случае потоковой обработки _всего_ массива более-менее эффективная реализация просматривается (поскольку можно идти окошком по данным, пополняя словарик и зная, что при записи сперва пополнялся он, затем значения использовались в потоке).  А вот при хвалёном произвольном доступе -- что-то сходу не соображу, как выкрутиться.  Если же держать эту сущность отдельно, то gzip уже не получается, а получается нечто с набором тайных знаний в пузе о том, где эти отдельности искать, или с ключами, которые надо обязательно задать (или же фолбэк с первого на второе, не суть). Есть старое доброе правило: не усложняй сверх необходимого.  И что-то эта молодая гвардия его не выучила, похоже -- ломят непотребства имени себя, как джоэловский MSDN camp... PS: заметьте, это мы с Вами подразумеваем некую фиксированную схему для одного случая.  А если схемы разные... а ещё и корректируемые...
	Ответить | Правка | Наверх | Cообщить модератору

	228. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от VoDA (ok), 06-Мрт-12, 00:54
	>[оверквотинг удален] > приходят новые, иначе совсем узкий случай), или отдельная вспомогательная сущность.   > С первым как раз в случае потоковой обработки _всего_ массива более-менее > эффективная реализация просматривается (поскольку можно идти окошком по данным, пополняя > словарик и зная, что при записи сперва пополнялся он, затем значения > использовались в потоке).  А вот при хвалёном произвольном доступе -- > что-то сходу не соображу, как выкрутиться.  Если же держать эту > сущность отдельно, то gzip уже не получается, а получается нечто с > набором тайных знаний в пузе о том, где эти отдельности искать, > или с ключами, которые надо обязательно задать (или же фолбэк с > первого на второе, не суть). Вы правы - это тайный набор знаний. Его специально выделяют в отдельную сущность с доступом через API. Опять же grep не имеет произвольного доступа - только прямое чтение. И плакальщики из этого треда уверяют, что это самый лучший вариант. Так что меняя plain-text на потоковый файл, где общие сущности живут в пополняемых словарях, получаем ускорение потокового чтения и записи (данные уже сжаты). Сам принцип сохраняется.
	Ответить | Правка | Наверх | Cообщить модератору

	230. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от Michael Shigorin (ok), 06-Мрт-12, 01:17
	> Так что меняя plain-text на потоковый файл, где общие сущности живут в > пополняемых словарях Я и подводил пишущего к мысли, что мы, скорее всего, попадаем на мини-DB и мини-DBA, а также прочий совершенно излишний в тривиальных случаях оверхед -- за который не должны платить ресурсами и разрывом мозга те, кому он не упёрся. Проблема этих обновленцев в том, что они усложняют тривиальный случай нужным в весьма нетривиальном вместо того, чтобы простое оставить простым, а своё громоздить в сторонке.
	Ответить | Правка | К родителю #228 | Наверх | Cообщить модератору

	185. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от VoDA (ok), 03-Мрт-12, 15:23
	>>>Разница между текстовым и бинарным форматом - логическое следствие разницы между структурированными и неструктурированными данными. >> Вы не врубаетесь в самую суть: формат хранения логов это второстепенные вещи >> и нет никакой проблемы перегнать с одного формата в другой. >>>Нет, конечно, можно и текстовые данные структурировать (JSON там, XML), но не на таких объемах, как в случае с логами. >> Проблема сжать существующие логи? Или проблема навесить структуризацию на текущий способ? > Она УЖЕ структурирована, в эрэфсях это чётко прописано (это свежий): Сам MSG не структурирован. Как по вашему задаются обязательные и дополнительные поля для MSG? никак. в этом и проблема, которую хотят вылечить. Дальше дыры в безопасности: наличие в теле сообщения APP-NAME, PROCID, TIMESTAMP (возможно и других подобных полей). Приложение не должно иметь API для того чтобы выдать себя за другое или использовать другое время. API должен быть подобный (псевдо код): спикокПолейИЗначений = { "поле1":"значение поля 1", "IP":127.0.0.1, }; LOG.debug("сообщение для человека без данных", списокПолейИЗначений); И нигде не должно запрашиваться у приложения его ИМЯ, procid и дата записи. ДАТА - по факту логирования, ИМЯ и procid - по факту того кто вызвал запись. И т.п. иначе запись что приложение Маша с хоста Вася является скомпрометированной поскольку приложение может подменить и хост и собственное имя. PS спасибо, что подтвердили мои догадки, что RFC не описывает структуру самого сообщения. Ваша цитата наглядно это показывает )))))
	Ответить | Правка | К родителю #153 | Наверх | Cообщить модератору

	205. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+1 +/–
	Сообщение от Имя и код (?), 04-Мрт-12, 04:03
	>> Она УЖЕ структурирована, в эрэфсях это чётко прописано (это свежий): > Сам MSG не структурирован. Как по вашему задаются обязательные и дополнительные поля > для MSG? никак. в этом и проблема, которую хотят вылечить. ... От ёптыдь, попробую объяснить по аналогии: Вы про тисипиайпи слыхивали? Про то, что опо пакетное? Так вот: Вы сначала предлагаете "структурировать" ай-пи пакет, потом, увидев, что он сто лет в обед как имеет жёсткую структуру, замалчиваете это, при этом громогласно заявляте что дата-часть пакета не структурирована. Вот такой театр абсурда. > PS спасибо, что подтвердили мои догадки, что RFC не описывает структуру самого > сообщения. Ваша цитата наглядно это показывает ))))) Вы даже РФЦ не читаете? Тогда о чём Вы о кто Вы? :))
	Ответить | Правка | Наверх | Cообщить модератору

	229. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от VoDA (ok), 06-Мрт-12, 01:02
	> От ёптыдь, попробую объяснить по аналогии: Вы про тисипиайпи слыхивали? Про то, > что опо пакетное? Так вот: Вы сначала предлагаете "структурировать" ай-пи пакет, > потом, увидев, что он сто лет в обед как имеет жёсткую > структуру, замалчиваете это, при этом громогласно заявляте что дата-часть пакета не > структурирована. Вот такой театр абсурда. Аналогия интересна, но не верна. Изначальный постулат, который я развиваю это необходимость структуризации логирующего сообщения. Не только части формализованной в RFC, но всего сообщения. Чтобы IP клиента был отдельным полем с возможностью поиска или построения иной аналитики. Кроме того RFC пропускает некоторые уязвимости. Попробую объяснить по аналогии: нужно было сделать передачу почтовых сообщение - сделали SMTP. Но сам протокол рассчитывает на ряд аксиом типа защищенности самого сервера. Уже много лет это дыры (просчеты) в протоколе позволяют спамить. Данные RFC на логирование также имеет уязвимости, что терпимо сейчас, но в будущем может привести к повторению судьбы SMTP.
	Ответить | Правка | Наверх | Cообщить модератору

	131. "Представлен проект Lumberjack, нацеленный на модернизацию си..."	+/–
	Сообщение от Аноним (-), 03-Мрт-12, 03:52
	> Слишком много букв. Но что делать, если утилита посчитает бинарный лог испорченным Тогда с ним делать то же что и с испорченным текстовым логом. Открыли вы текстарь а там бред. Ну и чего?
	Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема