The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Представлен проект Lumberjack, нацеленный на модернизацию си..."
Версия для распечатки Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Исходное сообщение [ Отслеживать ]
Заметили полезную информацию ? Пожалуйста добавьте в FAQ на WIKI.
. "Представлен проект Lumberjack, нацеленный на модернизацию си..." +/
Сообщение от VoDA (ok), 03-Мрт-12, 15:06 
>> работа с БД в большинстве случаев быстрее plain-file.
> Тока не в этом конкрэтном. Ибо инсерты будут валить как из ведра.
> И вот када тазик даже не просядет - проляжет (или мы
> их транзакциями по n штук пендюрить бум?

А кто вас сказал чтоб это будет *реляционная* СУБД? шарашить с спец формате рассчитанном на эффективную запись. даже при снижении скорости чтения анализ будет идти быстрее чем grep.

Далее plain-text можно ускорить в несколько раз если заменить hostname на hostId, время указывать в виде unix-time как набор байт, а не "03-Мрт-12 04:48". Какое приложение выдало сообщение - локальный идентификатор размером в int.

Ща глянул на дефолтовые логи - половина записи это мета-информация, которая может быть легко нормализована. Т.е. если сейчас система логирования справляется с текущей нагрузкой, то при замене на бинарь она будет в два раза быстрее (уменьшение на 50% размера средней записи, значит за то же время можно записать на 200% больше, т.е. в два раза).

Для дефолтового лога апача ускорение будет в 1,5 раза (мета-информация занимает примерно треть).

Ответить | Правка | Наверх | Cообщить модератору

Оглавление
Представлен проект Lumberjack, нацеленный на модернизацию си..., opennews, 02-Мрт-12, 14:25  [смотреть все]
Форумы | Темы | Пред. тема | След. тема



Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру