The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

OpenNews: Интересное ПО: LightSquid - анализатор логов для squid, opennews (?), 13-Апр-05, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


41. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Berserker (?), 19-Апр-05, 00:05 
Я сегодня тоже настрогал скипт на перле - вытягивает из лога (access.log) все запросы у яндекса, рамблера, апорта, гугля, местного tut.by.
Весьма прикольно рассматривать, чего кто назапрашивал, перлы встречаются часто!
Ответить | Правка | Наверх | Cообщить модератору

42. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от vksemail (?), 19-Апр-05, 05:03 
Интересная идея! Скриптом поделишься?
Ответить | Правка | Наверх | Cообщить модератору

43. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от sergey erokhinemail (?), 19-Апр-05, 13:39 
прикольная идея, подумаю, может добавть ;-))
Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

45. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Berserkeremail (?), 19-Апр-05, 20:36 
>прикольная идея, подумаю, может добавть ;-))
лишь бы потом на тебя в суд не подали :\

пример работы :
cat access.log | ./sq_aa >> qu.txt

получаются строки  вида
Sun Apr 17 13:35:18 2005 192.0.0.115 yandex 'ЗЗаппросс'

файл qu.txt смотреть браузером, так как запросы в разных кодировках (кои\вин\утф)

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
#!/usr/bin/perl

while (<STDIN>)
    {
    $type='';
    if (/GET http\:\/\/www\.yandex\.ru\/yandsearch\?/) {$type='yandex'}
    elsif (/GET http\:\/\/search\.rambler\.ru\/srch\?/) {$type='rambler'}
    elsif (/GET http\:\/\/search.tut.by\/\?/) {$type='tut'}
    elsif (/GET http\:\/\/www\.google\..*\/search\?/) {$type='google'}
    elsif (/GET http\:\/\/an\.aport\.ru\/scripts\/template\.dll\?/) {$type='aport'}
    else {next}

    s!\s+! !g;
    @a=split/ /;

    foreach $i ((split '&',$a[6]))
        {
        if (
            (($type eq 'yandex')&&($i=~/^text=(.*)$/))||
            (($type eq 'aport')&&($i=~/^r=(.*)$/))||
            (($type eq 'rambler')&&($i=~/^q=(.*)$/))||
            (($type eq 'rambler')&&($i=~/^words=(.*)$/))||
            (($type eq 'rambler')&&($i=~/^old_q=(.*)$/))||
            (($type eq 'tut')&&($i=~/^query=(.*)$/))||
            (($type eq 'google')&&($i=~/^q=(.*)$/))
            )
            {
            $q=$1;
            $q=~s/\+/ /g;
            $q=~s/%([0-9A-Ha-h]{2})/pack('C',hex($1))/ge;
            print localtime($a[0])." $a[2] $type \'$q\'\n";
            }
        }
    }

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Ответить | Правка | Наверх | Cообщить модератору

49. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Sergey Erokhinemail (?), 21-Апр-05, 21:23 
>>прикольная идея, подумаю, может добавть ;-))
>лишь бы потом на тебя в суд не подали :\
>
>пример работы :
>cat access.log | ./sq_aa >> qu.txt

а какие у тебя параметры жля сквида ?
у меня все что после ? режеться ??


Ответить | Правка | Наверх | Cообщить модератору

50. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Berserker (?), 22-Апр-05, 18:23 
>>>прикольная идея, подумаю, может добавть ;-))
>>лишь бы потом на тебя в суд не подали :\
>>
>>пример работы :
>>cat access.log | ./sq_aa >> qu.txt
>
>а какие у тебя параметры жля сквида ?
>у меня все что после ? режеться ??

strip_query_terms off

размер лога примерно в 2 раза будет больше, но оно того стоит :)
кроме того, данный скрипт заточен под такой формат:

1114178940.960   1342 192.0.0.101 TCP_MISS/200 5564 GET http://www.yandex.ru/yandsearch?rpt=rad&
text=fly+tv+2000 - DIRECT/213.180.204.11 text/html

Ответить | Правка | Наверх | Cообщить модератору

51. "OpenNews: Интересное ПО: LightSquid - анализатор логов для s..."  +/
Сообщение от Berserker (?), 22-Апр-05, 18:25 
>>>прикольная идея, подумаю, может добавть ;-))
>>лишь бы потом на тебя в суд не подали :\
>>
>>пример работы :
>>cat access.log | ./sq_aa >> qu.txt
>
>а какие у тебя параметры жля сквида ?
>у меня все что после ? режеться ??


strip_query_terms off

размер лога примерно в 2 раза будет больше, но оно того стоит :)
кроме того, данный скрипт заточен под такой формат:

1114178940.960   1342 192.0.0.101 TCP_MISS/200 5564 GET http://www.yandex.ru/yandsearch?rpt=rad&
text=fly+tv+2000 - DIRECT/213.180.204.11 text/html

Ответить | Правка | К родителю #49 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру