forum.opennet.ru - "mod

форумы

помощь

поиск

регистрация

майллист

ВХОД

слежка

"mod_security"

Форумы OpenNET: Виртуальная конференция (Public)
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[Проследить за развитием треда]

"mod_security"
Сообщение от nece on 12-Ноя-05, 02:37 (MSK)
Проблема следующая. Не могу проиндексить сайт на поисковиках. Пишет: Адрес www.mydomen.ru не был внесен в базу Яндекса, так как он запрещен к индексации в файле robots.txt, или при обращении к robots.txt сервер вернул ошибку 5xx. Хотя robots.txt имеется, такое ощущение что режет mod_security. Вопрос как mod_security указать что robots.txt не надо запрешать?
	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх

Оглавление

mod_security, nio, 09:12 , 12-Ноя-05, (1)

mod_security, nece, 19:38 , 12-Ноя-05, (2)

mod_security, nece, 19:55 , 12-Ноя-05, (3)

mod_security, nio, 11:28 , 13-Ноя-05, (4)

mod_security, nece, 00:37 , 14-Ноя-05, (5)

mod_security, nece, 02:22 , 14-Ноя-05, (6)

mod_security, nece, 03:04 , 14-Ноя-05, (7)

mod_security, nio, 12:52 , 14-Ноя-05, (8)

mod_security, nece, 15:06 , 14-Ноя-05, (9)

mod_security, nio, 05:39 , 15-Ноя-05, (10)

mod_security, nece, 23:02 , 15-Ноя-05, (11)

mod_security, nio, 06:34 , 18-Ноя-05, (12)

Сообщения по теме [Сортировка по времени, UBB]

1. "mod_security"

Сообщение от nio (ok) on 12-Ноя-05, 09:12  (MSK)

>Проблема следующая.
>
>Не могу проиндексить сайт на поисковиках.
>Пишет:
>
>Адрес www.mydomen.ru не был внесен в базу Яндекса, так как он запрещен
>к индексации в файле robots.txt, или при обращении к robots.txt сервер
>вернул ошибку 5xx.
>
>Хотя robots.txt имеется, такое ощущение что режет mod_security.
>
>Вопрос как mod_security указать что robots.txt не надо запрешать?

А если в браузере написать www.mydomen.ru/robots.txt что происходит?

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

2. "mod_security"

Сообщение от nece on 12-Ноя-05, 19:38  (MSK)

>А если в браузере написать www.mydomen.ru/robots.txt что происходит?
Вижу содержимое этого файла
http://www.vdovinko.ru/robots.txt
# For all robots
User-agent: *
Disallow: /img/
Disallow: /css/
Disallow: /msg.php

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

3. "mod_security"

Сообщение от nece on 12-Ноя-05, 19:55  (MSK)

Но содержимое robots.txt вижу только из внутренней сетки,
с наружи даёт ошибку 500

$links www.vdovinko.ru/robots.txt

     500 Internal Server Error

                            Internal Server Error
   The server encountered an internal error or misconfiguration and was unable to complete your request.
   Please contact the server administrator, support@lancronix.ru and inform them of the time the error occurred, and anything you might have done that may have caused the error.
   More information about this error may be available in the server error log.

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

4. "mod_security"

Сообщение от nio (ok) on 13-Ноя-05, 11:28  (MSK)

>Но содержимое robots.txt вижу только из внутренней сетки,
>с наружи даёт ошибку 500
>
>
>
>$links www.vdovinko.ru/robots.txt
>
>     500 Internal Server Error
>
>
>
>     Internal Server Error
>
>   The server encountered an internal error or misconfiguration and
>was unable to complete your request.
>
>   Please contact the server administrator, support@lancronix.ru and inform them
>of the time the error occurred, and anything you might have
>done that may have caused the error.
>   More information about this error may be available in
>the server error log.

Ну дак "More information about this error may be available in the server error log"... что там написано?

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

5. "mod_security"

Сообщение от nece on 14-Ноя-05, 00:37  (MSK)

>Ну дак "More information about this error may be available in the
>server error log"... что там написано?
В логах апача:
Access.log
213.180.216.253 - - [12/Nov/2005:02:22:20 +0300] "GET /robots.txt HTTP/1.1" 500 540
Error.log
[Sat Nov 12 02:22:20 2005] [error] [client 213.180.216.253]
mod_security: Access denied with code 500. Pattern match
"!(mod_security|mozilla)" at HEADER. [hostname "www.vdovinko.ru"] [uri "/robots.txt"]

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

6. "mod_security"

Сообщение от nece on 14-Ноя-05, 02:22  (MSK)

Вот полный лог
access_log
213.180.216.253 - - [14/Nov/2005:02:13:16 +0300] "GET /robots.txt HTTP/1.1" 500 540

error_log
[Mon Nov 14 02:13:16 2005] [error] [client 213.180.216.253] mod_security: Access denied with code 500. Pattern match "!(mod_security|mozilla)" at HEADER. [hostname "www.vdovinko.ru"] [uri "/robots.txt"]

audit_log
========================================
Request: 213.180.216.253 - - [14/Ноя/2005:02:13:16 +0300] "GET /robots.txt HTTP/1.1" 500 540
Handler: (null)
----------------------------------------
GET /robots.txt HTTP/1.1
Connection: Keep-Alive
From: webadmin@yandex.ru
Host: www.vdovinko.ru
User-Agent: Yandex/1.03.003 (compatible; Win16; D)
mod_security-message: Access denied with code 500. Pattern match "!(mod_security|mozilla)" at HEADER.
mod_security-action: 500
HTTP/1.1 500 Internal Server Error
Connection: close
Transfer-Encoding: chunked
Content-Type: text/html; charset=iso-8859-1

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

7. "mod_security"

Сообщение от nece on 14-Ноя-05, 03:04  (MSK)

Не пойму чт оне так.
В логи пишет то что выше, но при запросе через инет http://www.vdovinko.ru/robots.txt
вижу содержимое:
# For all robots
User-agent: *
Disallow: /img/
Disallow: /css/
Disallow: /msg.php

Почему тогда не индексирует и пишет:
Адрес www.vdovinko.ru не был внесен в базу Яндекса, так как он запрещен к индексации в файле robots.txt, или при обращении к robots.txt сервер вернул ошибку 5xx.

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

8. "mod_security"

Сообщение от nio (ok) on 14-Ноя-05, 12:52  (MSK)

>Не пойму чт оне так.
>
>В логи пишет то что выше, но при запросе через инет http://www.vdovinko.ru/robots.txt
>
>
>вижу содержимое:
>
># For all robots
>User-agent: *
>Disallow: /img/
>Disallow: /css/
>Disallow: /msg.php
>
>
>
>
>Почему тогда не индексирует и пишет:
>
>Адрес www.vdovinko.ru не был внесен в базу Яндекса, так как он запрещен
>к индексации в файле robots.txt, или при обращении к robots.txt сервер
>вернул ошибку 5xx.

Ты совсем меня запутал. Раньше ты вроде говорил что с наружи ошибку выдаёт. Ну да ладно. Сейчас я вижу твой robots.txt, значит и yandex должен увидеть.
>Почему тогда не индексирует и пишет:...
Потому что когда он пытался проиндексировать твой сайт, robots.txt был недоступен. Подожди пока yandex повторит попытку. Это примерно недели 2-3. Если будет и дальше повторятся, тогда пиши, а сейчас всё должно быть нормально.

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

9. "mod_security"

Сообщение от nece on 14-Ноя-05, 15:06  (MSK)

>Потому что когда он пытался проиндексировать твой сайт, robots.txt был недоступен. Подожди
>пока yandex повторит попытку. Это примерно недели 2-3. Если будет и
>дальше повторятся, тогда пиши, а сейчас всё должно быть нормально.
Так я ручками на http://webmaster.yandex.ru
вписываю этот сайт и получаю сообщение об ошибке, хотя по идее должен
сказать что всё ок и ждите результата, а не это:
Адрес www.vdovinko.ru не был внесен в базу Яндекса, так как он запрещен
к индексации в файле robots.txt, или при обращении к robots.txt сервер
вернул ошибку 5xx.

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

10. "mod_security"

Сообщение от nio (ok) on 15-Ноя-05, 05:39  (MSK)

>>Потому что когда он пытался проиндексировать твой сайт, robots.txt был недоступен. Подожди
>>пока yandex повторит попытку. Это примерно недели 2-3. Если будет и
>>дальше повторятся, тогда пиши, а сейчас всё должно быть нормально.
>
>Так я ручками на http://webmaster.yandex.ru
>вписываю этот сайт и получаю сообщение об ошибке, хотя по идее должен
>
>сказать что всё ок и ждите результата, а не это:
>
>Адрес www.vdovinko.ru не был внесен в базу Яндекса, так как он запрещен
>
>к индексации в файле robots.txt, или при обращении к robots.txt сервер
>вернул ошибку 5xx.

То что ты вписываешь его ручками на webmaster.yandex.ru означает лишь то, что он ставится в очередь индексирования, которая занята недели на 3 вперёд. И вплоть до повторного индексирования ты будешь видеть эту ошибку.

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

11. "mod_security"

Сообщение от nece on 15-Ноя-05, 23:02  (MSK)

>То что ты вписываешь его ручками на webmaster.yandex.ru означает лишь то, что
>он ставится в очередь индексирования, которая занята недели на 3 вперёд.
>И вплоть до повторного индексирования ты будешь видеть эту ошибку.
Не ты не прав, вот эту строчку в httpd.conf в разделе mod_security
я закоментировал и всё стало ок:
# Only allow our own test utility to send requests (or Mozilla)
#SecFilterSelective HTTP_USER_AGENT "!(mod_security|mozilla)"

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

12. "mod_security"

Сообщение от nio (ok) on 18-Ноя-05, 06:34  (MSK)

>Не ты не прав, вот эту строчку в httpd.conf в разделе mod_security
>
>я закоментировал и всё стало ок:
>
># Only allow our own test utility to send requests (or Mozilla)
>
>#SecFilterSelective HTTP_USER_AGENT "!(mod_security|mozilla)"

Всё может быть.
У меня такойпроблемы небыло. Я просто оставил заявку на индексацию, которую ждал недели 3 :)
Если проблема решена, то поздравляю!
P.S. А может просто совпадение?

Удалить Правка | Высказать мнение | Ответить | Рекомендовать в FAQ | Cообщить модератору | Наверх

Архив | Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ]

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "mod_security"
Сообщение от nio (ok) on 12-Ноя-05, 09:12 (MSK)
>Проблема следующая. > >Не могу проиндексить сайт на поисковиках. >Пишет: > >Адрес www.mydomen.ru не был внесен в базу Яндекса, так как он запрещен >к индексации в файле robots.txt, или при обращении к robots.txt сервер >вернул ошибку 5xx. > >Хотя robots.txt имеется, такое ощущение что режет mod_security. > >Вопрос как mod_security указать что robots.txt не надо запрешать? А если в браузере написать www.mydomen.ru/robots.txt что происходит?
Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	2. "mod_security"
	Сообщение от nece on 12-Ноя-05, 19:38 (MSK)
	>А если в браузере написать www.mydomen.ru/robots.txt что происходит? Вижу содержимое этого файла http://www.vdovinko.ru/robots.txt # For all robots User-agent: * Disallow: /img/ Disallow: /css/ Disallow: /msg.php
	Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	3. "mod_security"
	Сообщение от nece on 12-Ноя-05, 19:55 (MSK)
	Но содержимое robots.txt вижу только из внутренней сетки, с наружи даёт ошибку 500 $links www.vdovinko.ru/robots.txt 500 Internal Server Error Internal Server Error The server encountered an internal error or misconfiguration and was unable to complete your request. Please contact the server administrator, support@lancronix.ru and inform them of the time the error occurred, and anything you might have done that may have caused the error. More information about this error may be available in the server error log.
	Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	4. "mod_security"
	Сообщение от nio (ok) on 13-Ноя-05, 11:28 (MSK)
	>Но содержимое robots.txt вижу только из внутренней сетки, >с наружи даёт ошибку 500 > > > >$links www.vdovinko.ru/robots.txt > > 500 Internal Server Error > > > > Internal Server Error > > The server encountered an internal error or misconfiguration and >was unable to complete your request. > > Please contact the server administrator, support@lancronix.ru and inform them >of the time the error occurred, and anything you might have >done that may have caused the error. > More information about this error may be available in >the server error log. Ну дак "More information about this error may be available in the server error log"... что там написано?
	Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	5. "mod_security"
	Сообщение от nece on 14-Ноя-05, 00:37 (MSK)
	>Ну дак "More information about this error may be available in the >server error log"... что там написано? В логах апача: Access.log 213.180.216.253 - - [12/Nov/2005:02:22:20 +0300] "GET /robots.txt HTTP/1.1" 500 540 Error.log [Sat Nov 12 02:22:20 2005] [error] [client 213.180.216.253] mod_security: Access denied with code 500. Pattern match "!(mod_security\|mozilla)" at HEADER. [hostname "www.vdovinko.ru"] [uri "/robots.txt"]
	Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	6. "mod_security"
	Сообщение от nece on 14-Ноя-05, 02:22 (MSK)
	Вот полный лог access_log 213.180.216.253 - - [14/Nov/2005:02:13:16 +0300] "GET /robots.txt HTTP/1.1" 500 540 error_log [Mon Nov 14 02:13:16 2005] [error] [client 213.180.216.253] mod_security: Access denied with code 500. Pattern match "!(mod_security\|mozilla)" at HEADER. [hostname "www.vdovinko.ru"] [uri "/robots.txt"] audit_log ======================================== Request: 213.180.216.253 - - [14/Ноя/2005:02:13:16 +0300] "GET /robots.txt HTTP/1.1" 500 540 Handler: (null) ---------------------------------------- GET /robots.txt HTTP/1.1 Connection: Keep-Alive From: webadmin@yandex.ru Host: www.vdovinko.ru User-Agent: Yandex/1.03.003 (compatible; Win16; D) mod_security-message: Access denied with code 500. Pattern match "!(mod_security\|mozilla)" at HEADER. mod_security-action: 500 HTTP/1.1 500 Internal Server Error Connection: close Transfer-Encoding: chunked Content-Type: text/html; charset=iso-8859-1
	Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	7. "mod_security"
	Сообщение от nece on 14-Ноя-05, 03:04 (MSK)
	Не пойму чт оне так. В логи пишет то что выше, но при запросе через инет http://www.vdovinko.ru/robots.txt вижу содержимое: # For all robots User-agent: * Disallow: /img/ Disallow: /css/ Disallow: /msg.php Почему тогда не индексирует и пишет: Адрес www.vdovinko.ru не был внесен в базу Яндекса, так как он запрещен к индексации в файле robots.txt, или при обращении к robots.txt сервер вернул ошибку 5xx.
	Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	8. "mod_security"
	Сообщение от nio (ok) on 14-Ноя-05, 12:52 (MSK)
	>Не пойму чт оне так. > >В логи пишет то что выше, но при запросе через инет http://www.vdovinko.ru/robots.txt > > >вижу содержимое: > ># For all robots >User-agent: * >Disallow: /img/ >Disallow: /css/ >Disallow: /msg.php > > > > >Почему тогда не индексирует и пишет: > >Адрес www.vdovinko.ru не был внесен в базу Яндекса, так как он запрещен >к индексации в файле robots.txt, или при обращении к robots.txt сервер >вернул ошибку 5xx. Ты совсем меня запутал. Раньше ты вроде говорил что с наружи ошибку выдаёт. Ну да ладно. Сейчас я вижу твой robots.txt, значит и yandex должен увидеть. >Почему тогда не индексирует и пишет:... Потому что когда он пытался проиндексировать твой сайт, robots.txt был недоступен. Подожди пока yandex повторит попытку. Это примерно недели 2-3. Если будет и дальше повторятся, тогда пиши, а сейчас всё должно быть нормально.
	Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	9. "mod_security"
	Сообщение от nece on 14-Ноя-05, 15:06 (MSK)
	>Потому что когда он пытался проиндексировать твой сайт, robots.txt был недоступен. Подожди >пока yandex повторит попытку. Это примерно недели 2-3. Если будет и >дальше повторятся, тогда пиши, а сейчас всё должно быть нормально. Так я ручками на http://webmaster.yandex.ru вписываю этот сайт и получаю сообщение об ошибке, хотя по идее должен сказать что всё ок и ждите результата, а не это: Адрес www.vdovinko.ru не был внесен в базу Яндекса, так как он запрещен к индексации в файле robots.txt, или при обращении к robots.txt сервер вернул ошибку 5xx.
	Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	10. "mod_security"
	Сообщение от nio (ok) on 15-Ноя-05, 05:39 (MSK)
	>>Потому что когда он пытался проиндексировать твой сайт, robots.txt был недоступен. Подожди >>пока yandex повторит попытку. Это примерно недели 2-3. Если будет и >>дальше повторятся, тогда пиши, а сейчас всё должно быть нормально. > >Так я ручками на http://webmaster.yandex.ru >вписываю этот сайт и получаю сообщение об ошибке, хотя по идее должен > >сказать что всё ок и ждите результата, а не это: > >Адрес www.vdovinko.ru не был внесен в базу Яндекса, так как он запрещен > >к индексации в файле robots.txt, или при обращении к robots.txt сервер >вернул ошибку 5xx. То что ты вписываешь его ручками на webmaster.yandex.ru означает лишь то, что он ставится в очередь индексирования, которая занята недели на 3 вперёд. И вплоть до повторного индексирования ты будешь видеть эту ошибку.
	Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	11. "mod_security"
	Сообщение от nece on 15-Ноя-05, 23:02 (MSK)
	>То что ты вписываешь его ручками на webmaster.yandex.ru означает лишь то, что >он ставится в очередь индексирования, которая занята недели на 3 вперёд. >И вплоть до повторного индексирования ты будешь видеть эту ошибку. Не ты не прав, вот эту строчку в httpd.conf в разделе mod_security я закоментировал и всё стало ок: # Only allow our own test utility to send requests (or Mozilla) #SecFilterSelective HTTP_USER_AGENT "!(mod_security\|mozilla)"
	Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх


	12. "mod_security"
	Сообщение от nio (ok) on 18-Ноя-05, 06:34 (MSK)
	>Не ты не прав, вот эту строчку в httpd.conf в разделе mod_security > >я закоментировал и всё стало ок: > ># Only allow our own test utility to send requests (or Mozilla) > >#SecFilterSelective HTTP_USER_AGENT "!(mod_security\|mozilla)" Всё может быть. У меня такойпроблемы небыло. Я просто оставил заявку на индексацию, которую ждал недели 3 :) Если проблема решена, то поздравляю! P.S. А может просто совпадение?
	Удалить	Правка \| Высказать мнение \| Ответить \| Рекомендовать в FAQ \| Cообщить модератору \| Наверх

Архив \| Удалить	Индекс форумов \| Темы \| Пред. тема \| След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 \| 2 \| 3 \| 4 \| 5 ]