https://opennet.ru/openforum/vsluhforumID3/138252.html Для отсеивания ботов, агрессивно [[https://www.opennet.ru/opennews/art.shtml?num=62925 индексирующих]] контент, игнорируя правила из robots.txt, можно воспользоваться тем, что многие боты запрашивают заранее предопределённый набор страниц и не передают Cookie, выставленные в ответ на прошлые запросы. <br><br>Идея в том, чтобы при поступлении запроса проверять наличие определённой Cookie и если она отсутствует вместо запрошенного контента отдавать HTML-заглушку, возвращающую JavaScript-код для выставления Cookie и перенаправления пользователя на ту же страницу. При отправке запроса из браузера при первом входе запрос незаметно для пользователя будет проброшен через код установки Cookie. В промежуточном ответе используем код <br>ошибки HTTP [[https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/418 418]], информирующий о нежелании обрабатывать автоматизированные запросы.<br><br>Предложенный метод не отсеивает всех ботов, но проще в настройке и менее назойливый для посетителей, чем применение системы защит https://opennet.ru/openforum/vsluhforumID3/138252.html#44 Sun, 19 Apr 2026 21:07:07 GMT (и соответственно эти скрыто-майнинговые проверки на ботов, как и каптчи, покушаются на приватность, даже просто данных на винте)<br><br> https://opennet.ru/openforum/vsluhforumID3/138252.html#43 Sun, 19 Apr 2026 21:01:07 GMT У прокси бывают разные страны.<br> https://opennet.ru/openforum/vsluhforumID3/138252.html#42 Sun, 19 Apr 2026 20:36:59 GMT Нормальный это запрещающий вообще все. Как и сливной JS.<br><br> https://opennet.ru/openforum/vsluhforumID3/138252.html#41 Sun, 19 Apr 2026 20:21:33 GMT &gt; юрисдикция присоединилась к конвенции ООН об обмене информацией.<br><br>Дальше можно не читать<br> https://opennet.ru/openforum/vsluhforumID3/138252.html#40 Sun, 19 Apr 2026 20:17:50 GMT &gt; Подрубать "серым" клиентам скорость соединений/коннекты. Чтобы поток парсера максимально долго торчал в памяти на той стороне, читая по чайной ложке. <br><br>А, так вот почему у меня постоянно через прокси на некоторых IP - opennet(заблокирванный в моей стране) грузит по "пару байт минуту", теперь буду знать... "защита" от обучения ИИ, сюрмор!<br> https://opennet.ru/openforum/vsluhforumID3/138252.html#39 Sun, 19 Apr 2026 20:08:01 GMT Что помешает ИИ или боту выдать себя за такого...<br><br> https://opennet.ru/openforum/vsluhforumID3/138252.html#38 Sun, 19 Apr 2026 20:06:25 GMT &gt; При обнаружении бота - слать его в tarpit, лимитировать число запросов десятью <br>&gt; и отдавать со скоростью 100 байт в секунду.<br><br>А, он возмёт автоматически или обидется и заДДОСИТ тебя/твоегохостера с нескольких десятков-сотен миллионов IP :] Т.б.ныне же боты поумнели. Я уж не говорю - взломает сайт и пройдёт защиту .] <br>А, если это бот спеуслужб или опг [типа моссад и т.п.], в т.ч.мимикрируюих под что угодно, <br>то, это же дело уже принципа доступность к данным. <br>И лимитируй, не лимитируй... <br><br><br> https://opennet.ru/openforum/vsluhforumID3/138252.html#37 Sun, 19 Apr 2026 19:57:50 GMT &gt; Можно будет продавать данные. <br><br>Не можно а, не сомневайся - продаёт владельцам ИИ, естественно сами владельцы сайтов - "идут лесом".<br><br><br>&gt; как можно отличить поискового бота от AI? Суть ведь их работы одна и та же - собирать данные.<br><br>Прикол же ещё в том что, поисковые запросы уверен кроме официально ещё и не официально проверяют сайты, под видом реальных пользователей, а то и с аккаунтами. Иначе же легко туфту поисковику подсовывать в итоге - пользователи будут получать совсем не тот контент который обещает поисковик... <br><br><br><br><br>&gt; статья: (JS) защиты от ботов<br><br>Скорей, вред пользователям за некоторыми типами прокси.. в т.ч.и Cookies авто-режущими, т.б.в наши времена...<br> https://opennet.ru/openforum/vsluhforumID3/138252.html#36 Sun, 29 Mar 2026 16:05:18 GMT Куки в боте нет вообще никакой проблемы выставлять. Это тривиально делается в httpx. Как и подделка хедеров под браузер. Но это всё - проигранная игра, я уже сказал - на гитхабе в последнее время все скрейперы почти поголовно на Microsoft Playwright написаны, видимо клод натренировали именно его юзать. На куку на домен общее максимум полмегабайта хранить можно, но учитывая что инстанс браузера минимум сотни мегов жрёт, и им - ОК, так вы ботов не заблокируете. Некоторым и нейросеть ведь крутить ресурсов хватает, а это уже десятки гигов для имеющей смысл нейросети, ведь без пропускания через нейросеть скрейпинг почти бесполезен, ни парсинг яндекс томита-парсером (GLR-парсер ... но для естественного языка), ни Stanford NER нужного качества вам не обеспечат, только БЯМ. Так что даже требуя полноценный браузер вы ботов не заблокируете. Даже если вы на просто просмотр каптчу поставите, так вы мощных ботов не заблокируете, для её распознавания нейронка на MobileViT всего 10 мегов весила, 10000 классов объектов, 5 ле