https://opennet.ru/openforum/vsluhforumID3/139430.html Как один из вариантов борьбы с AI-скрапперами, создающими огромную паразитную нагрузку на сервер, [[https://sheep.horse/2026/3/blocking_http1.1_-_some_results.html предложено]] ограничить доступ к сайту по протоколу HTTP/2 и полностью отключить поддержку HTTP/1.0 и HTTP/1.1. Логика подобного решения в том, что все современные браузеры поддерживают HTTP/2, а боты почти всегда обращаются к сайтам по HTTP/1.1 и пока не пытаются использовать HTTP/2 в случае невозможности отправить запрос на HTTP/1.1. <br><br>При этом важно учесть, что RSS-ридеры и полезные поисковые боты, такие как Google Bot, также ограничены использованием HTTP/1.1 и для них необходимо сделать исключение.<br><br>Пример правил для http-сервера Caddy, возвращающих клиенту ошибку при обращении по HTTP/1:<br><br> @http-too-old {<br> not protocol http/2+<br> not path /rss.xml /atom.xml # allow rss<br> # Белый список для поисковых ботов и старых браузеров<br> not header_regexp User-Agent (?i)(Google-Site-Verification&#124;googlebot&#124;bingbot& https://opennet.ru/openforum/vsluhforumID3/139430.html#23 Thu, 16 Apr 2026 14:49:47 GMT Альтман наносит ответный удар<br> https://opennet.ru/openforum/vsluhforumID3/139430.html#22 Sun, 12 Apr 2026 15:06:24 GMT Привет, разочарую вас, но мы (боты) не пользуемся curl. C уважением, ваш ИИ!<br> https://opennet.ru/openforum/vsluhforumID3/139430.html#21 Wed, 08 Apr 2026 19:59:49 GMT Для чего используете?<br> https://opennet.ru/openforum/vsluhforumID3/139430.html#20 Fri, 03 Apr 2026 06:45:05 GMT А чё боты не могут юзерагента поменять? Так себе предложение, уж совсем для начинающих.<br> https://opennet.ru/openforum/vsluhforumID3/139430.html#19 Wed, 01 Apr 2026 08:46:39 GMT Боты не пользуются curl-ом?<br> https://opennet.ru/openforum/vsluhforumID3/139430.html#17 Sat, 21 Mar 2026 02:08:17 GMT Смотря что скрейпить. Цены с сайтов конкурентов вполне хватает. Квартиру с этого не купишь, но детям на мороженое и бабе на цветы заработать можно, тем более что временные затраты на этот бизнес мизерные.<br> https://opennet.ru/openforum/vsluhforumID3/139430.html#16 Sat, 21 Mar 2026 02:04:47 GMT А я купил лот из 20 корпоративных лаптопов 2018 года, плачу пару баксов за residential proxy, на каждом лаптопе запускаю от четырёх до восьми копий хрома в зависимости от количества RAM, и бота, который ими рулит. У каждой копии отдельный профиль и отдельный прокси. Одна проблема: 20 лаптопов под нагрузкой шумят сильно и места занимают много, пришлось им в сарае сооружать полки чтобы спать не мешали. Так или иначе, но гигабит практически полностью утилизирует. Заодно разобрался как виндами из домена рулить и софт централизовано ставить. Хорошо сделали.<br> https://opennet.ru/openforum/vsluhforumID3/139430.html#15 Tue, 17 Mar 2026 11:40:18 GMT Это не наш вебдрайвер, вебдрайвер изначально вообще создавался как средство для тестирования самого браузера и веб-сайтов. Я помню времена, когда вебдрайвера вообще не было, а было расширение для Firefox, и к нему через сокет и клиентскую либу цеплялось, но уже не помню, как это расширение называлось, но тоже было для тестирования. Но когда файрфокс отжирает малую долю от инференса модели, считай что крутить страницу на файрфоксе, или крутить мегаоптимизированный скрипт - разницы никакой. Снявши голову по волосам не плачат, а те, кто модели инферят - именно голову сняли, и искусственную приставили.<br><br>&gt;Осталось найти желающих проплатить им ресурсов на это все<br><br>Ну если они себе такое позволяют, значит ресурсы у них есть. Это мы тут ниществуем, питон, мимикрия (хорошо, что сейчас либы есть, а 10 лет назад мне приходилось эти либы перелопачивать, просто чтобы завести туда поддержку современных методов сжатия), а в Америке давно уже знают, что люди всё, и ручной кодинг тоже всё, да и вообще наука всё, мясные до https://opennet.ru/openforum/vsluhforumID3/139430.html#14 Sun, 15 Mar 2026 06:09:07 GMT &gt; С ботами из сети Tencent как? оттуда валится столько запросов и входящего <br>&gt; трафика, что лучше из банить до http сервера.<br><br>Ну так поставь им -j DROP или что там у тебя - прямо по подсети их датацентров, что ты как маленький, файрвол никогда не видел?! Да, чайники очень наглые. И вынос их подсеток сильно разгружает сервера.<br><br>Просто посмотри какие подсетки в топчатре - посмотри чье это - и расчистка даже просто топ10 этого хитпарада уже сильно разгружает сервак. И да, в топе будут ДЦ алибабы и тенсента.<br>