Состоялся (https://www.mail-archive.com/info-gnu@gnu.org/msg02523....) релиз GNU Wget 1.20 (http://www.gnu.org/software/wget/), программы для автоматизации загрузки контента с использованием протоколов HTTP и FTP. В новой версии:
- Представлена опция "--retry-on-host-error", позволяющая после определённой задержки продолжить попытки загрузки в случае возникновения ошибок из-за проблем на локальной системе.
- Добавлена возможность сборки с GnuTLS 3.6.3 и обеспечена поддержка TLS 1.3.
- Реализована поддержка использования libpcre2 для обработки регулярных выражений;
- Добавлена возможность использования опций --{accept,reject}-regex для фильтрации файлов по регулярному выражению в процессе рекурсивной загрузки по FTP;
- Устранены проблемы, приводящие к утечке ресурсов.URL: https://www.mail-archive.com/info-gnu@gnu.org/msg02523....
Новость: https://www.opennet.ru/opennews/art.shtml?num=49686
Так оно ж уже устарело, curl - наше все?
https://curl.haxx.se/docs/faq.html#What_is_curl_notCurl is not a wget clone. That is a common misconception. Never, during curl's development, have we intended curl to replace wget or compete on its market. Curl is targeted at single-shot file transfers.
> Curl is targeted at single-shot file transfers.И... чем это отличается от wget?
> И... чем это отличается от wget?вот я тут и пишу: https://www.opennet.ru/openforum/vsluhforumID3/115929.html#20 что
> а curl для нубов
> нубовЕще под анонимом пишут. Заведите уже учетку, вам это нужно, т.к. без неё вы совсем никто.
>> Curl is targeted at single-shot file transfers.
> И... чем это отличается от wget?Он умеет в докачку[i]!
facepalm
RTFM
https://www.gnu.org/software/wget/manual/html_node/Download-...
wget -c
> facepalmИзвините, я непонтяно с первого раза. Конечно, вгет "отличается" докачкой от одно-шотового курла.
> RTFM
> wget -c
cURL тоже умеет в продолжение закачки.
curl -L -O -C url
Они разные.
curl умеет авторизацию на проксе NTLM. пару лет назад wget не умел точно.
Зато wget умеет докачку и выкачку кучи файлов рекурсивно, по списку и т.п.
Сейчас вон еще регекспы допилили.
Но если надо дергать API, то это лучше делать curl'ом.
Это тот случай когда 2 утилиты дополняют друг друга.
Curl в первую очередь - библиотека.
А зачем нужен wget, если есть curl?
Если можно, кратенько для не очень сообразительных. Спасибо.
wget монолитный, у него минимум зависимостей. это иногда бывает удобно для простого скриптового использования. так же сложилось впечатление, что wget лучше работает на плохих каналах, но это сейчас фиг встретишь.
>лучше работает на плохих каналах, но это сейчас фиг встретишьЗа пределами МКАДа и не такое встретить можно.
На действительно плохих каналах ни curl, ни wget не актуальны.
> $ man wget
> -t number
> --tries=number
> Set number of retries to number. Specify 0 or inf for infinite retrying. The default ...
И что это перекачивать сначала до посинения. links кстати умеет в докачку)
links-у надо каждый раз запускать скачивание руками.
Будет пытаться скачать 999 раз с места разрыва без полного скачивания заново.
curl -L -O --retry 999 --retry-max-time 0 -C - http://url
> --tries=numberА есть опция автоматически рвать связь при падении скорости ниже заданного порога за заданное время?
>А есть опция автоматически рвать связь при падении скорости ниже заданного порога за заданное время?Напрямую нет, но для многих ситуаций можно сделать костыль, от read-timeout, до wait-random, если скорость снижают принудительно при "наглой" скачке. До скриптового убийства по timeout и reконнкета.
Вот кстати libcurl есть, а libwget?
>Вот кстати libcurl есть, а libwget?в первых строках письма было - wget это монолит с минимумом зависимостей.
> wget монолитныйcygwin-овский тянет библиотеки cygwin. GNU-Win-овский тянет библиотеки libcharset1.dll, libiconv2.dll, libintl3.dll, readline5.dll и zlib1.dll. Плюс SSL, если нужен. Из перечисленного curl требует только SSL.
> wget лучше работает на плохих каналах
На плохих каналах, где связь может стопориться и висеть, не обрываясь, для скачивания больших файлов полезно запускать curl в цикле с ключами -Y, -y и -C - . И даже без -C для сайтов, не поддерживающих докачку, бывает полезно -- когда может висеть дольше, чем скачает гигабайт заново. Wget умеет докачивать, но умеет ли он при падении скорости рвать связь и переподключаться?
Wget полезен именно в качестве комбайна. Где curl-у нужен скрипт-обвязка, wget-у иногда хватает 1 опции в командной строке. Таймстэмпы, локализация линков, "паук"... Правда, далеко не все ситуации авторы предусмотрели, а что предусмотрели -- не всегда продумали до конца. Например, wget не умеет НЕ скачивать html, запрещённый фильтром -X. Если видит -- обязательно скачает, потом сверится и удалит.
У курла тоже нет неотключаемых зависмостей, и сделать статический бинарник просто
wget - качалка
curl - минибраузер
Опять лохи со своим curl. Я посмотрю как вы отмиррорите сайт с рекурсивной обработкой, ограничением по глубине и фильтрацией по регексам.
Ну как вооружившись python+pycurl+re+html5(парсер от гугл) чего ты там еще сказал надо сделать? Ты главное деньги подготовь и все тебе напишут будет. Любые извращения за деньги ;) За дополнительную плату можно собрать старый код на старом ядре на старом железе в мокром подвале и т.д.
я на одном perl сделаю все что надо и не надо, без жирных python и прочей требухи
> без жирных python и прочей требухиЧто там с youtube-dl (используется для проигрывания в коди/mpv/небраузере не только тытруба, но и пары сотен других ресурсов), уже наконец на сишку или хотя бы на перл переписали?
> youtube-dl..уже наконец на сишку или хотя бы на перл переписали?зачем?
>> youtube-dl..уже наконец на сишку или хотя бы на перл переписали?
> зачем?За этим:
> я на одном perl сделаю все что надо и не надо, без жирных python и прочей требухи
>
человек, у которого бывает задача "отмиррорить сайт wget'ом", называет кого-то лохом. Opennet продолжает доставлять.
Хорошо что у вас мышление ограничено вашим кругозором.
> Опять лохи со своим curl. Я посмотрю как вы отмиррорите сайт с
> рекурсивной обработкой, ограничением по глубине и фильтрацией по регексам.Опять лохи со своими велосипедами и гироскутерами, а не карьерными самосвалами.
Я посмотрю, как вы будете 40 тонн песка за раз на них возить, ха!https://www.cvedetails.com/vulnerability-list/vendor_id-72/p...
vs.
https://www.cvedetails.com/vulnerability-list/vendor_id-2852...
Мини браузер это links и lynx кстати их тоже можно использовать как качалки.
> Мини браузер это links и lynx кстати их тоже можно использовать как
> качалки.Под мини браузером я имел ввиду инструмент для обращения к API и для тестирования web-сервера.
Автор просил кратко.
> инструмент для обращения к API и для тестирования web-сервера
> libwww же
>инструмент для обращения к API и
> для тестирования web-сервера.wget -dO - https://www.opennet.ru/ 2>&1 |less
Или Вам "быстро" PUT-ов/POST-ов/REST-ов? Месье эстет.
Начнём с того что может он и не нужен, но идёт в убунте из коробки. Поэтому и нужен.
Ты сам не нужен! Чем backup'ы делат? Вручную по url через curl? - Вот мне делать нефиг.
Ты наверно ветку не читал, но из коробки идёт wget. А бекапы делаются через rsync оленюшко.
Покажешь как сделать backup контента сайта через rsync с рекурсивной обработкой, ограничением по глубине и фильтрацией по регексам?
быстро слить структурку вложенных каталожков (или вообще то-незнаю-что, но есть линк на верхний ресурс) - wget.
подергать очередной уродливый api - curl.
wget - для старых пердунов, а curl - для продвинутой молодёжи
> wget - для старых пердунов, а curl - для продвинутой молодёжиМолодые и[-ноходц-]ы выбирают [_ ].
> wget - для старых пердунов, а curl - для продвинутой молодёжиwget для тех у кого задачи не решаются через curl, а curl для нубов которым его вполне хватает.
// пофиксил, не благодари
curl легко может заменить wget, а вот проделать обратное не получится
Только если есть bash и sed. Или perl. Или другой скриптовый язык.
давайте все на GO)))) или rubi на худой конец))) и вообще на что угодно только не верблюда))) ахахах
> curl легко можетs/легко/не легко/
s/может/не может/
пофиксил, не благодари
Семантика сохранилась.
+запятую
> Семантика сохранилась.С одной стороны да https://ru.wikipedia.org/wiki/%D0%97%D0%...
, сдругой стороны нет http://progstone.narod.ru/reciprocality/r2/
." И тут снова два варианта. " // " С одной стороны гриба... "
>> Семантика сохранилась.
> С одной стороны да https://ru.wikipedia.org/wiki/п≈п╟п╨п╬п╫_п╢п╡п╬п╧п╫п╬пЁп╬_п╬я┌я─п╦я├п╟п╫п╦я▐
> , сдругой стороны нет http://progstone.narod.ru/reciprocality/r2/
> .
> " И тут снова два варианта. " // " С одной стороны
> гриба... "Стакан априори наполовину полон.
— Почему бы по этому поводу нам не выпить по 50 капель из бутылки Клейна?
— Почему бы и нет?
— Ну что ж... нет, так нет.
--retry-on-host-error << Несколько лет назад, когда канал передачи данных была плохая, я очень нуждался в этой опции. Думаю и щас она понадобится. Спасибо за пост.
> я очень нуждался в этой опцииее бы хорошо в git-clone(fetch) встроить. С гитхаба частенько не качается
>гитхаба частенько не качаетсяКопи денежку на платный акк -- скоро от Микрософта[I]!
ты не понял, мне приходится зеркалить нужные либы к себе со всяких неработающих помоек типа github. Чем быстрее мс начнет собирать денежки за воздух, тем быстрее гх сдохнет, аминь
wget https://ftp.gnu.org/gnu/wget/wget-1.20.tar.gz
Для загрузки исходников wget скачайте их с нашего сайта с помощью wget.
Старая дурацкая шутка.Распакуйте новый unzip старой версией unzip.
Скомпилируйте новый gcc старой версией gcc.
Скачайте браузер другим браузером.
И не забудьте обновить TLS-сертификаты через TLS-соединение.
Или в догонку - чтобы установить драйвера на модем, нужно вставить диск с драйверами в CD-привод, а драйвера для CD-привода в интернете...
знаете вот так и переходят на линукс))) дров нет, сети нет, а винда не держит видео и звук. и тут хоп и дист линукса на болванке))))) и там все работает из коробки. как минимум комп)))) да было время)))
Помню драйвера для CD-приводов, были они на дискетах и для DOS.
вот этого не застал))) но доки для института на таких таскал))) потом уже на флешке)) 256 мб была .... крутота))) а теперь в ноуте одной оперативы больше чем весь жесткий тогда. самое смешное что все зря. ща если на них мандриву 2005 или кнопих пихнуть эт наверно как дос сейчас будет)))
Ох уж эти молодые совсем ничего не знают. А я помню одна женьщина загружалась 45 минут с сети ...
не было же еще вроде телепорта))) или уже завезли?))) а если по делу то wget стабильнее, по крайней мере на простораз за кольцом мкад)))
HTTP/3/QUIC не завезли?
Wget встроен в ОСь. Его используют пакетные менеджеры. От него ни куда не деться. Но для собственных загрузок я использую Aria2 с её фичами.
Эх, если бы кто-то научил wget нормально скачивать файлы... Цены бы ему не было...
А так, ни нормальной ntlm-авторизации, ни socks5 proxy, ничего...
В общем, никому не нужный пережиток 90-х.
В отличие от wget, aria2 умеет в многопоток и качать торренты.
> В отличие от wget, aria2 умеет в многопоток и качать торренты.git:// с докачкой научится -- пусть заходит.