URL: https://www.opennet.ru/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 115929
[ Назад ]

Исходное сообщение
"Выпуск GNU Wget 1.20"

Отправлено opennews , 30-Ноя-18 10:00 
Состоялся (https://www.mail-archive.com/info-gnu@gnu.org/msg02523....) релиз GNU Wget 1.20 (http://www.gnu.org/software/wget/), программы для автоматизации загрузки контента с использованием протоколов HTTP и FTP. В новой версии:


-  Представлена опция "--retry-on-host-error", позволяющая после определённой задержки продолжить попытки загрузки в случае возникновения ошибок из-за проблем на локальной системе.
-  Добавлена возможность сборки с GnuTLS  3.6.3 и обеспечена поддержка TLS 1.3.
-  Реализована поддержка использования libpcre2 для обработки регулярных выражений;
-  Добавлена возможность использования опций --{accept,reject}-regex для фильтрации файлов по регулярному выражению в процессе рекурсивной загрузки по FTP;
-  Устранены проблемы, приводящие к утечке ресурсов.

URL: https://www.mail-archive.com/info-gnu@gnu.org/msg02523....
Новость: https://www.opennet.ru/opennews/art.shtml?num=49686


Содержание

Сообщения в этом обсуждении
"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 10:47 
Так оно ж уже устарело, curl - наше все?

"Выпуск GNU Wget 1.20"
Отправлено user , 30-Ноя-18 12:50 
https://curl.haxx.se/docs/faq.html#What_is_curl_not

Curl is not a wget clone. That is a common misconception. Never, during curl's development, have we intended curl to replace wget or compete on its market. Curl is targeted at single-shot file transfers.


"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 13:32 
>  Curl is targeted at single-shot file transfers.

И... чем это отличается от wget?


"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 13:36 
> И... чем это отличается от wget?

вот я тут и пишу: https://www.opennet.ru/openforum/vsluhforumID3/115929.html#20 что

> а curl для нубов
> нубов

Еще под анонимом пишут. Заведите уже учетку, вам это нужно, т.к. без неё вы совсем никто.


"Выпуск GNU Wget 1.20"
Отправлено Andrey Mitrofanov , 30-Ноя-18 13:46 
>>  Curl is targeted at single-shot file transfers.
> И... чем это отличается от wget?

Он умеет в докачку[i]!


"Выпуск GNU Wget 1.20"
Отправлено user , 30-Ноя-18 15:19 
facepalm
RTFM
https://www.gnu.org/software/wget/manual/html_node/Download-...
wget -c

"Выпуск GNU Wget 1.20"
Отправлено Andrey Mitrofanov , 30-Ноя-18 15:23 
> facepalm

Извините, я непонтяно с первого раза. Конечно, вгет "отличается" докачкой от одно-шотового курла.

> RTFM
> wget -c


"Выпуск GNU Wget 1.20"
Отправлено Аноним Анонимович Анонимов , 30-Ноя-18 20:33 
cURL тоже умеет в продолжение закачки.
curl -L -O -C url

"Выпуск GNU Wget 1.20"
Отправлено evkogan , 30-Ноя-18 15:34 
Они разные.
curl умеет авторизацию на проксе NTLM. пару лет назад wget не умел точно.
Зато wget умеет докачку и выкачку кучи файлов рекурсивно, по списку и т.п.
Сейчас вон еще регекспы допилили.
Но если надо дергать API, то это лучше делать curl'ом.
Это тот случай когда 2 утилиты дополняют друг друга.

"Выпуск GNU Wget 1.20"
Отправлено commiethebeastie , 30-Ноя-18 21:42 
Curl в первую очередь - библиотека.

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 11:29 
А зачем нужен wget, если есть curl?
Если можно, кратенько для не очень сообразительных. Спасибо.

"Выпуск GNU Wget 1.20"
Отправлено АнониМ , 30-Ноя-18 11:49 
wget монолитный, у него минимум зависимостей. это иногда бывает удобно для простого скриптового использования. так же сложилось впечатление, что wget лучше работает на плохих каналах, но это сейчас фиг встретишь.

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 13:12 
>лучше работает на плохих каналах, но это сейчас фиг встретишь

За пределами МКАДа и не такое встретить можно.


"Выпуск GNU Wget 1.20"
Отправлено Изи , 30-Ноя-18 13:20 
На действительно плохих каналах ни curl, ни wget не актуальны.

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 13:37 
> $ man wget
> -t number
> --tries=number
> Set number of retries to number.  Specify 0 or inf for infinite retrying.  The default ...

"Выпуск GNU Wget 1.20"
Отправлено Изи , 30-Ноя-18 13:52 
И что это перекачивать сначала до посинения. links кстати умеет в докачку)

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 15:01 
links-у надо каждый раз запускать скачивание руками.

"Выпуск GNU Wget 1.20"
Отправлено Аноним Анонимович Анонимов , 30-Ноя-18 20:35 
Будет пытаться скачать 999 раз с места разрыва без полного скачивания заново.
curl -L -O --retry 999 --retry-max-time 0 -C - http://url

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 15:02 
> --tries=number

А есть опция автоматически рвать связь при падении скорости ниже заданного порога за заданное время?


"Выпуск GNU Wget 1.20"
Отправлено хрю , 30-Ноя-18 17:50 
>А есть опция автоматически рвать связь при падении скорости ниже заданного порога за заданное время?

Напрямую нет, но для многих ситуаций можно сделать костыль, от read-timeout, до wait-random, если скорость снижают принудительно при "наглой" скачке. До скриптового убийства по timeout и reконнкета.


"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 20:09 
Вот кстати libcurl есть, а libwget?

"Выпуск GNU Wget 1.20"
Отправлено АнониМ , 01-Дек-18 10:30 
>Вот кстати libcurl есть, а libwget?

в первых строках письма было - wget это монолит с минимумом зависимостей.


"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 14:59 
> wget монолитный

cygwin-овский тянет библиотеки cygwin. GNU-Win-овский тянет библиотеки libcharset1.dll, libiconv2.dll, libintl3.dll, readline5.dll и zlib1.dll. Плюс SSL, если нужен. Из перечисленного curl требует только SSL.

> wget лучше работает на плохих каналах

На плохих каналах, где связь может стопориться и висеть, не обрываясь, для скачивания больших файлов полезно запускать curl в цикле с ключами -Y, -y и -C - . И даже без -C для сайтов, не поддерживающих докачку, бывает полезно -- когда может висеть дольше, чем скачает гигабайт заново. Wget умеет докачивать, но умеет ли он при падении скорости рвать связь и переподключаться?

Wget полезен именно в качестве комбайна. Где curl-у нужен скрипт-обвязка, wget-у иногда хватает 1 опции в командной строке. Таймстэмпы, локализация линков, "паук"... Правда, далеко не все ситуации авторы предусмотрели, а что предусмотрели -- не всегда продумали до конца. Например, wget не умеет НЕ скачивать html, запрещённый фильтром -X. Если видит -- обязательно скачает, потом сверится и удалит.


"Выпуск GNU Wget 1.20"
Отправлено Аноним , 01-Дек-18 06:17 
У курла тоже нет неотключаемых зависмостей, и сделать статический бинарник просто

"Выпуск GNU Wget 1.20"
Отправлено Ilya Indigo , 30-Ноя-18 12:20 
wget - качалка
curl - минибраузер

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 13:26 
Опять лохи со своим curl. Я посмотрю как вы отмиррорите сайт с рекурсивной обработкой, ограничением по глубине и фильтрацией по регексам.

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 20:11 
Ну как вооружившись python+pycurl+re+html5(парсер от гугл) чего ты там еще сказал надо сделать? Ты главное деньги подготовь и все тебе напишут будет. Любые извращения за деньги ;) За дополнительную плату можно собрать старый код на старом ядре на старом железе в мокром подвале и т.д.

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 21:07 
я на одном perl сделаю все что надо и не надо, без жирных python и прочей требухи

"Выпуск GNU Wget 1.20"
Отправлено Анонн , 30-Ноя-18 22:21 
> без жирных python и прочей требухи

Что там с youtube-dl (используется для проигрывания в коди/mpv/небраузере не только тытруба, но и пары сотен других ресурсов), уже наконец на сишку или хотя бы на перл переписали?



"Выпуск GNU Wget 1.20"
Отправлено Аноним , 01-Дек-18 03:34 
> youtube-dl..уже наконец на сишку или хотя бы на перл переписали?

зачем?


"Выпуск GNU Wget 1.20"
Отправлено Анонн , 01-Дек-18 19:35 
>> youtube-dl..уже наконец на сишку или хотя бы на перл переписали?
> зачем?

За этим:
> я на одном perl сделаю все что надо и не надо, без жирных python и прочей требухи
>


"Выпуск GNU Wget 1.20"
Отправлено Zulu , 30-Ноя-18 20:13 
человек, у которого бывает задача "отмиррорить сайт wget'ом", называет кого-то лохом. Opennet продолжает доставлять.

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 21:06 
Хорошо что у вас мышление ограничено вашим кругозором.

"Выпуск GNU Wget 1.20"
Отправлено Анонн , 30-Ноя-18 21:01 
> Опять лохи со своим curl. Я посмотрю как вы отмиррорите сайт с
> рекурсивной обработкой, ограничением по глубине и фильтрацией по регексам.

Опять лохи со своими велосипедами и гироскутерами, а не карьерными самосвалами.
Я посмотрю, как вы будете 40 тонн песка за раз на них возить, ха!

https://www.cvedetails.com/vulnerability-list/vendor_id-72/p...
vs.
https://www.cvedetails.com/vulnerability-list/vendor_id-2852...


"Выпуск GNU Wget 1.20"
Отправлено Изи , 30-Ноя-18 13:28 
Мини браузер это links и lynx кстати их тоже можно использовать как качалки.

"Выпуск GNU Wget 1.20"
Отправлено Ilya Indigo , 30-Ноя-18 13:31 
> Мини браузер это links и lynx кстати их тоже можно использовать как
> качалки.

Под мини браузером я имел ввиду инструмент для обращения к API и для тестирования web-сервера.
Автор просил кратко.


"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 13:38 
> инструмент для обращения к API и для тестирования web-сервера
> libwww же

"Выпуск GNU Wget 1.20"
Отправлено Andrey Mitrofanov , 30-Ноя-18 13:52 
>инструмент для обращения к API и
> для тестирования web-сервера.

wget -dO - https://www.opennet.ru/ 2>&1 |less

Или Вам "быстро" PUT-ов/POST-ов/REST-ов?  Месье эстет.


"Выпуск GNU Wget 1.20"
Отправлено Изи , 30-Ноя-18 13:14 
Начнём с того что может он и не нужен, но идёт в убунте из коробки. Поэтому и нужен.

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 13:27 
Ты сам не нужен! Чем backup'ы делат? Вручную по url через curl? - Вот мне делать нефиг.

"Выпуск GNU Wget 1.20"
Отправлено Изи , 30-Ноя-18 13:29 
Ты наверно ветку не читал, но из коробки идёт wget. А бекапы делаются через rsync оленюшко.

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 13:34 
Покажешь как сделать backup контента сайта через rsync с рекурсивной обработкой, ограничением по глубине и фильтрацией по регексам?

"Выпуск GNU Wget 1.20"
Отправлено нах , 30-Ноя-18 14:21 
быстро слить структурку вложенных каталожков (или вообще то-незнаю-что, но есть линк на верхний ресурс) - wget.
подергать очередной уродливый api - curl.


"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 12:27 
wget - для старых пердунов, а curl - для продвинутой молодёжи

"Выпуск GNU Wget 1.20"
Отправлено Andrey Mitrofanov , 30-Ноя-18 13:03 
> wget - для старых пердунов, а curl - для продвинутой молодёжи

Молодые и[-ноходц-]ы выбирают [_      ].


"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 13:30 
> wget - для старых пердунов, а curl - для продвинутой молодёжи

wget для тех у кого задачи не решаются через curl, а curl для нубов которым его вполне хватает.

// пофиксил, не благодари


"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 14:59 
curl легко может заменить wget, а вот проделать обратное не получится

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 15:03 
Только если есть bash и sed. Или perl. Или другой скриптовый язык.

"Выпуск GNU Wget 1.20"
Отправлено аноним3 , 30-Ноя-18 16:48 
давайте все на GO)))) или rubi на худой конец))) и вообще на что угодно только не верблюда))) ахахах

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 18:10 
> curl легко может

s/легко/не легко/

s/может/не может/

пофиксил, не благодари


"Выпуск GNU Wget 1.20"
Отправлено Акакжев , 30-Ноя-18 18:23 
Семантика сохранилась.

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 21:08 
+запятую

"Выпуск GNU Wget 1.20"
Отправлено Andrey Mitrofanov , 03-Дек-18 13:09 
> Семантика сохранилась.

С одной стороны да https://ru.wikipedia.org/wiki/%D0%97%D0%...
, сдругой стороны нет http://progstone.narod.ru/reciprocality/r2/
.

" И тут снова два варианта. " // " С одной стороны гриба... "


"Выпуск GNU Wget 1.20"
Отправлено Акакжев , 03-Дек-18 15:48 
>> Семантика сохранилась.
> С одной стороны да https://ru.wikipedia.org/wiki/п≈п╟п╨п╬п╫_п╢п╡п╬п╧п╫п╬пЁп╬_п╬я┌я─п╦я├п╟п╫п╦я▐
> , сдругой стороны нет http://progstone.narod.ru/reciprocality/r2/
> .
> " И тут снова два варианта. " // " С одной стороны
> гриба... "

Стакан априори наполовину полон.

— Почему бы по этому поводу нам не выпить по 50 капель из бутылки Клейна?
— Почему бы и нет?
— Ну что ж... нет, так нет.


"Выпуск GNU Wget 1.20"
Отправлено гтщс_г34 , 30-Ноя-18 12:56 
--retry-on-host-error << Несколько лет назад, когда канал передачи данных была плохая, я очень нуждался в этой опции. Думаю и щас она понадобится. Спасибо за пост.

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 13:35 
> я очень нуждался в этой опции

ее бы хорошо в git-clone(fetch) встроить. С гитхаба частенько не качается


"Выпуск GNU Wget 1.20"
Отправлено Andrey Mitrofanov , 30-Ноя-18 14:03 
>гитхаба частенько не качается

Копи денежку на платный акк -- скоро от Микрософта[I]!


"Выпуск GNU Wget 1.20"
Отправлено Аноним , 02-Дек-18 05:45 
ты не понял, мне приходится зеркалить нужные либы к себе со всяких неработающих помоек типа github. Чем быстрее мс начнет собирать денежки за воздух, тем быстрее гх сдохнет, аминь

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 14:23 
wget https://ftp.gnu.org/gnu/wget/wget-1.20.tar.gz

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 15:41 
Для загрузки исходников wget скачайте их с нашего сайта с помощью wget.

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 16:15 
Старая дурацкая шутка.

Распакуйте новый unzip старой версией unzip.
Скомпилируйте новый gcc старой версией gcc.
Скачайте браузер другим браузером.
И не забудьте обновить TLS-сертификаты через TLS-соединение.


"Выпуск GNU Wget 1.20"
Отправлено th3m3 , 30-Ноя-18 17:24 
Или в догонку - чтобы установить драйвера на модем, нужно вставить диск с драйверами в CD-привод, а драйвера для CD-привода в интернете...

"Выпуск GNU Wget 1.20"
Отправлено аноним3 , 30-Ноя-18 17:50 
знаете вот так и переходят на линукс))) дров нет, сети нет, а винда не держит видео и звук. и тут хоп и дист линукса на болванке))))) и там все работает из коробки. как минимум комп)))) да было время)))

"Выпуск GNU Wget 1.20"
Отправлено Акакжев , 30-Ноя-18 18:27 
Помню драйвера для CD-приводов, были они на дискетах и для DOS.

"Выпуск GNU Wget 1.20"
Отправлено аноним3 , 30-Ноя-18 18:33 
вот этого не застал))) но доки для института на таких таскал))) потом уже на флешке)) 256 мб была .... крутота))) а теперь в ноуте одной оперативы больше чем весь жесткий тогда. самое смешное что все зря. ща если на них мандриву 2005 или кнопих пихнуть эт наверно как дос сейчас будет)))

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 20:15 
Ох уж эти молодые совсем ничего не знают. А я помню одна женьщина загружалась 45 минут с сети ...

"Выпуск GNU Wget 1.20"
Отправлено Аноним3 , 30-Ноя-18 22:15 
не было же еще вроде телепорта))) или уже завезли?))) а если по делу то wget стабильнее, по крайней мере на простораз за кольцом мкад)))

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 30-Ноя-18 21:30 
HTTP/3/QUIC не завезли?

"Выпуск GNU Wget 1.20"
Отправлено Gannet , 01-Дек-18 04:39 
Wget встроен в ОСь. Его используют пакетные менеджеры. От него ни куда не деться. Но для собственных загрузок я использую Aria2 с её фичами.

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 01-Дек-18 21:04 
Эх, если бы кто-то научил wget нормально скачивать файлы... Цены бы ему не было...
А так, ни нормальной ntlm-авторизации, ни socks5 proxy, ничего...
В общем, никому не нужный пережиток 90-х.

"Выпуск GNU Wget 1.20"
Отправлено Аноним , 02-Дек-18 15:08 
В отличие от wget, aria2 умеет в многопоток и качать торренты.

"Выпуск GNU Wget 1.20"
Отправлено Andrey Mitrofanov , 03-Дек-18 13:13 
> В отличие от wget, aria2 умеет в многопоток и качать торренты.

git:// с докачкой научится -- пусть заходит.