The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Система распараллеливания shell-скриптов PaSh перешла под крыло Linux Foundation, opennews (??), 27-Сен-21, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


12. "Система распараллеливания shell-скриптов PaSh перешла под кр..."  +2 +/
Сообщение от Анонимemail (12), 28-Сен-21, 02:28 
а я gnu parallel пользовался
чем это лучше?
Ответить | Правка | Наверх | Cообщить модератору

38. "Система распараллеливания shell-скриптов PaSh перешла под кр..."  +1 +/
Сообщение от dikiy_f90 (?), 28-Сен-21, 10:08 
тем что как использователь parallel::думал ты
Ответить | Правка | Наверх | Cообщить модератору

51. "Система распараллеливания shell-скриптов PaSh перешла под кр..."  –1 +/
Сообщение от Michael Shigorinemail (ok), 28-Сен-21, 12:14 
Там ручками говоришь, тут JIT.  Кроме parallel(1) тоже есть несколько подобных реализаций именно той задачи -- например, Лёша Чеусов (vle) сделал paexec.
Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

129. "Система распараллеливания shell-скриптов PaSh перешла под кр..."  +/
Сообщение от freehckemail (ok), 29-Сен-21, 00:24 
> а я gnu parallel пользовался
> чем это лучше?

О, пользователь parallel. Очень рад встретиться. У меня с момента первого анонса parallel возник вопрос, на который я хотел бы получить ответ: что может parallel, чего не мог старый добрый xargs?

Я не в целях подъе***ть, мне правда интересно.

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

154. "Система распараллеливания shell-скриптов PaSh перешла под кр..."  +/
Сообщение от Stax (ok), 30-Сен-21, 02:35 
Он может жуткий синтаксис, в котором без пол-литры разобраться сложно. Каждый раз, когда вижу хитрую команду parallel, хочется развидеть это навсегда, даже не пытаясь понять, что там написано...

А по сути:
1) parallel имеет кучу способов передачи имен файлов для обработки, от передачи через список в командной строке до sql базы. xargs же, чтобы не ломаться на пробельных символах, может разве что читать с stdin с генератора, умеющего завершающие нули типа find -print0, а их мало и это не очень удобно
2) parallel не смешивает вывод параллельно выполняемых задач, xarg все превращает в кашу, а parallel буфферизирует по отдельности и выводит каждый полностью

Ответить | Правка | Наверх | Cообщить модератору

155. "Система распараллеливания shell-скриптов PaSh перешла под кр..."  +/
Сообщение от freehckemail (ok), 30-Сен-21, 14:54 
> Он может жуткий синтаксис, в котором без пол-литры разобраться сложно. Каждый раз,
> когда вижу хитрую команду parallel, хочется развидеть это навсегда, даже не
> пытаясь понять, что там написано...

Ну оно так часто бывает, когда смотришь на инструменты следующего поколения. Это не означает, что они хуже. Возможно, их просто слегонца неправильно использовали, и только. Ведь их практики применения относительно молоды.

> А по сути:
> 1) parallel имеет кучу способов передачи имен файлов для обработки, от передачи
> через список в командной строке до sql базы. xargs же, чтобы
> не ломаться на пробельных символах, может разве что читать с stdin
> с генератора, умеющего завершающие нули типа find -print0, а их мало
> и это не очень удобно

Нашёл, почитал. Узнал про GNU sql. Выглядит кстати весьма интересно.
В общем, я наверное посмотрю, что ещё оно может, спасибо. С xargs это всё тоже возможно, если правильно заранее обработать ввод тем же awk-ом, но это гораздо сложнее. А parallel имеет вон флаг --colsep, что довольно сильно упростит жизнь при парсинге.

В общем, спасибо. Заинтересовали.

> 2) parallel не смешивает вывод параллельно выполняемых задач, xarg все превращает в
> кашу, а parallel буфферизирует по отдельности и выводит каждый полностью

Но это отключаемо, надеюсь? А то бывают разные ситуации. Если задача сыплет в лог много, то буферизировать -- это большие накладные расходы.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру