The OpenNET Project / Index page

[ новости /+++ | форум | wiki | теги | ]



"Раздел полезных советов: Случайная задержка в shell-скрипте, выполняемом из crontab"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Раздел полезных советов: Случайная задержка в shell-скрипте, выполняемом из crontab"  +/
Сообщение от auto_tips (??), 27-Июл-22, 14:45 
применимо в системах без anacron, без /etc/cron.[hourly|daily|weekly|monthly] и без systemd.

цель: чтобы вписать простую строку в crontab вида

   0 */8  * * * $HOME/bin/script.sh

но при этом иметь случайное начало работы (а не ровно 00:00, 08:00 и 16:00),
в начале script.sh нужно поместить

   R0=`dd if=/dev/urandom bs=1 count=4 status=none | od -t u4 | head -1 | cut -c 8-`
   sleep `echo "scale=0;" $R0 % 3601 | bc`

задержка будет случайная, равномерно распределённая в интервале от 0 до 3600 секунд.

URL:
Обсуждается: https://www.opennet.ru/tips/info/3207.shtml

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Случайная задержка в shell-скрипте, выполняемом из crontab"  +/
Сообщение от Аноним (1), 27-Июл-22, 14:45 
Чего только люди не придумают, чтобы jot не ставить
Ответить | Правка | Наверх | Cообщить модератору

7. "Случайная задержка в shell-скрипте, выполняемом из crontab"  +/
Сообщение от Аноним (7), 28-Июл-22, 10:54 
Люди про неё не знают.
Ответить | Правка | Наверх | Cообщить модератору

12. "Случайная задержка в shell-скрипте, выполняемом из crontab"  –1 +/
Сообщение от Аноним (12), 28-Июл-22, 23:46 
>  Чего только люди не придумают, чтобы systemd не ставить

// fix

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

2. "Случайная задержка в shell-скрипте, выполняемом из crontab"  +8 +/
Сообщение от grayich (ok), 27-Июл-22, 14:52 
sleep $((RANDOM % 3600)) 
sleep $(shuf -i 1-3600 -n 1)
sleep $(perl -e 'print rand(3600)')
sleep $(python -c 'import random; print(random.randint(1,3600))')
и ещё десяток более коротких вариантов, в зависимости от системы и имеющихся утилит
трудно найти систему в которой есть od, bc и при этом нет продвинутого шела, shuf, perl, python и порочего
Ответить | Правка | Наверх | Cообщить модератору

3. "Случайная задержка в shell-скрипте, выполняемом из crontab"  +/
Сообщение от Аноним (3), 27-Июл-22, 21:02 
Это баш, кореутилс, перл, питон. В какой-нибудь фряхе tcsh вот и попробуй с ним сделать что-нибудь.
Ответить | Правка | Наверх | Cообщить модератору

4. "Случайная задержка в shell-скрипте, выполняемом из crontab"  +1 +/
Сообщение от grayich (ok), 27-Июл-22, 22:41 
в фряхе в базовой системе(из коробки) есть jot, как выше предлагали
jot -r 1 1 3600

сабж интересен с точки зрения задачки для ума, но в реальности .. такое себе
coreutils везде есть, awk везде есть
awk 'BEGIN{srand();print rand()*3600}'
если в системе есть od bc dd head cut то и предлагаемое скорее всего есть
Ответить | Правка | Наверх | Cообщить модератору

5. "Случайная задержка в shell-скрипте, выполняемом из crontab"  +/
Сообщение от john_erohin (?), 28-Июл-22, 04:37 
> продвинутого шела,

я когда подавал эту заметку на модерирование, в заголовке специально
написал "без башизмов". но дорогая редакция не пропустила.
оскорбить боятся кого-то что ли.

перл и питон слишком жирные. можно обойтись без.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

6. "Случайная задержка в shell-скрипте, выполняемом из crontab"  +2 +/
Сообщение от grayich (ok), 28-Июл-22, 10:22 
> написал "без башизмов". но дорогая редакция не пропустила.

идея была ясна, но имхо - чисто из теории
на практике нет смысла таких сложностей, да и те-же jot, shuf - не башизмы

> перл и питон слишком жирные. можно обойтись без.

да как сказать, задействованные утилиты:
91K /usr/bin/bc
39K /usr/bin/cut
67K /usr/bin/dd
39K /usr/bin/head
63K /usr/bin/od
итого: 299КБ

14К /usr/bin/jot
43K /usr/bin/shuf

687K /usr/bin/gawk

perl\python - обычно уже в системе есть, общий их размер конечно приличный, но выполняемый(вид из ps)
13364  7784 python -c import random; print(random.randint(1,3600)); input("")
10636  3796 perl -e print rand(3600);$i=<STDIN>

и тут вроде бы как 10-13 метров много, но те-же bc\head занимают по 6 метров в ps, что уже в сумме 12
так что по ресурсам perl\python в итоге ещё и экономнее будут - чем целый конвейер

Ответить | Правка | Наверх | Cообщить модератору

14. "Случайная задержка в shell-скрипте, выполняемом из crontab"  +/
Сообщение от Аноним (-), 28-Июл-22, 23:52 
Повесить в памяти жирный интерпретер, да еще с немеряными модулями/стдлибами чтобы задержку отмерять это конечно круто. Надо было не мелочиться и V8 для этого заюзать, чего уж там. Или JVM накрайняк. Иначе недостаточно энтерпрайзно.

Можно еще Менеджер Рандомных Задержек накодить, чтобы совсем хорошо. С гуем показывающим оставшееся время, кто клиенты, статистику всякую, аналитику задержек которой позавидует баба с календарем...

Ответить | Правка | Наверх | Cообщить модератору

15. "Случайная задержка в shell-скрипте, выполняемом из crontab"  +/
Сообщение от john_erohin (?), 29-Июл-22, 06:33 
> Можно еще Менеджер Рандомных Задержек накодить

systemd-randomdelayd.

Ответить | Правка | Наверх | Cообщить модератору

16. "Случайная задержка в shell-скрипте, выполняемом из crontab"  +1 +/
Сообщение от Аноним (-), 29-Июл-22, 13:13 
А может, просто man systemd.timer? Он умеет и это и намного больше :). Заодно крон можно отправить на свалку - в системде хотя-бы можно посмотреть активные таймеры ОДНОЙ командой. Сразу. Без велосипедизма. С кроном так почему-то не катит.

Зато можно написать очередной совет как делать из буханки хлеба троллейбус, "без использования гвоздей".

Ответить | Правка | Наверх | Cообщить модератору

27. "Случайная задержка в shell-скрипте, выполняемом из crontab"  +/
Сообщение от john_erohin (?), 30-Июл-22, 21:34 
> в системде хотя-бы можно посмотреть активные таймеры ОДНОЙ командой.

таймер в системе один, это системные часы, их cron и смотрит.

все начинается с нестандартной терминологии, а заканчивается переходом отработавшего задание агента влияния к своему настоящему хозяину.

Ответить | Правка | Наверх | Cообщить модератору

28. "Случайная задержка в shell-скрипте, выполняемом из crontab"  +/
Сообщение от Аноним (28), 31-Июл-22, 17:25 
В системде есть юниты с типом .timer и их в типовом случае таки более одного. Это очень логичное название т.к. описывает что оно делает и как себя ведет. И кроме всего прочего там достаточно фич чтобы заодно описать и вон ту хотелку, без изобретения велика с квадратными колесами самому.

> все начинается с нестандартной терминологии, а заканчивается переходом
> отработавшего задание агента влияния к своему настоящему хозяину.

Как по мне системд может и агент влияния, конечно, но влияет он сугубо на мои системы, и делает то что я скажу. А раз так - это хороший и правильный агент. И уж всяко лучше вон тех, с гамном и палками. Потому что попадет кому такая система - и они вообще не в курсе что за плюхи там по скриптам рассованы. Хотя бэкдоры так прятать наверное удобно, поди там разберись в этом кастоме - надо вон то или нет. Мало кто в этом месиве еще и осмысленно копаться будет.

Ответить | Правка | Наверх | Cообщить модератору

8. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +2 +/
Сообщение от OpenEcho (?), 28-Июл-22, 11:58 
Plain C:
```
#include <time.h>
#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>

void main () {
  srand(time(NULL));
  int r = rand() % 3600;
  printf("\nSleeping for %d seconds\n", r);
  sleep(r);
}
```

Go: (go build -ldflags "-s -w" this_source.go) << будет работать везде т.к. статика
```
package main

import "fmt"
import "math/rand"
import "time"

func main() {
    rnd := time.Now().UTC().UnixNano()
    rand.Seed(rnd)
    rs  := rand.Intn(3600)
    fmt.Println("Sleeping for: ",rs," second(s)")
    time.Sleep(time.Duration(rs) * time.Second)
}
```


Ответить | Правка | Наверх | Cообщить модератору

18. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от Аноним (18), 29-Июл-22, 16:14 
> srand(time(NULL))

Это точно нормальный вариант? У десятка задач будет одинаковое время запуска (с точностью до секунды)... и одинаковый random seed...
Тогда уж лучше getpid().

Ответить | Правка | Наверх | Cообщить модератору

20. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от OpenEcho (?), 29-Июл-22, 18:10 
>> srand(time(NULL))
> Это точно нормальный вариант?

Точно:

> srand(time(NULL));

makes use of the computer's internal clock to control the choice of the seed.  Since time is continually changing, the seed is forever changing.  Remember, if the seed number remains the same, the sequence of numbers will be repeated for each run of the program.

Ответить | Правка | Наверх | Cообщить модератору

24. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от Аноним (24), 30-Июл-22, 00:28 
Ну вот запустил крон 10 штук процессов в одну и ту же секунду. Все 10 процессов выполнили time и получили одинаковое значение. И у всех процессов будет одинаковый начальный random seed (например, у меня сейчас 1659129796). И все 10 потом стартанут через одинаковую паузу...

Точно надо было этого добиться?

Ответить | Правка | Наверх | Cообщить модератору

25. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от OpenEcho (?), 30-Июл-22, 13:48 
> Ну вот запустил крон 10 штук процессов в одну и ту же
> секунду.

Можно ткуть в ту самую строчку, где в тех.задании сказанно про число 10?
ОП, хочет запускать ОДИН шел скрипт. Не надо придумывать то, что не спрашивали и не надо быть телепатом, чтоб угадать наперед все что можно случиться, - это первое правило в любом серьезном бизнесе - "делай то, что сказанно". Нужна функция случайной задержки в пределах заданного времени, В СКРИПТЕ шела, чтобы запустить что-то позже, опять же, что то "ОДНО". Все. Одноразово.

О каких 10 процессах речь? Зачем усложнять там, где это - НЕ НУЖНО


Ответить | Правка | Наверх | Cообщить модератору

26. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от Аноним (26), 30-Июл-22, 16:54 
Про 10 параллельно запускаемых задач нет ни слова. Это была моя попытка проиллюстрировать почему решение получилось не очень на конкретном примере. Неудачная попытка.

В решении (и в задании) ОПа написано
> Случайная задержка в shell-скрипте
> задержка будет случайная

У тебя получилась скорее РАЗНАЯ (и при этом ПРОГНОЗИРУЕМАЯ, тов. майор) задержка, но не СЛУЧАЙНАЯ! Можно достаточно точно предсказать в какое время каждый день скрипт будет отрабатывать. Так себе случайность, на месте ОПа я бы твоё решение не принял и отправил на доработку как несоответствующее заданию.
А вот на месте тов. майора федеральной службы - всячески бы топил за твой вариант.

Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

9. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +1 +/
Сообщение от OpenEcho (?), 28-Июл-22, 12:05 
#!/bin/sh
sleep $(echo "select abs(random()%3600);" | sqlite3)
Ответить | Правка | Наверх | Cообщить модератору

10. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  –1 +/
Сообщение от Аноним (-), 28-Июл-22, 17:46 
гыг, это типа как суть плоского анекдота объяснять кому-то
Ответить | Правка | Наверх | Cообщить модератору

11. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от Аноним (11), 28-Июл-22, 23:24 
bc значит у него есть, а shuf нет... Вероятно, недоучили баш, недоучили шелл, недоучили всё. Но это не мешает радоваться изобретенному велосипеду и учить других.

Сама постановка задачи странная, если не сказать больше. Планировщик задач в принципе про точное время запуска. Задержку логично встроить в запускаемую программу. Кстати, зачем она? Если это с целью размазать нагрузку от массово стартующих скриптов, то логичнее обрабатывать их очередью, в лимитированное количество потоков. Это все тоже делается без всяких башизмов.
По крону стартуете runner.sh, внутри которого что-то вроде ls dir/with/scripts/*sh | xargs -L1 -P4 sh
Скриптам можно дать имена типа 00-first-prio.sh 00-first-prio2.sh 10-second-prio.sh и так далее.

Ответить | Правка | Наверх | Cообщить модератору

17. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  –1 +/
Сообщение от OpenEcho (?), 29-Июл-22, 16:01 
Многие дистрибутивы делают рэндомный запуск скриптов апдейта, чтобы уменшить ударную нагрузку от массы клиентов
Ответить | Правка | Наверх | Cообщить модератору

19. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от Аноним (11), 29-Июл-22, 17:00 
Значит им тоже надо головой подумать и понять, что рандомные задержки проблему не решают.
Что если апдейт одного из пакетов может в одиночку нагрузить систему? Так не бывает - скажут они, и добавят, что если даже это так, то пусть себе всё тормозит.
Когда-то кто-то скостылил, а теперь так делают все и вроде как это стало правильным способом? Ну-ну.

Или как я уже написал - лимитировать запуск процессов, запуская их по очереди, или запускать их в cgroup, в которой они будут получать ресурсы по квоте (этот вариант наверно самый лучший). nice точно везде есть.

Ответить | Правка | Наверх | Cообщить модератору

21. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  –1 +/
Сообщение от OpenEcho (?), 29-Июл-22, 18:16 
> Значит им тоже надо головой подумать и понять, что рандомные задержки проблему
> не решают.

Неправда, разгружает и очень прилично

> Что если апдейт одного из пакетов может в одиночку нагрузить систему?

Разгружает загрузку на сервера которые предоставляют апдейты, причем здесь клиенты и как долго они будут процессировать полученный апдэйт? Смысл в том чтоб предотвратирь ДДоС серваков, если все однаразово ломануться качать

Ответить | Правка | Наверх | Cообщить модератору

22. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от Аноним (22), 29-Июл-22, 19:59 
А, вы про это. Что будет, если клиенты отключат задержку, чтобы получить обновления раньше?
Понятно что - перегруженная инфраструктура будет.
Ответить | Правка | Наверх | Cообщить модератору

23. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  –1 +/
Сообщение от OpenEcho (?), 29-Июл-22, 21:11 
> А, вы про это. Что будет, если клиенты отключат задержку, чтобы получить
> обновления раньше?

Все сразу и все выставят одно и то же время? По моему это очень маленькая вероятность...

Можно конечно сделать как мелкософт и рулить централизованно, но тогда - "Прощай свобода..."

Ответить | Правка | Наверх | Cообщить модератору

33. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от Kuromi (ok), 05-Авг-22, 15:30 
Вспомните что происходит когда условная Убунта релизит новый выпуск - серверы пусть и не лежат, но ощутимо перегружены. Умные чукчи сами ждут недельку, если не ностальгируют по дайлапу
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

32. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от gapsf2 (ok), 04-Авг-22, 15:15 
> ls dir/with/scripts/*sh | xargs -L1 -P4 sh

https://mywiki.wooledge.org/BashPitfalls#Using_xargs_without_-0
http://mywiki.wooledge.org/ParsingLs
https://mywiki.wooledge.org/BashPitfalls#for_f_in_.24.28ls_....
https://unix.stackexchange.com/questions/128985/why-not-pars...

Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

34. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от Аноним (11), 05-Авг-22, 23:35 
Любители засирать шелл-скрипты бессмысленными флажками такие любители. Лишь бы пять копеек вставить. Скрипты в папку кладет администратор, он же дает имена файлам. Администратор-дебил создаст файл с именем, часть которого превратится в команду? Кстати, сможешь составить такое имя файла? Или как всегда, лишь бы квакнуть?
Ответить | Правка | Наверх | Cообщить модератору

13. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +1 +/
Сообщение от Аноним (11), 28-Июл-22, 23:47 
`echo 3600 '*' $(od -An -N2 -i /dev/urandom) / 65536 | bc`

Решение на od | bc, так сказать, облегченное (:

Еще раз - кто не умеет, тот учит.

Ответить | Правка | Наверх | Cообщить модератору

29. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +1 +/
Сообщение от ABATAPA (ok), 03-Авг-22, 20:47 
root@OpenWrt:~# od
-ash: od: not found
root@OpenWrt:~# bc
-ash: bc: not found
root@OpenWrt:~# sh --version


BusyBox v1.33.2 (2022-02-16 20:29:10 UTC) built-in shell (ash)

root@OpenWrt:~# SEED=$(dd if=/dev/urandom bs=128 count=1 2>/dev/null | md5sum | sed 's/[a-f]//g' | cut -c1-10)
root@OpenWrt:~# expr $SEED % 90
38
root@OpenWrt:~# SEED=$(dd if=/dev/urandom bs=128 count=1 2>/dev/null | md5sum | sed 's/[a-f]//g' | cut -c1-10)
root@OpenWrt:~# expr $SEED % 90
75

Ответить | Правка | Наверх | Cообщить модератору

38. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от john_erohin (?), 08-Авг-22, 11:29 
> md5sum | sed 's/[a-f]//g'

я очень сомневаюсь, что при таком преобразовании сохраняется
равномерность распределения случайной величины.
но доказать не смогу.

Ответить | Правка | Наверх | Cообщить модератору

30. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +2 +/
Сообщение от aa (?), 04-Авг-22, 06:47 
man 5 crontab

...
The RANDOM_DELAY variable allows delaying job startups by random
amount of minutes with upper limit specified by the variable.
- всё уже придумано

Ответить | Правка | Наверх | Cообщить модератору

31. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +1 +/
Сообщение от Аноним (31), 04-Авг-22, 10:41 
не мешай человек НЕ читать маны и изобретать велосипеды
Ответить | Правка | Наверх | Cообщить модератору

36. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от john_erohin (?), 08-Авг-22, 11:20 
devuan:
$ man 5 crontab | grep -i RANDOM_DELAY | wc -l
0

cygwin: то же самое.

вангую: у вас не викси крон, а его имитация от линуса поттера.

Ответить | Правка | К родителю #30 | Наверх | Cообщить модератору

35. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от бублички (?), 07-Авг-22, 20:35 
> dd if=/dev/urandom bs=1 count=4 status=none | od -t u4 | head -1 | cut -c 8-

до чего уродливая конструкция. впрочем чего можно ожидать от очередного Дениса Попова, что даже погуглить не умеет чтоб отыскать к примеру: od -vAn -N2 -tu4 < /dev/urandom

Ответить | Правка | Наверх | Cообщить модератору

37. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от john_erohin (?), 08-Авг-22, 11:24 
ваша конструкция почему-то не способна выдать больше чем 65535.

Ответить | Правка | Наверх | Cообщить модератору

39. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от vodz (ok), 08-Авг-22, 13:03 
Ну надо -N4, да и для scale=0 bc не надо:
R=`od -vAn -N4 -tu4 < /dev/urandom`
sleep `expr $R % 3601`
Ответить | Правка | Наверх | Cообщить модератору

40. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от Аноним (11), 08-Авг-22, 13:15 
Для практических нужд это запредельно много.
Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

41. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от бублички (?), 09-Авг-22, 15:17 
в задании итого меньше требовалось (от 0 до 3600)
Ответить | Правка | К родителю #37 | Наверх | Cообщить модератору

42. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от john_erohin (?), 09-Авг-22, 15:43 
>  в задании итого меньше требовалось

свою нетленку вы пишете так же ? шаг вправо-влево считается побег, попытка подумать - провокация.

потребоваться может от 3 до 9000000

Ответить | Правка | Наверх | Cообщить модератору

44. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от бублички (?), 09-Авг-22, 17:00 
>>  в задании итого меньше требовалось
> свою нетленку вы пишете так же ? шаг вправо-влево считается побег, попытка
> подумать - провокация.
> потребоваться может от 3 до 9000000

довольно странный вы гражданин. сначала публикуете нечто пионерско-босоногое (типа cat <file1>|grep <string>|head -1|cut -c8|sort|uniq|echo > <file2>), потом обижаетесь на критику и начинаете придираться выдумывая то чего изначально не было. снова и вновь - инфантильно и невежественно

Ответить | Правка | Наверх | Cообщить модератору

45. "Случайная задержка в shell-скрипте, выполняемом из crontab (без башизмов)"  +/
Сообщение от snarkxemail (?), 12-Авг-22, 07:53 
А ведь где-то для этого используют jvm, и обязательно, обязательно Spring Boot.

Или не энтерпрайзно

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Спонсоры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2022 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру