Проект Oropo (http://www.oropo.org/) позволяет разнести обработку большого объема ресурсоемких операций на несколько машин в сети, организовав временный кластер. В качестве примера рассмотрим выполнение задачи уменьшения размера нескольких тысяч изображений с высоким разрешением.
Для преобразования будет использовать стандартные утилиты из пакета libjpeg - djpeg и cjpeg. В итоге для обработки одной картинки создадим простой скрипт make_smaller.sh: #!/bin/bash
QUALITY=30
if [ $# -ne 1 ]; then
echo "arguments" 1>&2
exit 1;
fi
FILE_PATH=$1
djpeg $FILE_PATH | cjpeg -quality $QUALITY
При выполнении операции на одном компьютере, нам бы потребовался последовательный перебор всех изображений в цикле:
#!/bin/bash
MAKE_SMALLER=$PWD/make_smaller.sh
IMGS_DIR=$PWD/imgs
TARGET_DIR=$PWD/imgs_smaller
for file in $IMGS_DIR/*; do
bash $MAKE_SMALLER $file > $TARGET_DIR/${file##*/}
done
Используя систему Oropo Executor можно легко распараллелить выполнении поставленной задачи на несколько машин в сети. Как видно из следующего скрипта, скрипт притерпел минимальные изменения, изображения все так же перебираются последовательно, а их распараллеливание вынесено целиком на плечи программы oropo-system-pusher.
Processing parallelly
#!/bin/bash
MAKE_SMALLER=$PWD/make_smaller.sh
IMGS_DIR=$PWD/imgs
for file in $IMGS_DIR/*; do
oropo-system-pusher -p "string:bash" -p "path:$MAKE_SMALLER" -p "path:$file"
done
Результат работы сохраняется в файлах /var/lib/oropo/response/*/0
++ Настройка Oropo
Как видим, распаралелливание было организовано предельно просто, не менее трудно настроить работу инфраструктуры Oropo в Debian и Ubuntu.
Подключаем репозиторий с готовыми пакетами oropo, в /etc/apt/sources.list добавляем:
deb http://students.mimuw.edu.pl/~ms209495/oropo/debian sid main
Устанавливаем:
sudo apt-get update
sudo apt-get install oropo-system
На узлах-обработчиках заданий ставим по аналогии Oropo Executor:
sudo apt-get install ap-executor
Настраиваем центральный управляющий узел, на котором будем инициировать выполнение заданий.
Добавляем себя в группу oropo:
adduser `whoami` oropo
Добавляем IP-адреса узлов-обработчиков:
oropo-monitor-ctl --id_prefix oropomonitor --add 192.168.1.2
oropo-monitor-ctl --id_prefix oropomonitor --add 192.168.1.3
oropo-monitor-ctl --id_prefix oropomonitor --add 192.168.1.4
Все готово !
URL: http://www.howtoforge.com/processing-10000-pictures-using-ma...
Обсуждается: https://www.opennet.ru/tips/info/2363.shtml
