https://www.opennet.dev/openforum/vsluhforumID13/878.html Система: 2 процессора по 4 ядра.<br>Нужно сжать в пределах 80 файлов, используя gzip. Что нужно сделать чтобы были задействованы одновременно все ядра процессора? На данный момент при использовании команды gzip * используется одновременно только одно ядро, остальные не задействованы.<br><br> https://www.opennet.dev/openforum/vsluhforumID13/878.html#9 Tue, 12 May 2015 07:04:10 GMT &gt;&gt; Система: 2 процессора по 4 ядра.<br>&gt;&gt; Нужно сжать в пределах 80 файлов, используя gzip. Что нужно сделать чтобы <br>&gt;&gt; были задействованы одновременно все ядра процессора? На данный момент при использовании <br>&gt;&gt; команды gzip * используется одновременно только одно ядро, остальные не задействованы.<br>&gt; На основании инфы в этой ветке и гугла получилось вот что: <br>&gt; tar -C 2015-04-24\ WindowsBackup -cf - . &#124; parallel --pipe --recend '' <br>&gt; -k gzip &gt; \!.tar.gz <br>&gt; Грузит все ядра.<br><br>zip &lt;1 file&gt; & zip &lt;2 file&gt; & zip &lt;3 file&gt; & .....<br>и так все 80 файлов... <br>:)<br> https://www.opennet.dev/openforum/vsluhforumID13/878.html#8 Sat, 09 May 2015 19:51:10 GMT &gt; Система: 2 процессора по 4 ядра.<br>&gt; Нужно сжать в пределах 80 файлов, используя gzip. Что нужно сделать чтобы <br>&gt; были задействованы одновременно все ядра процессора? На данный момент при использовании <br>&gt; команды gzip * используется одновременно только одно ядро, остальные не задействованы. <br><br>На основании инфы в этой ветке и гугла получилось вот что:<br><br>tar -C 2015-04-24\ WindowsBackup -cf - . &#124; parallel --pipe --recend '' -k gzip &gt; \!.tar.gz<br><br>Грузит все ядра.<br> https://www.opennet.dev/openforum/vsluhforumID13/878.html#7 Wed, 05 Mar 2014 11:47:55 GMT &gt; Система: 2 процессора по 4 ядра.<br>&gt; Нужно сжать в пределах 80 файлов, используя gzip. Что нужно сделать чтобы <br>&gt; были задействованы одновременно все ядра процессора? На данный момент при использовании <br>&gt; команды gzip * используется одновременно только одно ядро, остальные не задействованы. <br><br>find /path_to/files_nees_gzip -type f [-name '*.txt'] &#124; xargs -n 1 -p 8 gzip<br><br># find<br># -name '*.txt' - опционально, чтобы отобрать нужные файлы<br><br># xargs<br># -n 1 - передавать команде gzip по одному аргументу<br># -p 8 - использовать 8 (или указать сколько Вам надо) экземпляров gzip<br><br># для сложных случаев, с непредсказуемым именами файлов/каталогов (т.е. созданными "обычными пользователями") можно использовать вариант<br>find /path_to/files_nees_gzip -type f [-name '*.txt'] -print0 &#124; xargs -0 -n1 -p 8 gzip<br> https://www.opennet.dev/openforum/vsluhforumID13/878.html#6 Wed, 05 Mar 2014 08:21:01 GMT андрюха, погугли мне рецепт мяса в горшочке. смотрю ты любишь за других гуглом пользоваться.<br>пока не утилизируется ядро на 100 процентов - распараллеливать не то что бессмысленно - вредено.<br> https://www.opennet.dev/openforum/vsluhforumID13/878.html#5 Tue, 04 Mar 2014 05:54:25 GMT а есть еще не gzip, а pigz, этот архиватор имеет вот такую интересную опцию:<br><br>-p --processes n<br> Allow up to n processes (default is the number of online proces-<br> sors)<br><br> https://www.opennet.dev/openforum/vsluhforumID13/878.html#4 Tue, 04 Mar 2014 05:34:10 GMT причем p7zip и lzma2 сжатие -- тогда все процы будут загружены<br><br><br> https://www.opennet.dev/openforum/vsluhforumID13/878.html#3 Tue, 04 Mar 2014 05:33:21 GMT &gt; Система: 2 процессора по 4 ядра.<br>&gt; Нужно сжать в пределах 80 файлов, используя gzip. Что нужно сделать чтобы <br>&gt; были задействованы одновременно все ядра процессора? На данный момент при использовании <br>&gt; команды gzip * используется одновременно только одно ядро, остальные не задействованы. <br><br>https://www.gnu.org/software/parallel/man.html#example__processing_a_big_file_using_more_cores<br><br>EXAMPLE: Processing a big file using more cores<br><br>To process a big file or some output you can use --pipe to split up the data into blocks and pipe the blocks into the processing program.<br><br>If the program is gzip -9 you can do:<br><br>cat bigfile &#124; parallel --pipe --recend '' -k gzip -9 &gt;bigfile.gz<br> https://www.opennet.dev/openforum/vsluhforumID13/878.html#2 Tue, 04 Mar 2014 02:27:36 GMT &gt; Система: 2 процессора по 4 ядра.<br><br>можно использовать p7zip<br><br> https://www.opennet.dev/openforum/vsluhforumID13/878.html#1 Mon, 03 Mar 2014 20:53:59 GMT проверь для начала насколько утилизируется это самое ядро. узкое место диски никто не отменял. только-что попробывал один большой файл на ссд с флагом -9 - нагрузка на ядро 45%, - уперлось в ввод-вывод. тобишь бессмысленно параллелить. я бы даже сказал во вред.<br>