Tips & tricks — Многопоточное выполнение файловых операций

xargs
Оказывается многие не знают о существовании опции -P у утилиты xargs. use-case: пережать mp3-ки для плеера

1	ls *wav | xargs -I'{}' -P4 lame -Sh '{}'

Опция -P указывает количество одновременно запускаемых процессов.

Архиваторы
Существуют многопоточные версии gzip и bzip2 — pigz и pbzip2 соответственно. Опции у этих утилит совпадают с опциями соответствующих однопоточных архиваторов, имеется опция -p для указания количества потоков упаковки.

Тривиальная демонстрация
Intel Core i5 - 430M

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

darkmoon / # du -sh /var 457M /var darkmoon / # tar -cf test.tar /var 2>/dev/null darkmoon / # du -h test.tar 378M test.tar darkmoon / # sync darkmoon / # time gzip test.tar real 0m31.378s user 0m30.140s sys 0m0.520s darkmoon / # gunzip test.tar.gz darkmoon / # sync darkmoon / # time pigz test.tar real 0m7.520s user 0m28.790s sys 0m0.520s

Демонстрация от xT

1

tar -c / -X /exc_list | pigz --fast -p4 > "/media/backup/$(date).tar.gz"

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

[user@host9 test]# ls -lh
total 419M
-rw-r--r-- 1 530 dev 419M Feb 19 11:00 prod.sql

[user@host test]# time gzip prod.sql 

real       0m18.783s
user       0m18.133s
sys        0m0.452s

[user@host test]# time pigz prod.sql

real      0m11.257s
user      0m20.949s
sys       0m0.580s