среда, 19 июля 2017 г.

curl download entire directory via proxy

curl --socks5 127.0.0.1:7070 -s https://www.raspb.org/issues/ | sed -n 's/.*href="\([^"]*\).*/\1/p' | egrep -v "C=D"  > file.list

cat file.list | xargs -i{} curl --socks5 127.0.0.1:7070 https://www.raspb.org/issues/{} -O


127.0.0.1:7070    -   прокси-сервер, если нужен пишем если не нужен не пишем.
https://www.raspb.org/issues/    -   папка, которую надо скачать.

протестировано на Шиндусе 7.

если вдруг вылетает с ошибкой вида:
curl: Remote file name has no length!
curl: try 'curl --help' or 'curl --manual' for more information

нужно поменять шаблон параметра {} на %%, вот так:
cat file.list | xargs -i%% curl --socks5 127.0.0.1:7070 https://www.raspb.org/issues/%% -O

сделано это потому как wget в 2017 году не умеет в socks прокси под Шиндусом7