rsyncでsrc配下をdest配下に同期
rsync -av --progress ./src/ dest/
「/」の有無によって動作が変わるので注意
wgetで403回避
403が出る場合はユーザーエージェント指定
空でもOK
wget -U "" -i url.txt
Postgresで全ダンプ
- hでホスト、-pでポート、-Uでユーザ名
pg_dumpall -h localhost -p 5432 -U postgres > dump.dat
wget オプションのメモ
一行ずつ読んで取得
-i url.txt
すでに存在する場合はスキップ
-nc
証明書エラー対策
--no-check-certificate
タイムアウトの秒数
--timeout=10
まとめ
wget -i url.txt -nc --no-check-certificate --timeout=10
追記
- w でウェイト
-w 1