nc以降はオプション cat url.txt | xargs -I % wget % -nc --no-check-certificate --timeout=10

403が出る場合はユーザーエージェント指定 空でもOK wget -U "" -i url.txt

一行ずつ読んで取得 -i url.txtすでに存在する場合はスキップ -nc証明書エラー対策 --no-check-certificateタイムアウトの秒数 --timeout=10まとめ wget -i url.txt -nc --no-check-certificate --timeout=10 追記 w でウェイト -w 1