べすとえふぉーと

プログラミング等のノート 

python http getでデコードエラーが出た場合に文字を無視する

UnicodeDecodeError: 'utf-8' codec can't decode byte

無視する場合は errors='ignore'をつける

response = urllib.request.urlopen(req)
charset = response.headers.get_content_charset()
if charset==None:
        charset = "utf-8"
html = response.read().decode(charset,errors='ignore')

URLを含むテキストが入ったディレクトリに対してwget実行

#!/bin/bash
dirs=$(ls -F | grep /)
rootdir=$(pwd)
for dir in $dirs
do
    cd $rootdir/$dir
    filenames=$(find . -name "*.txt" | cut -c 3-)
    for file in $filenames
    do
        wget -i $(pwd)/$file -nc --no-check-certificate -U ""
        rm $(pwd)/$file
    done
done

curlでDropboxにアップロード(v2)

v1が使えなくなったのでv2

modeをoverwriteで上書き

curl -X POST https://content.dropboxapi.com/2/files/upload \
    --header "Authorization: Bearer $KEY" \
    --header "Dropbox-API-Arg: {\"path\": \"/file.txt\",\"mode\": \"overwrite\",\"autorename\": true,\"mute\": false}" \
    --header "Content-Type: application/octet-stream" \
    --data-binary @file.txt