pythonでスクレイピングしようとしたら、urllib.error.HTTPError: HTTP Error 403: Forbidden のエラーがでたので回避した Python
pythonでスクレイピングしようとしたら、urllib.error.HTTPError: HTTP Error 403: Forbidden のエラーがでたので回避した。
urllib.error.HTTPError: HTTP Error 403: Forbidden
となってurlopenに失敗している
どうやら http 403 で閲覧権限がないみたい。
この場合はユーザーエージェントを偽装することで回避できた
<div class= code > url = https://ほげほげサイト
headers = {
User-Agent : Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/79.0.3945.130 Safari/537.36
}
request = urllib.request.Request(url headers=headers)
response = urllib.request.urlopen(request)
</div>