Python標準ライブラリ「urllib」を用いて、ユーザーエージェントを設定してHTML取得する方法とソースコードについて紹介します。
ユーザーエージェント情報
ユーザーエージェント情報とは、Webサイトにアクセスする閲覧者の情報です。
Webページにアクセスする閲覧者は、ユーザーエージェント情報をサーバーへ送信できます。
Python3の標準ライブラリ「urllib」では、HTMLを取得する際に送信するユーザーエージェント情報を設定できます。
【書式】
opener = urllib.request.build_opener()
opener.addheaders = [(送信するユーザーエージェント情報)]
opener.open(url)
ソースコード
サンプルプログラムのソースコードは下記の通りです。
実行結果
サンプルプログラムの実行結果は下記の通りです。
b'<!DOCTYPE html>\r\n<html lang="ja">\r\n<head>\r\n<meta charset="UTF-8"・・・・・・
【関連記事】
PythonでHTML解析（パース）
Python入門 サンプル集