【Python/urllib】URLからHTMLのデータを取得・リンク先が存在するか確認

Python標準ライブラリ「urllib」を用いて、URL先のHTMLを取得する方法とソースコードについて紹介します。

【1】URLからHTMLのデータを取得①

Python標準ライブラリ「urllib」では、urlopenメソッドでURLを開き、readメソッドでHTMLを取得できます。

【対象のHTMLファイル】

【Python/HtmlParser】HTML解析（パース）

Python3の標準ライブラリ「HtmlParser」を用いて、HTML解析（パース）する方法とソースコードについて紹介します。

algorithm.joho.info

2017.03.21

動画解説

本ページの内容は以下動画でも解説しています。

【2】URLからHTMLのデータを取得②

取得したデータの日本語文字列を文字化けさせずに出力するには、decodeメソッドでバイト文字列（UTF-8）からSｔｒ文字列に変換します。

【対象のHTMLファイル】

【Python/urllib】日本語含むHTML取得

Python標準ライブラリ「urllib」を用いて、URL先のHTML（日本語含む）を取得する方法とソースコードについて紹介します。

algorithm.joho.info

2017.03.21

【3】ユーザーエージェント情報

ユーザーエージェント情報とは、Webサイトにアクセスする閲覧者の情報です。
Webページにアクセスする閲覧者は、ユーザーエージェント情報をサーバーへ送信できます。
Python3の標準ライブラリ「urllib」では、HTMLを取得する際に送信するユーザーエージェント情報を設定できます。

書式

opener = urllib.request.build_opener()
opener.addheaders = [(送信するユーザーエージェント情報)]
opener.open(url)

サンプルコードです。

【対象のHTMLファイル】

【Python/urllib】ユーザーエージェントを設定してHTML取得

Python標準ライブラリ「urllib」を用いて、ユーザーエージェントを設定してHTML取得する方法とソースコードについて紹介します。

algorithm.joho.info

2017.03.21

【4】URLが存在しているか確認

Python3の標準モジュール「urllib」で指定したURLが存在しているか確認するサンプルです。

【対象のHTMLファイル】

【Python/urllib】URLが存在しているか確認

PythonのurllibモジュールでURLが存在しているか確認する方法をソースコード付きでまとめました。

algorithm.joho.info

2018.09.25

【Python】Webスクレイピング入門(BeautifulSoup4編)

Pythonモジュール「BeautifulSoup4」を用いたWebスクレイピングについて入門者向けにまとめました。

algorithm.joho.info

2018.05.29

【Python超入門】使い方とサンプル集

Pythonとは、統計処理や機械学習、ディープラーニングといった数値計算分野を中心に幅広い用途で利用されている人気なプログラミング言語です。 主な特徴として「効率のよい、短くて読みやすいコードを書きやすい」、「ライブラリが豊富なのでサクッと...

algorithm.joho.info

2020.09.27