【Webスクレイピング禁止?】Yahooファイナンス・画像検索(robots.txt)

Webスクレイピングが禁止されている「Yahooファイナンス」「Yahoo画像検索」の利用規約やrobots.txtについてまとめました。

Yahooファイナンスの利用規約

Yahooファイナンスでは、プログラムによる株価データの自動取得が全面禁止されています。(下記・利用規約より)
その代わりに、「VIP倶楽部」の「時系列データダウンロード」を利用した株価データの取得は認められています。(2018年6月現在)
Pythonなどのプログラミングを使ってYahooファイナンスの株価データ等を取得するのはやめたほうが良いでしょう。

参考:Yahoo!ファイナンス掲載情報の自動取得(スクレイピング)は禁止しています

Yahoo画像検索

Yahoo画像検索では、robots.txtに以下の記述があります。

User-agent: *
Disallow: /

URL:https://search.yahoo.co.jp/image/robots.txt

これは「全てのクローラーに対して、Yahoo画像検索のあらゆるパスにアクセスすることを禁止」しています。
つまり、「Pythonなどのプログラミングを使ってYahoo画像検索から画像等を自動取得するのを拒否」しています。
Yahooファイナンス同様、画像検索でもWebスクレイピングを行うのはやめたほうが良いでしょう。

参考:【robots.txtとは】アクセス許可・拒否の読み方など

関連ページ、その他
関連 【Python】Webスクレイピング入門・ライブラリ比較
情報収集 Qiita(Beautiful Soup関連記事一覧)
関連記事