【Webスクレイピング禁止？】Yahooファイナンス・画像検索（robots.txt）

Webスクレイピングが禁止されている「Yahooファイナンス」「Yahoo画像検索」の利用規約やrobots.txtについてまとめました。

Yahooファイナンスの利用規約

Yahooファイナンスでは、プログラムによる株価データの自動取得が全面禁止されています。（下記・利用規約より）
その代わりに、「VIP倶楽部」の「時系列データダウンロード」を利用した株価データの取得は認められています。（2018年6月現在）
Pythonなどのプログラミングを使ってYahooファイナンスの株価データ等を取得するのはやめたほうが良いでしょう。

参考：Yahoo!ファイナンス掲載情報の自動取得（スクレイピング）は禁止しています

Yahoo画像検索

Yahoo画像検索では、robots.txtに以下の記述があります。

User-agent: *
Disallow: /

URL：https://search.yahoo.co.jp/image/robots.txt

これは「全てのクローラーに対して、Yahoo画像検索のあらゆるパスにアクセスすることを禁止」しています。
つまり、「Pythonなどのプログラミングを使ってYahoo画像検索から画像等を自動取得するのを拒否」しています。
Yahooファイナンス同様、画像検索でもWebスクレイピングを行うのはやめたほうが良いでしょう。

参考：【robots.txtとは】アクセス許可・拒否の読み方など