【Webスクレイピング】注意事項や最低限のルール

Webスクレイピングする際の注意事項とルールについてまとめました。

【Webスクレイピング】主な注意事項

Webスクレイピングを行う際の注意事項をまとめてみました。

● サイトに記載されている利用規約等に従って利用する。
→スクレイピングが禁止されていれば行わない。
→スクレイピングしたデータを利用するときもルールに従う。

● 「robots.txt」「robots metaタグ」「HTTPヘッダーのX-Robots-Tag」に記載されているクローラーに対するルールに従ってアクセスする。

● rel=”nofollow”があるaタグのリンク先はクロールしない。

● サーバにアクセスする間隔時間を開けて高負荷をかけないようにする。(ネット上では最低1秒以上?という情報が多いですが、利用規約その他のルールがあればその指示に従いましょう)

【Python】Webスクレイピング入門(BeautifulSoup4編)
Pythonモジュール「BeautifulSoup4」を用いたWebスクレイピングについて入門者向けにまとめました。
【Python】Webスクレイピング入門・ライブラリ比較
Pythonを用いたWebスクレイピングと便利なライブラリの比較について入門者向けにまとめました。

コメント

タイトルとURLをコピーしました