【Webスクレイピング】注意事項や最低限のルール

Webスクレイピングする際の注意事項とルールについてまとめました。

【Webスクレイピング】主な注意事項

Webスクレイピングを行う際の注意事項をまとめてみました。

● サイトに記載されている利用規約等に従って利用する。
→スクレイピングが禁止されていれば行わない。
→スクレイピングしたデータを利用するときもルールに従う。

● 「robots.txt」「robots metaタグ」「HTTPヘッダーのX-Robots-Tag」に記載されているクローラーに対するルールに従ってアクセスする。

● rel=”nofollow”があるaタグのリンク先はクロールしない。

● サーバにアクセスする間隔時間を開けて高負荷をかけないようにする。（ネット上では最低1秒以上？という情報が多いですが、利用規約その他のルールがあればその指示に従いましょう）