JavaScript

「クローラー」とは自動的にWebページの情報収集を行うプログラムのことで、「スクレイピング」とは収集された情報を解析することを指します。クローラーやスクレイピングを活用することで、人力ではできなような膨大な作業をサクッとできるようになるメリットがあります。ただし情報収集する相手側のサイトにとって、不都合とならないように気をつけるなど”行儀のよい”クローラーを作ることが大事です。そこでクローラーの作り方から運用の仕方、クローリングするときの注意点など、必要となる知識をまとめてサクッと理解したいあなたはこちらをどうぞ