Wget

「クローラー」とは、自動的にWebページの情報収集を行うプログラムのことです。 クローラーは別名で、ボット・ロボット・スパイダーなどと呼ばれていますが、どれも同じ自動的に働くプログラムを指しています。 「スクレイピング」とは、収集された情報...