アフィリエイトで稼ぐマニュアル

クローラーとは？

クローラー（クロウラー、crawler）とは、「這い進む（crawl）もの」を表す英語で、ＷＷＷ巡回プログラムのこと。

Googleでは、クローラを作動させて、ホームページやブログをデータベース化しています。

クローラーは、ＷＷＷ上の文書や画像などを周期的に取得し、自動的にデータベース化するプログラムである。
ＷＵＡの一種。スパイダーまたは単純にロボットとも呼ばれる。

主に検索エンジンのデータベース、インデックス作成に用いられているほか、統計調査などの目的にも利用される。近年では電子メールアドレス収集業者などもクローラーを利用して、迷惑メールの送信効率を上げている。

一般にクローラーは、既知のＨＴＭＬ文書の新しいコピーを要求し、文書中に含まれるリンクをたどり別の文書を収集するという動作を繰り返す。新しい文書を見つけた場合はデータベースに登録する。また、既知のファイルが存在しないことを検出した場合はデータベースから削除する。

出典: フリー百科事典『ウィキペディア（Wikipedia）』