クローラ
出典: フリー百科事典『ウィキペディア（Wikipedia）』
クローラ（クローラー、クロウラー、英語： crawler）とは、「這い進む (crawl) もの」を表す英語で、
クローラは、ウェブ上の文書や画像などを周期的に取得し、自動的にデータベース化するプログラムである。WUAの一種。「スパイダー」や「ロボット」などとも呼ばれる。
主に検索エンジンのデータベース、インデックス作成に用いられているほか、統計調査などの目的にも利用される。近年では電子メールアドレス収集業者などもクローラを利用して、迷惑メールの送信効率を上げている。
一般にクローラは、既知のHTML文書の新しいコピーを要求し、文書中に含まれるリンクをたどり別の文書を収集するという動作を繰り返す。新しい文書を見つけた場合はデータベースに登録する。また、既知のファイルが存在しないことを検出した場合はデータベースから削除する。
[編集] 主なクローラ
- Googlebot (Google)
- InfoSeek Sidewinder （インフォシーク）
- Slurp (Inktomi)
- Scooter (AltaVista)
- MSNBot (MSN)
- NaverBot (NAVER、2005年1月31日 活動終了)
- インターネットNinja
