クローラー（Crawler）は、インターネット上の情報を自動的に収集するために使用されるプログラムやスクリプトのことです。
別名、ボット（Bot）、スパイダー（Spider）、ロボット（Robot）などとも呼ばれます。
クローラーは、検索エンジンの一部として使用されることが最も一般的です。
検索エンジンのクローラーは、ウェブ上のページを順次巡回し、新しいページを見つけてインデックス化することで、検索エンジンの検索結果を提供します。
クローラーは次のような特徴や機能を持っています。
- リンクをたどる
クローラーは、与えられた開始点（例：ウェブサイトのホームページ）からリンクをたどり、新しいページを探します。
リンクをたどることによって、ウェブ上のさまざまなページを巡回することができます。 - ページの解析
クローラーは、巡回した各ページのコンテンツを解析し、HTMLの要素やテキスト、リンクなどの情報を取得します。
これにより、ページのタイトル、メタデータ、本文などの情報が抽出されます。 - インデックス作成
クローラーは、巡回したページをインデックス化するための情報を収集します。
これにより、検索エンジンがユーザーの検索クエリに対して適切な結果を提供するために、ページの情報が整理されます。 - 再巡回
クローラーは定期的にウェブサイトを巡回し、新しいページや変更があったページを再度収集します。
これにより、最新の情報を検索エンジンのインデックスに反映することができます。
クローラーは検索エンジンだけでなく、ウェブサイトのパフォーマンスモニタリング、リンクのチェック、セキュリティスキャンなど、さまざまな目的で使用されることがあります。
また、ウェブサイトの運営者はクローラーの動作を制御するためのルール（robots.txtファイルなど）を設定することができます。