クローラーとは、インターネット上にあるあらゆるホームページのhtmlファイルや、画像ファイル、CSSファイルなどを網羅的に巡回して取得して回るプログラムのことで、GoogleやBingなどの検索エンジンがそれぞれのクローラーを使用しています。

検索エンジンが機能を発揮するためのデータ収集

普段利用しているGoogleやBingなどの検索エンジンでは、

1. インターネット上で収集したホームページの情報(htmlファイルの中身など）をデータベース化（インデックス）
2. データベースに登録されたページをランク付け
3. その並び順で検索結果を表示

という仕組みで、検索結果が表示されています。

クローラーは、１のホームページの情報収集とデータベース化（インデックス）を担っているんです。

クローラーの名称

各検索エンジンのクローラーには、それぞれ名称がつけられています。

• Google：Googlebot（Googleボット）
• Bing：Bingbot
• Yahoo！：Yahoo Slurp（Yahooスラープ）
• 百度（バイドゥ、中国）：Baiduspider（バイドゥ・スパイダー）

クローラーにいかにスムースに高頻度に巡回してもらうか

このように、検索エンジンのクローラーに自社のホームページを巡回してもらって初めて検索エンジンの結果に表示されるようになります。

そのため、この検索エンジンのクローラーにいかにスムースに、且つ高頻度に巡回してもらうかがSEO対策のうえで基本であり、重要なことです。

参考になれば幸いです。