クローラ(Crawler)とは、インターネット上のホームページのテキストや画像などを持ってきて、登録するというプログラムのことを言います。

「ボット」とか、「ロボット」とかともいったりしますね。

基本的な仕組みはこうです。

あるホームページにクローラを放ちます。そうするとそのクローラはそのサイトにあるテキストデータや画像ファイルを取得します。

テキストファイルには下層ページへのリンクがあれば、できるだけくまなく取得するよう動きます。

そのリンクに別のサイトがリンクされていたら、次はその別のサイトに遷移して、下層ページまでデータを取得する、これを延々と繰り返してデータを取得しています。

このクローラという仕組みは別にGoogleだけではありません。統計調査につかわれていたり、スパム業者がメールアドレスを集める目的でも使用していたりします。

ホームページにメールアドレスを掲載すると、スパムメールが増えるのはこういう仕組みです。

対策としてはいろいろありますが、画像にするという方もいらっしゃいますが、AIの進歩により画像も読み取られる可能性がありますね。

いわゆる、いたちごっこです。

いかがでしたでしょうか。

昔と比較して、Googleのクローラは飛躍的な進歩を遂げました。

今では最新のChrome相当の機能を持ち、すべてJavaScriptで書かれているようなサイトもきちんと認識してくれるようになりました。

昔からの変遷を見ている私にとっては大きな進歩だと感じますね。

それによりWebサイトの表現力も大きく変わるはずです。

最後までお読みいただきありがとうございました。