ホームページを巡回してその内容を検索エンジンに伝えてくれるのがクローラーと呼ばれる巡回プログラムです。

しかしホームページのなかには検索エンジンに登録されたくないファイルもあります。そのような時に使うのが「robots.txt」というテキストファイルです。

robots.txtとは

robots.txtは、検索エンジンの巡回プログラムであるクローラーの動きを制御するためのテキストファイルです。

クローラーのことを「巡回ロボット」ともいいます。

robots.txtにはクローラーに対して大きく分けて２つの役割があります。

• ①任意のディレクトリやウェブページへのクローラーの巡回を拒否する
• ②XMLサイトマップの場所をクローラーに明示して伝える

robots.txtで設定する項目

robots.txtで設定する項目は以下の４つです。

• ①User-agent・・・・どのクローラーについてなのかを指定します。検索エンジンによってクローラーは異なり、それぞれに名称がついています。Googleのクローラーは「Googlebot」、Bingのクローラーは「Bingbot」など。
• ②Disallow・・・・クローラーが巡回するのを拒否したいディレクトリや、ウェブページなどを指定します。
• ③Allow・・・・クローラーが巡回するのを拒否したいディレクトリの中にある、巡回してもらいたいディレクトリやウェブページなどを指定します。
• ④Sitemap・・・・検索エンジンにホームページにあるウェブページの情報を伝えるためのサイトマップの場所を明示してクローラーに伝えます。※robots.txtがなくてもGoogleサーチコンソールからサイトマップを送信して伝えることは可能です。

ご注意ください

robots.txtの内容を誤って記述すると重要なウェブページがいつまで経ってもインデックスされないといったことにつながります。

Googleサーチコンソールのツールで「robots.txtテスター」というツールがあり、robots.txtの構文チェックと指定したディレクトリの拒否設定が正しく動作しているかのテストを行うことができます。

参考になれば幸いです。