【初心者向け】robots.txtとは？わかりやすく解説

2021/4/29

robots.txtとは、端的に書くと、クローラと呼ばれるロボットに、ホームページのどこを見て、どこを見てほしくないかを指定するものです。

あわせて、sitemap.xmlの位置も指定することで、早めに検索結果に出るようにする仕組みも提供しています。

robots.txtの配置先は？

https://amsstudio.jp/robots.txt

のようにドメイン直下にrobots.txtという名前で配置します。
ここに

User-agent: *
Allow: /

と記載するとすべてのクローラに全ファイル見てもいいよという指示です。

User-agent: *
Disallow: /

と記載するとすべてのクローラに全ファイルを見ちゃダメだという指示になります。
こちらを記載してしまうと、検索結果にでなくなるのでrobots.txtの記載は慎重に行う必要があります。

また、合わせてサイトマップの場所も指定できるので通常であれば

User-agent: *
Allow: /
Sitemap:https://amsstudio.jp/sitemap.xml

というように書くのが一般的ですね。