【初心者向け】robots.txtとは？わかりやすく解説
2021/4/29
robots.txtとは、端的に書くと、クローラと呼ばれるロボットに、ホームページのどこを見て、どこを見てほしくないかを指定するものです。
あわせて、sitemap.xmlの位置も指定することで、早めに検索結果に出るようにする仕組みも提供しています。
あわせて、sitemap.xmlの位置も指定することで、早めに検索結果に出るようにする仕組みも提供しています。
robots.txtの配置先は？
https://amsstudio.jp/robots.txt
のようにドメイン直下にrobots.txtという名前で配置します。
ここに
User-agent: *
Allow: /
と記載するとすべてのクローラに全ファイル見てもいいよという指示です。
User-agent: *
Disallow: /
と記載するとすべてのクローラに全ファイルを見ちゃダメだという指示になります。
こちらを記載してしまうと、検索結果にでなくなるのでrobots.txtの記載は慎重に行う必要があります。
また、合わせてサイトマップの場所も指定できるので通常であれば
User-agent: *
Allow: /
Sitemap:https://amsstudio.jp/sitemap.xml
というように書くのが一般的ですね。
のようにドメイン直下にrobots.txtという名前で配置します。
ここに
User-agent: *
Allow: /
と記載するとすべてのクローラに全ファイル見てもいいよという指示です。
User-agent: *
Disallow: /
と記載するとすべてのクローラに全ファイルを見ちゃダメだという指示になります。
こちらを記載してしまうと、検索結果にでなくなるのでrobots.txtの記載は慎重に行う必要があります。
また、合わせてサイトマップの場所も指定できるので通常であれば
User-agent: *
Allow: /
Sitemap:https://amsstudio.jp/sitemap.xml
というように書くのが一般的ですね。
robots.txtの注意事項
robots.txtの注意事項としては、検索エンジンによってはrobots.txtを無視するものがあると聞いたことがあるので、完全ではなという前提で使うようにしましょう。
最後までお読みいただきありがとうございました。
この記事を書いたのは
株式会社AMS 取締役副社長 古倉 功一
2005年からSEOに本格的に取り組み、SEO歴は15年以上。現在はリスティング広告、SEOをメインにしたWebコンサルを提供中。好きな番組：ポケットモンスター。
- 石川県産業創出支援機構(ISICO)「お店ばたけ」ホームページドクター
- セミナー講師（Webマーケティング、SEO、PPC広告等）
- ミラサポ専門家登録(派遣先からの総合評価平均 5点中4.9)
ホームページでお困りならAMSにお任せください。
- 制作会社の選び方がわからない。
- どの制作会社も費用が高額で手が付けられない。
- 今のホームページが簡単に更新できなくて困っている。
などホームページでお困りではありませんか？ 弊社AMSでは効果のある高品質なホームページを格安で制作いたします。 まずは料金やプラン内容、制作実績などを下記の画像をクリックして ご覧ください。
