簡単ホームページ作成ツールならAMS - まずはお試し

全国対応!まずはご相談ください 電話番号0120-55-4682

【初心者向け】robots.txtとは?わかりやすく解説

2021/4/29

【初心者向け】robots.txtとは?わかりやすく解説

robots.txtとは、端的に書くと、クローラと呼ばれるロボットに、ホームページのどこを見て、どこを見てほしくないかを指定するものです。

あわせて、sitemap.xmlの位置も指定することで、早めに検索結果に出るようにする仕組みも提供しています。

robots.txtの配置先は?

https://amsstudio.jp/robots.txt

のようにドメイン直下にrobots.txtという名前で配置します。
ここに

User-agent: *
Allow: /

と記載するとすべてのクローラに全ファイル見てもいいよという指示です。

User-agent: *
Disallow: /

と記載するとすべてのクローラに全ファイルを見ちゃダメだという指示になります。
こちらを記載してしまうと、検索結果にでなくなるのでrobots.txtの記載は慎重に行う必要があります。

また、合わせてサイトマップの場所も指定できるので通常であれば

User-agent: *
Allow: /
Sitemap:https://amsstudio.jp/sitemap.xml

というように書くのが一般的ですね。

robots.txtの注意事項

robots.txtの注意事項としては、検索エンジンによってはrobots.txtを無視するものがあると聞いたことがあるので、完全ではなという前提で使うようにしましょう。
最後までお読みいただきありがとうございました。

この記事を書いたのは

株式会社AMS 取締役副社長 古倉 功一

2005年からSEOに本格的に取り組み、SEO歴は15年以上。現在はリスティング広告、SEOをメインにしたWebコンサルを提供中。好きな番組:ポケットモンスター。

  • 石川県産業創出支援機構(ISICO)「お店ばたけ」ホームページドクター
  • セミナー講師(Webマーケティング、SEO、PPC広告等)
  • ミラサポ専門家登録(派遣先からの総合評価平均 5点中4.9)
常時SSL+スマホサイト最適化の効果の出るホームページが39,800円!
【0120-55-4682】月~金曜9:00~18:00

月~金曜9:00~18:00

メールでのお問い合わせ
AMS簡単ホームページ作成ツール
あなたのサイトをPRしましょう!
AMSマニュアル
よくある質問と回答
AMSお問合わせ

月別アーカイブ