概要
robots.txtは、Webサイトのルート(あなたのドメイン.com/robots.txtのようなアドレス)に置かれるプレーンテキストファイルで、検索エンジンのクローラー(サイトを訪れてページを読み込み、インデックスに登録する自動プログラム)に指示を与えます。典型的には「このサイトは全部クロールして構いません」といった内容や、内部の管理画面やGoogleに表示させる必要のない検索結果ページなど、クロールしてほしくない特定の区画を挙げるといった内容が書かれます。
これはセキュリティの壁というより丁寧なお願いのようなものです。行儀の良いクローラー(GoogleやBingのものなど)はこれを尊重しますが、すでにアドレスを知っている相手が直接ページにアクセスすることを実際に阻止するものではありません。
重要な理由
robots.txtファイルがないと、ほとんどのクローラーは単純にサイト内のすべてを自由にクロールしてよいと判断します。除外するものが特にない小規模なサイトであれば、それでも問題ないことが多いでしょう。しかしファイルがないということは、その点について発言権が一切ないということでもあります。クロールしてほしくない区画(内部ツール、誤って公開されたステージング環境、サイト内検索が生成する重複コンテンツなど)がもし出てきても、それを伝えるファイルが存在しないのです。
検索エンジンも新しいサイトを発見した際、最初に行う確認の一つとしてこのファイルをチェックします。また、クローラーをサイトマップへ誘導するためによく使われ、他のページをより早く見つけてインデックスに登録してもらう助けになります。
修正方法
robots.txtという名前(すべて小文字)のプレーンテキストファイルを作成します。- 最低限、
User-agent: *に続けてAllow: /を記載し、すべてのクローラーにサイト全体へのアクセスを明示的に許可します。 - インデックスに登録してほしくない特定の区画があれば、それぞれについて
Disallow: /admin/のような行を追加します。 Sitemap: https://あなたのドメイン.com/sitemap.xmlのように、サイトマップを指す行を追加し、クローラーが他のページをより早く見つけられるようにします。- ファイルをサブフォルダではなくサイトのルートフォルダにアップロードし、
あなたのドメイン.com/robots.txtでアクセスできるようにします。多くのサイトビルダーには、ファイルをアップロードしなくても済む専用の設定欄があります。 - その後ブラウザでそのアドレスにアクセスし、ファイルが読み込まれ、ルールがプレーンテキストとして表示されることを確認しましょう。