Googleのロボット型検索エンジンは、リンクを辿ってWEBサイトをクロールしインデックス（データベースに情報を登録）していきます。
しかし中には、公開はしているけど検索エンジンにインデックスされたくないといったケースもあるため、そのような時は「robots.txt（ロボッツ・テキスト）」を使用し、検索エンジンに対して特定のページをクロールしないように指示できます。

今回は、クロールの最適化に欠かせないrobots.txtに記述する構文や、文法が間違っていないかを確かめたり、正しく動作しているかどうかを確かめたりできるGoogleサーチコンソールの「robots.txtテスター」の使い方をわかりやすく解説します。

「robots.txtテスター」は、Googleサーチコンソールに含まれる機能の一つです。
robots.txtテスターを使うと、robots.txtを使用している場合に検索エンジンのクローラーのアクセスが正しく制御されているかどうかを確認できます。

特定のページがクロールされないように指示できるrobots.txtですが、構文ミスや記述の誤りがあると、WEBサイト全体、あるいは必要なページがインデックスされなくなる、重要なページが検索結果に表示されなくなるなど、致命的な問題につながりかねません。

このような致命的なミスを回避するためにも、robots.txtに記載されている内容や文法に誤りがないかをrobots.txtテスターで必ずチェックして、WEBサイトやページを効率的にインデックスさせていきましょう。

robots.txtファイルを作成した際に、決まった構文通りに書かないと検索エンジンのクローラーは理解してくれません。そのような時に積極的に使いたいツールがrobots.txtテスターであり、robots.txtファイルの編集に大いに役立つ以下のような機能を使用できます。

robots.txtは、「質の低いページをインデックスされないようにしたい」、「意図したページへのクロール数を増やしたい」、「特定のページを限られた人にだけ公開したい」、といったときに使用します。

robots.txtテスター画面の確認方法は、以下のとおりです。
※クロールの統計情報を使用するにはGoogleサーチコンソールへの登録が必要です。

robots.txtテスター画面を開くと、すでに公開していてGoogleがクロール済みのrobots.txtの内容が表示されます。

構文エラーがある場合は、この画面の下に

赤字で「エラー数：」
橙色で「警告数：」

が表示され、誤りがある構文の横にエラーマークがつきます。

robots.txtテスターは、人間の目ではなかなか見つけづらい構文のミスをエラーで表示して教えてくれますが、URLの記述ミスまでは検知できないため細心の注意を払いながら入力しましょう。

例えば、robots.txtテスターを使うと以下のような記述ミスを指摘してくれます。

（正）Disallow: /wp/wp-admin/
（誤）Disalow: /wp/wp-admin/

クローラーのアクセスを制御するための「Disallow:」という記述を、「Disalow」とスペルミスをしているため構文エラーが表示されてしまっています。

また、構文エラーの他、正しい構文でない場合は警告が表示されます。警告マークにカーソルを合わせると、警告が表示される原因を具体的に指摘してくれるメッセージが表示されます。

この機能では、追加したrobots.txtファイルの構文が問題なく機能しているかどうか、つまり特定のURLへのクロールの制御が正しく行われているかを確認できます。

robots.txtテスター画面の下部に、次のメッセージが表示されたフォームがあります。
“URLがブロックされているかどうかをテストするには、URLを入力してください”
ここに、動作テストをしたいURLのドメイン以下の部分（相対パス）を入力します。

フォームに入力したら「テスト」をクリックします。
※フォーム横にある項目はクロールロボットの種類です。デフォルトでは、GoogleのクロールロボットであるGooglebotが選択されています。

・ブロック済みの場合：赤字で「ブロック済み」というメッセージが表示されます。
・ブロックされていない場合：緑字で「許可済み」というメッセージが表示されます。

robots.txtの内容だけで確認するよりも、動作テストの機能を使ったほうが特定のURLがブロックされていることを目視で確認できるため便利です。

robots.txtテスターには編集画面がありますが、robots.txtの内容を更新した場合やフォルダを追加した場合は、以下の手順に沿ってrobots.txtファイルの更新内容をGoogleに伝える必要があります。

robots.txt画面で検証や編集が完了したら、編集画面の右下にある「送信」ボタンをクリックします。

「更新されたコードをダウンロード」の横にある「ダウンロード」ボタンをクリックすると、編集したrobots.txtがエディタからダウンロードされて、PC上にファイルとして保存されます。

保存したrobots.txtファイルをドメインのルートにアップロードします。サーバーによってアップロードをする場所が異なるため、不明な場合はサーバー会社に問い合わせましょう。

robots.txtファイルをアップロードしたら、「アップロードされたバージョンを確認」をクリックして、更新されたrobots.txtが公開されているかを確認します。

アップロードされたバージョンを確認して問題がなければ、「Googleに更新をリクエスト」の横にある「送信」をクリックして、robots.txtの内容が更新されたことをGoogleに知らせるためにリクエストを送信します。
ここまでの更新処理が完了すると、最新のrobots.txt情報がGoogleに伝わるようになっています。