SEO対策 【旧サーチコンソール】robots.txtテスターの使い方をわかりやすく解説
Googleのロボット型検索エンジンは、リンクを辿ってWEBサイトをクロールしインデックス（データベースに情報を登録）していきます。
しかし中には、公開はしているけど検索エンジンにインデックスされたくないといったケースもあるため、そのような時は「robots.txt（ロボッツ・テキスト）」を使用し、検索エンジンに対して特定のページをクロールしないように指示できます。
今回は、クロールの最適化に欠かせないrobots.txtに記述する構文や、文法が間違っていないかを確かめたり、正しく動作しているかどうかを確かめたりできるGoogleサーチコンソールの「robots.txtテスター」の使い方をわかりやすく解説します。
１．Googleサーチコンソールの「robots.txtテスター」とは？
「robots.txtテスター」は、Googleサーチコンソールに含まれる機能の一つです。
robots.txtテスターを使うと、robots.txtを使用している場合に検索エンジンのクローラーのアクセスが正しく制御されているかどうかを確認できます。
特定のページがクロールされないように指示できるrobots.txtですが、構文ミスや記述の誤りがあると、WEBサイト全体、あるいは必要なページがインデックスされなくなる、重要なページが検索結果に表示されなくなるなど、致命的な問題につながりかねません。
このような致命的なミスを回避するためにも、robots.txtに記載されている内容や文法に誤りがないかをrobots.txtテスターで必ずチェックして、WEBサイトやページを効率的にインデックスさせていきましょう。
1-1.robots.txtテスターの3つの機能
robots.txtファイルを作成した際に、決まった構文通りに書かないと検索エンジンのクローラーは理解してくれません。そのような時に積極的に使いたいツールがrobots.txtテスターであり、robots.txtファイルの編集に大いに役立つ以下のような機能を使用できます。
- robots.txtの構文エラー確認
- robots.txtの動作テスト
- robots.txtの更新をGoogleに送信
これら3つの機能は、robots.txtファイルを作成する時や修正する時に活用できます。
基本的な使い方は、次の章で紹介します。
２．robots.txtテスターの基本的な使い方
robots.txtは、「質の低いページをインデックスされないようにしたい」、「意図したページへのクロール数を増やしたい」、「特定のページを限られた人にだけ公開したい」、といったときに使用します。
robots.txtテスター画面の確認方法は、以下のとおりです。
※クロールの統計情報を使用するにはGoogleサーチコンソールへの登録が必要です。
参考：「【Googleサーチコンソール】自分で出来る登録方法 使い方ガイド」
- １Googleサーチコンソールにログイン
- ２該当するWEBサイトURL（プロパティ）を選択
- ３ダッシュボード内の【クロール】をクリック
- ４【robots.txtテスター】をクリックしてrobots.txtテスター画面を開く
robots.txtテスター画面を開いたら、次はrobots.txtテスターの3つの機能の使い方をそれぞれ見てみましょう。
2-1.robots.txtを使った構文エラーの確認方法
robots.txtテスター画面を開くと、すでに公開していてGoogleがクロール済みのrobots.txtの内容が表示されます。
構文エラーがある場合は、この画面の下に
赤字で「エラー数：」
橙色で「警告数：」
が表示され、誤りがある構文の横にエラーマークがつきます。
robots.txtテスターは、人間の目ではなかなか見つけづらい構文のミスをエラーで表示して教えてくれますが、URLの記述ミスまでは検知できないため細心の注意を払いながら入力しましょう。
例えば、robots.txtテスターを使うと以下のような記述ミスを指摘してくれます。
（正）Disallow: /wp/wp-admin/
（誤）Disalow: /wp/wp-admin/
クローラーのアクセスを制御するための「Disallow:」という記述を、「Disalow」とスペルミスをしているため構文エラーが表示されてしまっています。
また、構文エラーの他、正しい構文でない場合は警告が表示されます。警告マークにカーソルを合わせると、警告が表示される原因を具体的に指摘してくれるメッセージが表示されます。
2-2.robots.txtを使った動作テストの方法
この機能では、追加したrobots.txtファイルの構文が問題なく機能しているかどうか、つまり特定のURLへのクロールの制御が正しく行われているかを確認できます。
（１）フォームにURLの一部を入力する
robots.txtテスター画面の下部に、次のメッセージが表示されたフォームがあります。
“URLがブロックされているかどうかをテストするには、URLを入力してください”
ここに、動作テストをしたいURLのドメイン以下の部分（相対パス）を入力します。
（２）「テスト」をクリック
フォームに入力したら「テスト」をクリックします。
※フォーム横にある項目はクロールロボットの種類です。デフォルトでは、GoogleのクロールロボットであるGooglebotが選択されています。
（３）メッセージを確認する
・ブロック済みの場合：赤字で「ブロック済み」というメッセージが表示されます。
・ブロックされていない場合：緑字で「許可済み」というメッセージが表示されます。
robots.txtの内容だけで確認するよりも、動作テストの機能を使ったほうが特定のURLがブロックされていることを目視で確認できるため便利です。
2-3.robots.txtを使った送信方法
robots.txtテスターには編集画面がありますが、robots.txtの内容を更新した場合やフォルダを追加した場合は、以下の手順に沿ってrobots.txtファイルの更新内容をGoogleに伝える必要があります。
（１）「送信ボタン」をクリック
robots.txt画面で検証や編集が完了したら、編集画面の右下にある「送信」ボタンをクリックします。
（２）「ダウンロード」をクリック
「更新されたコードをダウンロード」の横にある「ダウンロード」ボタンをクリックすると、編集したrobots.txtがエディタからダウンロードされて、PC上にファイルとして保存されます。
（３）保存したrobots.txtファイルをアップロードする
保存したrobots.txtファイルをドメインのルートにアップロードします。サーバーによってアップロードをする場所が異なるため、不明な場合はサーバー会社に問い合わせましょう。
（３）「アップロードされたバージョンを確認」をクリック
robots.txtファイルをアップロードしたら、「アップロードされたバージョンを確認」をクリックして、更新されたrobots.txtが公開されているかを確認します。
（５）「送信」をクリック
アップロードされたバージョンを確認して問題がなければ、「Googleに更新をリクエスト」の横にある「送信」をクリックして、robots.txtの内容が更新されたことをGoogleに知らせるためにリクエストを送信します。
ここまでの更新処理が完了すると、最新のrobots.txt情報がGoogleに伝わるようになっています。
robots.txtを作成するということは、特定のページへのアクセスを制御し、重要なコンテンツに対してクロールを集中させるなど、クロールを最適化するという効果をもたらします。
しかしながら、robots.txtの構文エラーは人間の目だけでは気づかないことが多いため、問題なく設定されているかどうかを確認するためにも、今回紹介した「robots.txtテスター」を積極的に活用していきましょう。
正しいrobots.txtを設定することでクロールを最適化できれば、不要なページへのクロール回数を減らし、重要なページへのクロール数を意図的に増やせるなど、SEOを改善させるためにも非常に効果的です。
以上、Googleサーチコンソールの「robots.txtテスター」の機能や使い方についての解説でした。
この記事を書いたライター
SEO施策部
SEMを軸にSEOの施策を行うオルグロー内の一部署。
サイト構築段階からのSEO要件のチェックやコンテンツ作成やサイト設計までを一貫して行う。社内でもひときわ豊富な知見を有する。またSEO歴15年超の塩田英司のノウハウをSEOサービスに反映し、2000社を超える個人事業主から中堅企業までの幅広い顧客層に向けてビジネス規模にあった施策を提供し続けている。
