SEOでよく用いられる単語の中から、今回は「robots.txt」の意味や効果、作り方について解説します。

「robots.txt（ロボッツ・テキスト）」とは、ロボット型の検索エンジンにWEBページをクロールされたくないときに記述するテキストファイルのことです。

検索エンジンは、ロボット型のクローラーというプログラムによりWEBサイトのページの情報やデータを集めています。クローラーにページが巡回されれば検索結果のインデックスに表示されるようになりますし、正しいSEO施策を続けることで検索順位が改善されやすくなります。

しかし中には、公開はしているけど検索エンジンにインデックスされたくないといった場合もあるため、そのような時にはrobots.txtを作成するのがベストです。robots.txtを作ることで、検索エンジンに特定のWEBページを登録されないように指示できるほか、WEBサーバー内をクローリングしないように要求を出すことができます。

robots.txtを作成すると、公開はしているけど検索結果にインデックスはされたくない、といったページに対してクロールがされないように指示することができます。

必要以上にrobots.txtを作る必要はありませんが、SEO効果を高めやすくするためにrobots.txtを活用することができます。

robots.txtを作ると必要のないページに対するクロール頻度が減り、その反対に重要なページに対するクロール頻度を増やすことができます。効率良くクロールがされれば意図したページに関する情報が読み取られやすくなり「クロールを最適化する」という効果をもたらすことができます。

公開されたWEBサイトやページの情報をロボット型のクローラーが巡回することで検索エンジンにインデックス（登録）されて、重要だと判断されたページは検索結果に優先的に表示されるようになります。
検索結果の順位をアップさせるためのSEO内部対策には、クロールの最適化という手法が含まれています。

ユーザーにとって価値のないページや広告がリンク先のページ、CMSシーエムエスで自動生成されたページなど、検索エンジンにクロールされたくないページがある場合はrobots.txtを作成してクロールされないように要求します。

robots.txtを使う際にはまず、「robots.txt」というファイルを作成します。作成したrobots.txtのファイルは、ドメインのルートディレクトリという箇所に設置します。サブディレクトリなどルートディレクトリ以外の場所に設置したとしても意味がありません。設置したあとは指定したページだけがrobots.txtで制御されていることを必ず確認するようにしましょう。

robots.txtにはいくつか記載すべき項目があります。まず、「User-agent」を記述することで対象となるクローラーを指定することができます。一口にクローラーといっても、検索エンジンごとに独自のクローラーを使っているためです。

次に「Disallow」を使い、クロールされたくないページ（ファイルやディレクトリ）を指定することができます。「Allow」は、クロールされないようにする指示とは逆に、クロールされることを許可するページを指定できます。「Disallow」でブロックした中の一部を許可する時に使用します。

「Sitemap」は、WEBサイトの構成を伝えるためのサイトマップの場所を指定し、クローラーに積極的に巡回させるための記述です。