Googleはウェブマスターツールにrobots.txtテスターを追加したと発表しました。
これによって、検索エンジン等のクローラーの動きを制御するrobots.txtを、今までよりも簡単に確認できるようになりました。早速チェックしてみましょう！
確認したいサイトのツールを開き、[クロール] > [robots.txt テスター]を開きます。
最新のrobots.txtの状態が表示されます。記載されているスペースはエディターになっており、robots.txtの編集が可能です。ただし、ここでの編集が本番に適用されることはありません。また、「公開済みの robots.txt を表示する」をクリックすると、robots.txtのURL(http://sample.com/robots.txt)にジャンプできます。
一番下の入力欄にURLを入力することで、robots.txtが正しく適用されているか確認できます。元々、「テスト」と表記されていたところが正しい表記(ブロックなど)になっていれば成功です。
なお、robots.txtの無いページでもこの機能は利用できるものの、最初は「robots.txtが無い」というポップアップが表示されます。
全てのアカウントに向けて適用されたようなので、検索からは訪れてほしくないページがちゃんとブロックできているか確認してみましょう！