robots.txt で指定したファイルやディレクトリは、絶対に検索結果に表示されないのでしょうか?

はてなブックマークに追加する

2009年08月04日 

いいえ。robots.txt で特定ファイルやディレクトリのインデックス(登録)を除外していても、検索結果に表示されるケースがあります。

特に、一度公開したファイル(ディレクトリ)を後日、robots.txt で除外した場合は、最新の robots.txt の内容が検索結果に反映されるまでのタイムラグがありますので、1ヶ月くらいは検索されてしまいます。

また、Yahoo!のクローラは、「たとえ robots.txt でブロックされていても有用なURLが表示する」という仕様になっていますし、実際、robots.txt でブロックされたURLはクエリの文字列が一致すると、タイトル・説明文はありませんがURLが検索結果に表示されてしまいます。

したがいまして、robots.txt でブロックするだけでは「絶対に検索エンジンにクロールされない」とは言い切れませんので、検索されて困るものはBASIC認証などでパスワードロックするようにしましょう。

ページTOPへ戻る

ページTOPへ戻る