• 締切済み

robot.txt の書き方

Disallow: /cgi-bin/ と書けば、cgi　のディレクトリがクロールされませんよね？ 特定の一つのページのみクロール拒否したいなら、 Disallow: /001.html で可能でしょうか？

  • ro911
  • お礼率38% (21/55)

みんなの回答

  • magid
  • ベストアンサー率73% (49/67)
回答No.1

きちんとrobots.txtを読む検索エンジンなら、その書き方で拒否できるはずです。 robots.txtの仕様が書かれたページを参考URLに挙げておきます。ここのFormatの項にあるDisallowの説明を読むと、Disallowに指定したテキストで始まるすべてのURLが拒否されると書かれています。つまり、記述するのはpath名でもファイル名でもpath名の一部でも良い、ということです。 拒否したいページがひとつだけならrobots.txtを使わずに、metaタグを使って 　<meta name="robots" content="noindex,nofollow"> と拒否したいページの<html></html>内に記述するのでも良いと思います。

参考URL：
http://www.robotstxt.org/wc/norobots.html
すると、全ての回答が全文表示されます。
  1. カテゴリ
  2. [技術者向] コンピューター
  3. ITシステム運用・管理
  4. その他（ITシステム運用・管理）

関連するQ&A

注目のQ&A

カテゴリ

OKWAVE コラム

あなたにピッタリな商品が見つかる！ OKWAVE セレクト

専門家に質問してみよう

職業から探して質問する
質問する