• ベストアンサー

サイトのあるページだけ検索エンジンでヒットしないようにするには?

お願いします。 最近、ヤフーの検索エンジンのシステムが変更に なったときき、自分のさいとのキーワードで検索を したら、CGIで作成されたページがヒットする ようになっていました。グーグルで検索すると そのページは出てきません。 自分のサイトはCGIで作成されたページとそうで ないページがあります。CGIで作ったページ (掲示板など)は検索エンジンで検索されたくない のですが、どうすればよいでしょうか? <META NAME="ROBOTS" CONTENT="NOARCHIVE">などと いれれば、いいときいたのですがこれをいれると、 入れたページだけが検索されなくなるのでしょうか? それとも、サイト全体が検索システムから削除されて しまうのでしょうか? index.html-page1      ├page2      ├page3      ├page4(CGI)-page5(CGI)              ├page6(CGI) 自分のサイトはこんな構成になっています。CGIで 作成されたページだけ検索エンジンで拾われないよう にしたいです。 わかるかた教えてください。

質問者が選んだベストアンサー

  • ベストアンサー
回答No.3

サイト全体ではなく、ページだけの制御です。 <META NAME="ROBOT" CONTENT="NOARCHIVE"> これはキャッシュページのみを削除するものであり、Google の場合は引き続きページのインデクス付けを行い概要表示はします。ということなので、これだけでは不十分ではないでしょうか。 <META NAME="ROBOT" CONTENT="noindex"> 検索データベースへの登録を禁止します。 ですので結局、 <META NAME="ROBOT" CONTENT="noindex,noarchive"> にしておけばいいのではないでしょうか。 ◎ 別の方法として robots.txt を使う方法もあります。サイトのトップディレクトリに検索ロボットに検索されたくないディレクトリを記述しておきます。 User-agent: Googlebot Disallow: /secretdir/ Disallow: /cgi-bin/ こうすると指定ディレクトリ全体を検索しなくなりますので掲示板の吐き出す HTML だけをここに入れるよう CGI 変更すればいいのではないでしょうか? robots.txt を使うと見られたくないディレクトリはここですよと他人に公言していることになる(^^;ので、そこには index.html を置かない方がいいかも知れません。たとえば http://*****.com/secret/ とした場合にそこにあるデフォルトのページ(通常は index.html)が参照されてしまうからです。 ただディレクトリ参照が許可されている設定のサーバだとファイルが一覧で出てしまうのでその場合は中身の無意味なダミーの index.html を置いておけばいいでしょう。 >最近、ヤフーの検索エンジンのシステムが変更になったときき、 そうなんですか?ちょっとこれは知りません…。

bokugabokude123
質問者

お礼

ありがとうございました。

その他の回答 (3)

  • osamuy
  • ベストアンサー率42% (1231/2878)
回答No.4

No.1ですが、間違ってました。 1)除外したいパスをDisallowに指定したrobots.txtを記述する。 2)robots.txtは/(DocumentRoot直下)に配置する。 ――ってのが、正しい使い方でした。

参考URL:
http://www.robotstxt.org/wc/norobots.html
bokugabokude123
質問者

お礼

ありがとうございました。

回答No.2

<meta name="robots" content="****"> この、****の部分に何を入れるかで変わります 。 index ・・・ このページの掲載を許可 follow ・・・ このページからリンクされているページの掲載も許可 noindex ・・・ このページの掲載を認めない nofollow ・・・ このページからのリンク先の掲載を認めない このページだけ認めない。これ以下のページも認めないならば noindex nofollowで良いと想いますよ。

bokugabokude123
質問者

お礼

ありがとうございました。

  • osamuy
  • ベストアンサー率42% (1231/2878)
回答No.1

フォルダpage4直下にrobots.txtを配置しておくのが、一般的な方法です。 無視するクローラもありますが。

参考URL:
http://help.yahoo.co.jp/help/jp/ysearch/slurp/slurp-04.html
bokugabokude123
質問者

お礼

ありがとうございました。