- ベストアンサー
サイトのあるページだけ検索エンジンでヒットしないようにするには?
お願いします。 最近、ヤフーの検索エンジンのシステムが変更に なったときき、自分のさいとのキーワードで検索を したら、CGIで作成されたページがヒットする ようになっていました。グーグルで検索すると そのページは出てきません。 自分のサイトはCGIで作成されたページとそうで ないページがあります。CGIで作ったページ (掲示板など)は検索エンジンで検索されたくない のですが、どうすればよいでしょうか? <META NAME="ROBOTS" CONTENT="NOARCHIVE">などと いれれば、いいときいたのですがこれをいれると、 入れたページだけが検索されなくなるのでしょうか? それとも、サイト全体が検索システムから削除されて しまうのでしょうか? index.html-page1 ├page2 ├page3 ├page4(CGI)-page5(CGI) ├page6(CGI) 自分のサイトはこんな構成になっています。CGIで 作成されたページだけ検索エンジンで拾われないよう にしたいです。 わかるかた教えてください。
- みんなの回答 (4)
- 専門家の回答
質問者が選んだベストアンサー
サイト全体ではなく、ページだけの制御です。 <META NAME="ROBOT" CONTENT="NOARCHIVE"> これはキャッシュページのみを削除するものであり、Google の場合は引き続きページのインデクス付けを行い概要表示はします。ということなので、これだけでは不十分ではないでしょうか。 <META NAME="ROBOT" CONTENT="noindex"> 検索データベースへの登録を禁止します。 ですので結局、 <META NAME="ROBOT" CONTENT="noindex,noarchive"> にしておけばいいのではないでしょうか。 ◎ 別の方法として robots.txt を使う方法もあります。サイトのトップディレクトリに検索ロボットに検索されたくないディレクトリを記述しておきます。 User-agent: Googlebot Disallow: /secretdir/ Disallow: /cgi-bin/ こうすると指定ディレクトリ全体を検索しなくなりますので掲示板の吐き出す HTML だけをここに入れるよう CGI 変更すればいいのではないでしょうか? robots.txt を使うと見られたくないディレクトリはここですよと他人に公言していることになる(^^;ので、そこには index.html を置かない方がいいかも知れません。たとえば http://*****.com/secret/ とした場合にそこにあるデフォルトのページ(通常は index.html)が参照されてしまうからです。 ただディレクトリ参照が許可されている設定のサーバだとファイルが一覧で出てしまうのでその場合は中身の無意味なダミーの index.html を置いておけばいいでしょう。 >最近、ヤフーの検索エンジンのシステムが変更になったときき、 そうなんですか?ちょっとこれは知りません…。
その他の回答 (3)
- osamuy
- ベストアンサー率42% (1231/2878)
No.1ですが、間違ってました。 1)除外したいパスをDisallowに指定したrobots.txtを記述する。 2)robots.txtは/(DocumentRoot直下)に配置する。 ――ってのが、正しい使い方でした。
お礼
ありがとうございました。
- t-o-m-o-t-t-i
- ベストアンサー率26% (19/73)
<meta name="robots" content="****"> この、****の部分に何を入れるかで変わります 。 index ・・・ このページの掲載を許可 follow ・・・ このページからリンクされているページの掲載も許可 noindex ・・・ このページの掲載を認めない nofollow ・・・ このページからのリンク先の掲載を認めない このページだけ認めない。これ以下のページも認めないならば noindex nofollowで良いと想いますよ。
お礼
ありがとうございました。
- osamuy
- ベストアンサー率42% (1231/2878)
フォルダpage4直下にrobots.txtを配置しておくのが、一般的な方法です。 無視するクローラもありますが。
お礼
ありがとうございました。
お礼
ありがとうございました。