サーチエンジンのロボット検索回避

質問

サーチエンジン（CGIのリンク集）を開設しています。
事情あって、内容等をYahoo!やGoogleなどの自動ロボット検索に探し当てて欲しくありません。
ホームページの作成の際には<meta name="robots" content="noindex,nofollow">タグの挿入をしましたが、CGIの場合の回避方法があったらご教授下さい。

一応、CGIセットの中のHTMLファイル内には全て挿入してありますが、それでロボットアクセス回避は可能でしょうか。

回答No.3

pipipi523 · ベストアンサー

追加で・・
cgiでしたら環境変数のHTTP_USER_AGENTをみて専用ページを表示するようにするのもいいかも知れません

他にも色々方法があるようです
http://www.math.tohoku.ac.jp/~kuroki/keijiban/Robots.html

お礼

>追加で・・
>cgiでしたら環境変数のHTTP_USER_AGENTをみて
>専用ページを表示するようにするのもいいかも知れません

上記の方法は知りませんでした。URLも大変参考になりそうです。しっかり読んでみたいと思います。

回答No.2

yui0909

ロボット回避でしたら、
METAタグよりも、
robots.txt の方がいいとおもいますよ＾＾

お礼

ありがとうございます。
robots.txtに関しては
http://www.juraihelm.com/NNR/
こちらのサイトを見て、『ほとんどの一般ユーザーには設置することが出来ない』とあったので、試さずにいました。
一度、試してみようと思います。

回答No.1

pipipi523

robot.txtを置くのが一般的だと思いますがどうでしょう？
http://www.tohoho-web.com/wwwxx079.htm

お礼

ありがとうございます。
robots.txtに関しては
http://www.juraihelm.com/NNR/
こちらのサイトを見て、『ほとんどの一般ユーザーには設置することが出来ない』とあったので、試さずにいました。
一度、試してみようと思います。