拡張子がcgiのページについて

質問

検索エンジンは動的なページを読みたがらないと聞いたことがありますが、googleで検索すると拡張子がcgiのページを検索できることがあります。そこで質問です。

1.実際は拡張子がcgiのページでもgoogleはデータを拾っているのでしょうか。拾われるには何か条件があるのでしょうか。

2.もし拾われたくない場合はロボット除けのmetaタグを入れたほうがよいのでしょうか。

3.ロボットはURLの？以降が違っても別のページと解釈するのでしょうか。

4.普通の人にcgiのページを見られたくない場合、検索エンジンだけ気をつければ大丈夫なのでしょうか。（特に重要なことが書かれているわけではありません。無理やりみたければみれば程度の内容です。私の覚書のようなもので他人が見ても全く意味をなさいものを私が別の場所のPCや携帯で見たい時に使います。）

たくさんあってすみませんが教えてください。

回答No.1

2NN · ベストアンサー

> 1.実際は拡張子がcgiのページでも（略
http://www.google.co.jp/intl/ja/webmasters/2.html
↑の「動的に生成されたページを使用している。」を参考にしてください。
パラメータはURLの?以降のxx=yyです。（&で区切ってその数が多いかどうか）

> 2.もし拾われたくない場合は（略
ページ単位ではmetaタグで。
サイト全体、またはディレクトリ単位の場合、
metaに加えてrobots.txtもあった方がよいです。
http://www.google.co.jp/remove.html#exclude_website
いずれにしても確実に拒否できると安心はできないので、
完璧に遮断するには.htaccessなどでロボットのIPを遮断します。

> 3.ロボットはURLの？以降が違っても（略
別ページと解釈します。

> 4.普通の人にcgiのページを見られたくない場合（略
そのページの重要度にもよりますが、「他人が見ても意味がないから」
のような理由であれば、metaで充分でしょう。
機密性の高いページであれば、.htaccessを使ったBASIC認証や
CGIでのパスワード方式をとるべきです。

お礼

ご親切なご回答ありがとうございます。
googleにこのようなページがあるのを知りませんでした。