CGIで出力されたホームページの情報は検索サイトに登録される？

質問

CGIで出力されたホームページの情報は、
Googleのような検索サイトに登録されてしまうのでしょうか？

回答No.2

Ethersky · ベストアンサー

メタタグでの拒否の場合、拒否できるのはそのメタタグを書いたファイルのみです。
書いていないものはクロールの対象になります。

ただし、メタタグの場合もrobots.txtの場合もその記述を無視する悪どいロボットもいますので、こういうロボットの場合はサーバーの設定レベルで締め出すしかありません。

お礼

以前はサーバーの設定で締め出していたんですが、みずから登録してもナカナカ登録されないって聞いたんで神経質になる必要はないと思い、メタレベルに変えたんですが、アーカイブだけはやはり嫌ですね。
子供のときの写真を見られているみたいで。

回答No.3

kfgoody

> 例えば、掲示板で以下のようにあった場合、
> http://～/bbs.cgi?mode=view&page=123

上記のURLをどこかに掲載(HTMLに記載)してしまうと、それをもとに検索エンジンに登録されます。

検索エンジンのキャッシュデータに一度登録されると全ての検索エンジンへ削除依頼を行うことは大変です。
登録されて困る内容がある場合は、yahoo、google等のメタタグ、robots.txtの記載方法を参考にあらかじめ対応しておいたほうがいいでしょう。

参考URL：

http://help.yahoo.co.jp/help/jp/ysearch/indexing/indexing-25.html

お礼

「あらかじめ対応」、そうですね。
あとで赤っ恥かきたくないですもんね。

大企業のHPアーカイブ見たら、
「テストページです」なんて表示されたら
しゃれになりませんし。ありがとうございました。

回答No.1

Ethersky

単純に「ぜんぜんされない」「される」のどちらかということであれば、答えは「される」ということになります。
が、CGIのように動的に作成されるページは全てがクロールされるわけではありません。

例えば、掲示板で以下のようにあった場合、
http://～/bbs.cgi?mode=view&page=123
パラメータである123の部分が変われば表示される投稿も変わります。
が、検索ロボットから見れば、投稿のひとつひとつをクロールしていてはキリがありません。
よって、全てが登録されることはまずないです。

登録されるのを拒否するには、一般的なHTMLページでの方法と同じです。
robots.txtを使ったり・・・
サーバーの設定で弾いたり・・・
HTMLのヘッダタグの領域内に拒否するメタタグを書いたり・・・

補足

＞パラメータである123の部分が変われば表示される投稿も変わります。

なるほど、パラメータまではむりそうですね。「/」が登録の基準なんですね。

＞HTMLのヘッダタグの領域内に拒否するメタタグを書いたり・・・

メタタグで拒否分かいたindex.htmlより下の階層（スラッシュ後）にメタタグで拒否分かかないindex.htmlを配置した場合、下の階層はクロールされるものなんでしょうか？