検索エンジンロボットを制御する

質問

マンションの住人以外の閲覧を避けるために、ロボット検索を回避しようと思っています。そのために、http://tech.bayashi.net/pdmemo/robots.htmlを見ていますが、ルートにrobots.txtファイル

User-Agent: *
Disallow: /cgi-bin/
Disallow: /example.html

を置くことが推奨されています。そこで質問です。

(1)上記 example.html の"example"は固定の名前ですか？それともトップページの名前(例：index.html)に置き換えるのですか？

(2)ルートに複数の html ファイルが存在する場合、robots.txt の内容は変えるのですか？

(3)上記(2)で、ルートに .html ファイルと .htm ファイルが混在している場合はどうですか？

以上、よろしくお願いします。

回答No.1

t_ohta · ベストアンサー

全てのページを見て欲しくない場合は
Disallow: /
でOKです。
これでルートディレクトリ以下全てを拒否していることになります。

特定のページだけを見て欲しくない場合はディレクトリ単位や個別ファイル名を指定します。
この場合は一つ一つ Disallow で指定します。
Disallow: /index.html
Disallow: /index.htm
Disallow: /home.html
といった具合です。

但し、robots.txtは万能ではありません。
Googleのような大手のロボットは指定された通りに動作してくれますが、無視するロボットもいます。
それどころか、悪意をもって情報収集しているロボットなら拒否しているファイルに狙いを定めてアクセスしてくることもあります。

特定の人にしか見られたくない情報ならば、何らかの認証を用いてアクセス制限を行うのが良いと思います。

お礼

ご教示有り難うございます。早速試行してみます。
万能でないことにつきましては、マンション住人を対象とする内容であり、あまり厳密さは必要としておりません。

補足

今日現在、まだロボットの巡回に会っていないようで、効果は得られていませんが、2週間が経ちました（OKWaveスタッフから忠告あり）ので、閉め切りさせていただきます。