robots.txtの書き方
同じような質問を見ても良くわからなかったので、質問させていただきます。
HPを制作し、robots.txtを使ってロボット除けをする場合、
--------------
User-agent: *
Disallow: /
--------------
"--------------"内の文を書く事は分かりましたが、
とあるHTML説明サイトでは
--------------
User-agent: *
Disallow: /
--------------
の様に"Disallow: /"の下を一行空けておかないと効果がないと
書かれていました。
けれどほかのサイトではそのような説明はないし、
『直接このページを保存して~』の様にすでに文を打ってある
.txtページをリンクして書いてあったので見てみると、
行を空けていなかったのです。
一体どっちなのでしょうか?
それとも空けても空けなくても良いのですか?
HTMLファイルではなくtxt.ファイルの内容なので、場所違いかとも思いましたが、
こちらに書かせていただきました。
お礼
yachan_sさん 回答ありがとうございます。 教えていただいた、URLですが、 私も既に読んでいます。 でも、意味が分からないのです。 具体的に、google.txtと言うファイルをどのように作成し、そしてそれをどのように自分のHPに適用し、そうする事によって、どう言う効果が上がるのか、それが、分かりません。 一言で言うと、google.txtと言うファイルの概念が理解できません。 Google本体の説明では、グーグルのロボットを拒否する時に作成するファイルと書いてありますが、他にも利用方法があるような気がします。 いずれにせよ、ご親切に調べていただきありがとうございました。