robots.txt

質問

初歩的なアクセス解析を試みているのですが、robots.txtへのアクセスがよくあります。これは検索エンジンがサイトを回ってアクセスしていると考えればよいのでしょうか？

回答No.1

EIZA · ベストアンサー

robots.txtとは、もともと検索エンジン対策なわけですから。
サイトの中でリンクをはったりURLを公開していないのであれば、
そう考えるのが妥当ではないでしょうか。

あと可能性としては……ホームページを作りたい人が、
参考にrobots.txtを覗いているとか？　そんな馬鹿な。

お礼

そうですよね。念のため他の人の意見を聞かないとと思って質問させていただきました。

＃しかし、実に頻繁にアクセスしているものだ・・と感心しました。