クローラーがrobots.txtを巡回しない

質問

クローラーがrobots.txtを巡回しないため、毎回手動で再送信をしています。
robots.txtの内容はマスターツールで確認してもエラーもなく正常に表示されています。
あとは制限などをしている可能性があるのはhtaccessくらいですが、robots.txtの巡回を妨げるようなものはあるのでしょうか？
何か理由がお分かりの方がいましたらアドバイスをお願いします。

回答No.1

chie65536（@chie65535）

＞クローラーがrobots.txtを巡回しないため

ご参考。
http://www.tohoho-web.com/wwwxx079.htm

robots.txtは「クローラーに巡回させないため」に置きます。

なので、クローラーがrobots.txtを認識すると「巡回しない」ですよ。

なので「巡回しなくて当然」だと思いますが、それって当方の勘違いでしょうかね？