締切済み

グーグルサイトマップ　で　robots.txt が勝手に作成される。

2010/02/25 01:54

グーグルウェブマスターツールでモバイルサイトマップを登録し、数日後、サイト設定　→　クローラーのアクセス　を見てみると、 robots.txt　を作成していないにもかかわらず、行 4: Crawl-delay: 8 Googlebot によりルールが無視されました行 7: Crawl-delay: 5 Googlebot によりルールが無視されました行 10: Crawl-delay: 5 Googlebot によりルールが無視されました行 13: Crawl-delay: 8 Googlebot によりルールが無視されました行 16: Crawl-delay: 8 Googlebot によりルールが無視されました行 19: Crawl-delay: 8 Googlebot によりルールが無視されました行 22: Crawl-delay: 5 Googlebot によりルールが無視されました行 25: Crawl-delay: 5 Googlebot によりルールが無視されました行 28: Crawl-delay: 8 Googlebot によりルールが無視されました行 31: Crawl-delay: 5 Googlebot によりルールが無視されました行 34: Crawl-delay: 5 Googlebot によりルールが無視されました行 37: Crawl-delay: 8 Googlebot によりルールが無視されました行 40: Crawl-delay: 10 Googlebot によりルールが無視されましたという文字列が解析結果に記載されておりました。また、http://●●●.com/robots.txt というＵＲＬがクリック出来るようになっており、クリックするとアクセスが出来、 User-agent: Slurp Crawl-delay: 8 User-agent: msnbot Crawl-delay: 5 User-agent: nutch Crawl-delay: 5 User-agent: yeti Crawl-delay: 8 User-agent: Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/) Crawl-delay: 8 User-agent: naverbot Crawl-delay: 8 User-agent: googlebot Crawl-delay: 5 User-agent: dotbot Crawl-delay: 5 User-agent: twiceler Crawl-delay: 8 User-agent: yandex Crawl-delay: 5 User-agent: Teoma Crawl-delay: 5 User-agent: BoardReader Crawl-delay: 8 User-agent: Exabot Crawl-delay: 10 このようなテキストファイルが表示されました。自分では作成しておらず、もちろんサーバーにはアップしておりません。ＦＴＰでサーバー内を探してもそのような　txtファイルは存在しておらず、削除も出来ず困っております。普通に全部のページにクローラーに巡回してほしく、制限をかけるつもりもありません。いろいろ調べたのですが、行 4: Crawl-delay: 8 Googlebot によりルールが無視されましたこの文章の意味も良く理解が出来ず、クローラーの制限がかけられていたら嫌だなと思い、早急に対処法が知りたく思っております。どうぞよろしくお願い致します。