定期的なユーザーエージェントのないアクセス

質問

ＩＰはわかるのですが「Mozilla/3.01(compatible;)」だけのユーザーエージェントのアクセスが数分おきにあります。
ロボットでしょうか？
だれかがＨＰの更新をチェックするため巡回ツールを使ってアクセスしているのでしょうか？
それともプロキシサーバーのページをリフレッシュするための動作でしょうか。
嫌がらせかなとも思いました。
こんなアクセスがあった場合どのように解釈すればいいでしょうか。
ロボットでの巡回の場合リクエストや転送量は普通に閲覧した場合と同じ程度にかかるのでしょうか？
（同じだけかかるとなると数分おきのためかなり気になります）
はじいたほうがいいのかそのままでもかまわないのかよくわからないため、どなたかおわかりになる方がいたら教えていただけないでしょうか。
よろしくおねがいします。

回答No.1

日吉 龍（@VDSL） · ベストアンサー

まっとうなロボットであれば、通常はRefererに自分の身元を明らかにするような情報が含まれています。
それがロボット名である場合もあれば検索エンジン名そのものである場合もありますが、匿名でくることはあまりないと思われます。
また、一般的なロボットの巡回の特徴は、HTMLファイルのみをGETして、当該ページのそれ以外のファイル(imageファイル等)は一切拾っていきません。
＃文章で検索するのですから、文字情報以外は不要という事です。

また、ページの更新をチェックするツールは、GETメソッドではなくHEADメソッドを利用してアクセスしてくることが多いので(コンテンツの更新日時だけ分かればいいから)、HEADで来ていれば更新チェックツールだと推測されます。

ロボットを回避すべきどうかは、対象のページの情報をDERARUさんが不特定多数に公開したいかどうかにかかっていると思います。
更新チェックについては、特に回避する必要はないと個人的に思います。また、更新チェックだけを蹴るのは事実上困難だと思われますし....

お礼

投稿する場所を間違ってしまったのに返信してくださってありがとうございます。
GETメソッドやHEADメソッドはサーバー管理者がわかるものでしょうか？
レンタルスペースのアクセス解析なのでわかるのは無理ですよね？
htmlファイルのみなら転送量なども特に問題ないと思うのでそのままにしようかなとも思います。
匿名ってところが気になるところですが。