- 締切済み
robots.txt HTTP/1.1 404 208 について
2年ほど自宅サーバーでHPを公開しています。最近、以下のようにローカルホストに対して robots.txt に関係するアクセスログが記録されます。 ------------------------------------------------------------------ 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 127.0.0.1 - - [ 日時記載省略 ] "GET /robots.txt HTTP/1.1" 404 208 ・ ・ ※ 行数は1アクセスに対して4~8行程度。(日によって変わる) ------------------------------------------------------------------ ログとしては未検出エラーのようですが、自サバのルートディレクトリーなどには robots.txt を、過去を含めて一度も設置した事がありません。 ただ、この現象が出だしたのは、利用しているHTTPソフトApache 2.0 を 2.2 へバージョンアップした頃から。また、別途公開しているブログ(OCN)のタイトル画像のリンクをこの自サバのルートに置いている画像から引き出した頃からです。 しかしこのような構成は過去からずっと行っており、従来から Apache 2.0 の利用で、robots.txtなるファイルも置いた事が無くログに今回のような内容は記録された事がありません。 以上のような事から、サーバーソフトの Apache を 2.0 から 2.2 へバージョンアップした事が起因しているのではないかとも考えています。 ちなみに、セキュリティソフトはシマンテックのインターネットセキュリティを使っており、ウイルスやスパイウェアの検出は確認されていません。 判る方がおられましたら、ぜひ宜しくご指導ください。 その他の環境 OS:WindowsXP SP2 通信:NTTフレッツADSL+ルーターモデムWebCaster620 マシン:SONY VAIO デスクトップ機(CPU:800MHz AMD Duron)
- みんなの回答 (1)
- 専門家の回答
みんなの回答
- okg00
- ベストアンサー率39% (1322/3338)
リモートホストは? googleなどの検索エンジンがクロールするまえに作法としてrobots.txtを検索しているだけかと。 http.confのログフォーマットをご覧ください。 ブラウザによってはfavicon.icoなんかもアクセスされる事がありますね。
お礼
アドバイスありがとうございます。 リモートホストは、OCNです。 これは、リモートホストであるOCNのブログサービスを使っている事で、そのブログに表示させるタイトル画像のリンク元(私のPCからの直リンクです)に対して robots.txt を検索している‥という事なのでしょうか? 今回のログが記録される時は、確かに必ずと言って良いほど、ブログを閲覧した時です。 画像の直リンクをやめると記録もされなくなるのでしょうか? 一度試してみたいと思います。
補足
補足から済みません。お礼の内容の追伸です。 利用しているブラウザは、FireFoxです。 実は今回の robots.txt のログの記録は、IE(IE7)を使ってブログを閲覧した際には記録されません。何度も試したので傾向としては確実です。 また、HP公開においては、favicon.icoも置いています。 FireFoxで閲覧している事と、サーバーに favicon.ico を置いている事が影響しているのでしょうか?