error_logファイルの「robots.txt」は何を意味していますか。

質問

Perl初心者です。
プログラミングがうまくいかず、原因を調べています。
ログファイルを見たところ下記のような記述がありました。
何を意味しているか教えて下さい。
[error] [client **.**.**.**] File does not exist: /home/****.com/robots.txt
これは何を意味していますか、教えて下さい。

回答No.3

retr · ベストアンサー

そのログは、形式から云って、httpd（apache）のエラーログです。PerlによるCGIの標準エラー出力もそのログにかかれますが、もともとWebサーバのログなので、PerlやCGIとは関係ないログも混じります。（もしかしたら、ここを勘違いされてませんか？）

robots.txtは検索ロボットが勝手に見にくるファイルです。当然、Perlなんかは関係ありませんし、ctpsysさんが、何を書いても書かなくても、Perlスクリプトがおかれていなくても、関係ありません。リンクや、リファラーを辿って、勝手にくるんですから。
でもって、Webサーバは、リクエストされたファイルが存在しないと、上記のエラーをはきます。
はっきりいって、robots.txtを用意している人の方が稀でしょうから、世界中の大部分のWebサーバのログにはこのエラーがかかれているはずです。
全く気にすることはありませんし、あなたがかかれているPerlとは、全く関係ありません。
どうしてもこのエラーが見たくないなら、ドキュメントルートに、robots.txtというファイルを置いてやればいいだけです。

お礼

有難うございました。良く分りました。又安心しました。
分らないことが多く、皆様のご回答で、いつも助かっています。

回答No.2

retr

[error] [client **.**.**.**] File does not exist: /home/****.com/robots.txt

とかいてあるのだから、リクエストされたファイルが見つからないよ！というエラーです。
あなたが、ドキュメントルートにrobots.txtを用意していないのだから、もちろん見つかるわけありません。
robots.txtに限らず、存在しないファイルにアクセスがあると、このエラーが吐かれます。
ユーザには、「404 File Not Found.」などと表示されます。見覚えあるでしょう？

お礼

retrさん　有り難うございます。
だいぶ分かってきました。
本を見ながら、スクリプトを書いているのですが、robots.txtと書いていないのに
なぜ、このエラーが書き出されるのか分かりません。
それとも、何かスクリプトで書いた、ファイルがどこかで抜けているということでしょうか。
お教え下さい。

回答No.1

noname#4147

googleなんかの検索エンジンが、巡回ロボットで、データベース化してるのは語損ですよね？
でも、なかには、自分のホームぺージは検索エンジンに載せたくないという人もいます。
だから、ロボットは、/robots.txt ファイルをまず見て、もしこれに、登録しないよう書かれていたら、そのサイトは無視するように作られています。
もちろん、これを守らないロボットもいますが。
書き方等は、下記を参照してください。

参考URL：

http://www.math.tohoku.ac.jp/~kuroki/keijiban/Robots.html

補足

yostyさん
早速ご回答有り難うございます。
robots.txt は検索ロボットが見るファイルですか。
重ねて質問したいのですが、
これがなぜerror_logに書き込まれているのかわかったら、お願いします。