robots.txt
いろいろ調べてみたのですが、自分の知識が乏しいようでよくわからなく困ってしまいこちらで質問させていただきたいと思いますのでよろしくお願い致します。
当サイトのグーグルのウェブマスター ツール で確認してみたところ、
「ウェブ クロール エラー 」のＵＲＬにアクセスできませんという項目に28件もエラーがのっていました。トップページをはじめとしてエラーになっていたので心配になりました。「robots.txt にアクセスできません」となっております。
「robots.txt ファイルに対して URL をテスト」というのを試してみたのですが、ディレクトリとして検出されました。ファイルによっては固有の制限がある可能性がありますと表示されました。
以前はこんな表示はでてなかったように思いますし、これはどういうことなのでしょうか？
こういう表示がでてきてるということは、エラーのページは無視されてしまうということですか？
今までは<META name="ROBOTS" content="ALL">というタグを埋め込んでましたが、これを使っても意味がないので削除するように教えていただいて実行したのですが、これと関係ありますか？
どう対処していったらいいのしょうか？
robots.txt というのを作成したことがなく、特に問題はなかったのですが、これは自分で作ってアップするものなのですか？
どうごご助言よろしくお願い致します。
