クローラーについて教えて！

質問

１
クローラーにペナルティーと判断されたサイトは修正して再度クローラー登録をすればペナルティーなしになるのでしょうか。

２
この記述はクローラーに対し有利であり必要ですか。
<META name="ROBOTS" content="INDEX,FOLLOW">

宜しく願います。

回答No.2

t_ohta

＞　あなたの回答を要約すると、
＞　「私にはわかりません。あなた次第です。お好きなように」って回答のようです。

Webサイトをクロールして解析し、検索サービスを提供している企業は多数あるので、其々の企業の方針次第としか言いようがありませんよ。
どこか特定のサービスについてと言う事であれば回答も変わりますが、何処のサービスについて知りたいという指定が書かれていませんからね。

回答No.1

t_ohta

１．「クローラー」と言うのは各サイトを巡回してHTMLを収集するプログラムの事です。
クローラー自体がサイトの解析を行うことはありません。
ペナルティーと判断されたサイトがペナルティー無しになるかどうかは、各検索サイト毎のポリシー次第ですので一概にどうなるか判断することはできません。

２．そのタグは必須ではありませんし、どう利用するかは各検索サイト毎のポリシー次第。
クローリングに加味するサイトもあれば、全く無視するサイトもあります。

補足

ポリシーを連呼していますが・・

＞サイトポリシーとは、個人情報や著作権、ブログ（サイト）の運営方針などについて、そのブログやサイトの運営者が訪問者に対して宣言する約束事のようなものです。

あなたの回答を要約すると、
「私にはわかりません。あなた次第です。お好きなように」って回答のようです。
断念です。