検索エンジンのクロール挙動について

質問

a.html b.html c.html
３つのファイルが存在するとします。
そして、a.htmlはb.htmlへリンクしており、b.htmlはc.htmlへのリンクがあると仮定します。
また、a.htmlは既にgoogleなど検索エンジンで定期的にクロールがきているものとします。

その場合
a.htmlのメタタグ
<meta name="robots" content="INDEX,FOLLOW">
b.htmlのメタタグ
<meta name="robots" content="NOINDEX,FOLLOW">
c.htmlのメタタグ
<meta name="robots" content="INDEX">
とした場合、
c.htmlはクロール対象となりうるのでしょうか。

少々わかりにくい質問ですが、回答お待ちしております。

回答No.1

noname#83877

基本的に何もしていしなければクロールの対象となるのではないでしょうか。
bの場合も、その指定ではじくロボットもいれば、メタタグを無視してクロールするロボットもいると思いますのであまり当てになりません。