ロボット巡回対策のMetaタグに関する質問です。

質問

ロボット巡回対策のMetaタグに関する次のサイトについて質問です。

http://heo.jp/tag/page/key.html

■ ロボット巡回対策　<Meta Name="ROBOTS" Content="">

<Meta Name="ROBOTS" Content="INDEX,FOLLOW">
INDEX,FOLLOW・・・・このページもページからのリンク先も許可。

<Meta Name="ROBOTS" Content="INDEX">
INDEX・・・・このページのみ巡回許可。

<Meta Name="ROBOTS" Content="NONE">
NONE・・・・このページもそこにあるリンク先全てを巡回禁止。

<Meta Name="ROBOTS" Content="NOINDEX">
NOINDEX・・・・このページのみ巡回禁止。

<Meta Name="ROBOTS" Content="NOFOLLOW">
NOFOLLOW・・・・このページは巡回許可、リンク先巡回禁止。

<Meta Name="ROBOTS" Content="ALL">
ALL・・・・下の階層の巡回を許可。

------------------------------
★★質問★★

自分のサイト内を全て巡回禁止にしようと思います。最も簡単な方法を取りたいのですが、上の説明から類推すると、

<Meta Name="ROBOTS" Content="NONE">
NONE・・・・このページもそこにあるリンク先全てを巡回禁止。

これでよさそうですが、ここで言う「リンク先全て」とは、「下の階層全て」と考えていいのでしょうか。それとも文字通り他のサイトであろうとなかろうとリンク先全てということでしょうか。

それとも別に適切な記述がありますか。

★★希望

そのサイト内のページをホームページ「...index.html」に巡回禁止の記述をすれば完璧にすべて巡回禁止になるようにしたいのです。

よろしくお願いします。

回答No.1

mikamui · ベストアンサー

考え方としてはindex.htmlにNONEでOKですが、外部リンクなどでやってきたロボットに関しては最初にindex.htmlを読むとは限らないので
robots.txtも用意して拒否した方が良いですね
ただ、グーグルやヤフー等の大手の検索エンジンは比較的行儀良くルールを守ってくれますが、その他の検索エンジンはMETAタグやrobots.txtを読まなかったりする可能性もあります
念のために.htaccess等でブラウザ以外(エージェントにbotを含む物等)を蹴る等の設定をしないと安心はできません

回答No.2

noname#62939

こんにちわ。
指定ページもリンクをたどるのもダメ！の指定　
<META name="robots"content="noindex,nofollow">
になると思いますが・・・？
http://www.robotstxt.org/meta.html

また、全ての検索エンジンのクローラーの訪問を拒否するには
User-agent: *
Disallow: /
で、いいのではないかと・・・・？
http://www.robotstxt.org/robotstxt.html