- ベストアンサー
ロボット検索にヒットされない仕組みについて
はじめまして、こんにちは。 ロボット検索にヒットされない仕組みについて教えてください。 はじめにyahooのようなロボット検索でないものは申請がいるのでよね？とゆ～ことは申請さえしていなけれyahoonの検索にヒットすることはないって考えてよかったのでしょうか？ それとgoogleのようなロボット検索の場合ですが、これは基本的に申請されているページからリンクをたどってgoogleのDBにサイトを登録していくのでしょうか？ もしリンクをたどっていくのなら申請もしてなくて、どこからもリンクされていないページをアップしていた場合はどんなキーワードで検索してもヒットしないのでしょうか？ よろしくお願いします。
- みんなの回答 （4）
- 専門家の回答
質問者が選んだベストアンサー
まず、検索にはロボット検索とカテゴリー検索があります。 ロボット検索の代表格は、google。カテゴリー検索の代表格はyahooです。（ただし今は、yahooもロボット検索主体になっています） で、基本的にカテゴリー検索は登録制ですね。登録してないと検索されません。 逆にロボット検索の場合は、検索ロボットがリンクをたどって巡回していきますので、検索エンジンに登録されているサイトにリンクされていれば、申請しなくてもいつかは検索されるようになります。ロボット検索で用意されている申請フォームは、少しでも早くロボットに巡回してほしいときに利用するという感じです。 ご質問の「申請もなし、リンクもなし」の場合は、検索ロボットがページを見れないので当然検索してもヒットしないということになります。 他の方が書かれているMETAタグやrobots.txtも有効ですが、基本的にはリンクはされているけど検索でヒットさせたくない場合の方法になります。（METAタグやrobots.txtを無視する検索ロボットもいるようなので 完璧な対策ではないようですのでご注意ください）
その他の回答 (3)
- entree
- ベストアンサー率55% (405/735)
ドキュメントルートに書き込む権限があるのであれば、そこに robots.txt ファイルを以下の内容で作成することにより、良心的なロボット (Google を含む) は登録しないようにしてくれます。 ======================================== User-Agent: * Disallow: / ======================================== それがダメな場合は、全ての HTML ファイルの <HEAD> 内に、 <META NAME="robots" content="noindex,nofollow"> を追加することです。Google の場合はキャッシュ機能がありますが、これも制御することができます。 http://www.google.co.jp/intl/ja/remove.html ちなみに、現在の Yahoo や、以前のロボット検索の主流だった goo なども、最近は Google と提携しているため、全く同一のデータを参照しているものと思われます。現時点で、Google 以外のロボットというと、MSN や AltaVista くらいしか思い当たりません。 あと、以前に NAVER (現在の NHN Japan) が暗黙のルール (robots.txt や META タグを参照すること) を守らないとして悪名高いロボット検索を提供していましたが現在はサービスを停止してしまったようです。 参考 URL には robots.txt に対する記述やロボットの紹介があります。(英語サイトです)
お礼
ありがとうございました、 とてもよく理解できました。
＞はじめにyahooのようなロボット検索でないものは申請がいるのでよね？とゆ～ことは申請さえしていなけれyahoonの検索にヒットすることはないって考えてよかったのでしょうか？ 登録されたサイトは登録サイトとして表示され、ロボットで収集したサイトはロボットで収集したサイトとして表示される仕組みになっていたはずです。 ＞それとgoogleのようなロボット検索の場合ですが、これは基本的に申請されているページからリンクをたどってgoogleのDBにサイトを登録していくのでしょうか？ 申請されている、というか既にエンジンが収集しているサイトからリンクを辿って新しいページを検索収集していくみたいです。 ＞もしリンクをたどっていくのなら申請もしてなくて、どこからもリンクされていないページをアップしていた場合はどんなキーワードで検索してもヒットしないのでしょうか？ 基本的にヒットしませんが、偶然他の方が他所にリンクを貼るなどすればヒットするようになります。 検索されたくない場合はMETAタグやRobots.txtで検索拒否するのが一番です。
お礼
ありがとうございました、 とてもよく理解できました。
ヤフーもロボット検索しますよ。 ｇｏｏｇｌｅにしても登録しなくてもヒットします。 そんで、ロボットを避けるためには特別なコードを入力しなくてはなりません。 メタタグと言われているタグなので見た目にはロボットよけのコードを入れられているのか分かりません。 <META NAME="robots" content="noindex,nofollow"> まあ、こういうのを全部のページに差し込めばロボットをよけることは可能です。
お礼
ありがとうございました、 とてもよく理解できました。
![その他([技術者向] コンピューター) イメージ](https://gazo.okwave.jp/okwave/spn/images/related_qa/c205_4_thumbnail_img_sm.png)
お礼
ありがとうございました、 とてもよく理解できました。