「Robots.txtを無視する」とは？

質問

自動巡回ソフトのHELPにRobots.txtという単語がよく出てくるのですがこれ
はなんなのでしょうか。また、これを無視するという表現が設定にあるのです
がこの意味も教えてください。

回答No.3

Spur · ベストアンサー

補足に対してです。

巡回ソフト側の話しですよね？
それは、そのソフトを作った人に聞いてください。
その人は、この規則にしたがって、キチンと作っているのかどうか、そして、robot.txtを無視する設定をした時に、バグなどがなく、本当に無視できるかどうかは、そのソフトの設計しだいだとおもいますけど？

robot.txtでどこまで抑制できるかという質問ならば、紹介したページの冒頭に書いてある通りです。
It is not an official standard backed by a standards body, or owned by any commercial organisation. It is not enforced by anybody, and there no guarantee that all current and future robots will use it.

お礼

ごもっともでございます。御回答ありがとうございました。

回答No.2

Spur

収集ロボットを制御する規則です。
検索エンジンに登録されたくないページや、自動巡回ソフトで収集されたくないページがあります。
それを制御するための、世界的な約束事です。
サイトのトップディレクトリに、「robot.txt」というファイルを置いて、その中で、どのエンジンは許すとか、どのページは許さないとかを記述するためのファイルです。

↓詳細はこの規則です。

参考URL：

http://www.robotstxt.org/wc/norobots.html

補足

無視すると設定した場合完全に無視することができるのか、それともできることもある、という意味なのか技術的にはどうなのでしょうか。

回答No.1

ryota2

サイトの最上部において、
巡廻ロボットに指示（「このサイトのファイルは収集してはいけない！」など）を与えます。

「設定」というのはその指令を無視するかどうかの設定だと考えられます。