IAに収集されない方法

質問

個人でウェブページを作っているんですが、今話題のインターネットアーカイブで、まさかないだろうと思いつつ自分のアドレスを入れたら出てきたんです。一応METAタグを追加して、ロボット検索を拒否するようにしたんですが、完全に阻止する方法をご存知の方がいましたら、教えていただけませんか？

回答No.1

annie_x

FAQにありました(参考URL)。サーバー上に robot.txt を置く必要があります。これは、サーバーのルートに置く必要があると思うので、「http://○○○/~user/」みたいなアドレスをお持ちであれば、○○○サーバーの管理者に相談する必要があるでしょう。

robot.txt を置いた後、以下のページから削除したいURLを入力すると完全に消えます。
http://www.archive.org/internet/remove.html

参考URL：

http://www.archive.org/exec/faqsidos/about/faqs.html?index=7