robots.txtの設置場所と作成方法

2010/11/28 16:17

このQ&Aのポイント

robots.txtの設置場所とは、サイトの最上位階層であるルートディレクトリにファイルをアップロードすることを指します。
robots.txtは検索エンジンのクローラーがウェブサイトをクロールする前に読み込むファイルであり、特定のページやディレクトリをクローリングから除外するための設定を記述します。
robots.txtを作成する際には、User-agentとDisallowのディレクティブを使用します。User-agentはクローラーの種類を指定し、Disallowはクロールを許可しないページやディレクトリを指定します。

hatimitugi
お礼率84% (11/13)

ブログ
回答数1
ありがとう数1

みんなの回答 （1）
専門家の回答

質問者が選んだベストアンサー

ベストアンサー

notnot
ベストアンサー率47% (4900/10358)

2010/11/28 16:36 回答No.1

＞ブラウザ上で＞User-agent: * ＞Disallow: / ＞と再生されるだけです。あなたのサイトのドメイン名がwww.example.comだとして、http://www.example.com/robot.txt にアクセスして上記のようになったのなら、それでOKです。それ以上のことは必要ありません。