htaccessを使用した検索避けについて

質問

初めて質問をさせていただきます。
基本的なことかもしれませんが、よろしくお願いします。
今回サイトを移転するにあたり、htaccessを使用してサイトの検索避けをしたいと思っています。
下記のようにhtaccessを作成しました。
（実際は思いつく限りのサイト名を入れてありますが、長いのでカットしてます）

SetEnvIf REFERER "yahoo.co.jp/search" Ref_ng
SetEnvIf User-Agent "Googlebot" Ref_ng

order Allow,Deny
Allow from all
Deny from env=Ref_ng

これが正しく認識されているのかを確認するために、htaccseの中に自サイトのアドレスを書き込み、
アクセス制限を掛けてアップロードしてみたろころ、index.htmlのページが表示されました。
ただし制限した時に表示されたindexは通常時と違い、テキストのみで画像は一切表示されていません。
もともとindexの中には当サイトの事、そこから先へ進むためのenterキーしかなく、
そのenterキーをクリックしたら次のページは403ERRORのメッセージが出てきました。
これは、htaccseが効いていると考えていい、という事ですよね…？
ただindexのテキストは表示されてしまうため、このままでは検索避けの意味がないのではないか？
という部分がすごく気がかりで、悩んでおります。
htaccsessとindexは同じ階層に入っています。

これからちょっと外出しなければならないため、ご連絡は夜になってしまうと思いますが、どうぞよろしくお願いいたします。

回答No.2

SAYKA · ベストアンサー

>サイトの検索避けにはなっていない
そんな事は言ってない筈だけど・・・あれ？

ああ、クローリングが　判ってない・・・？
http://www.google.com/search?q=%E6%A4%9C%E7%B4%A2%E3%82%A8%E3%83%B3%E3%82%B8%E3%83%B3%20%E3%82%AF%E3%83%AD%E3%83%BC%E3%83%A9&hl=ja&lr=

間違えて別の階層や予想外の挙動をしていないかよく検証しないとダレもアクセスできなくなっちゃうからね。
面倒だけど組み合わせをよく確認しないとならない。
http://httpd.apache.org/docs/2.2/howto/htaccess.html

お礼

SAYKA様、再びありがとうございます。
また、ご連絡がおそくなりすみません。あれからいろいろと試行錯誤していたもので……

クローリング…おっしゃる通り判っていませんでした。
先にいただいた返答では、Ref_ngでは検索ロボットには対応している、という意味でよかったのですよね。
それと、すみません。
Ref_ngでアップロードした時の画像が見れなかったという件は、私の方でただタグミスがあっただけでした。
正しくアップロードしてみたらおっしゃられた通り、Ref_ngではＨＰがそのまま見れました。ご指摘ありがとうございます。

その後いろいろと調べてみて、全てのRef_ng部分をshutoutに変えてみました。
今度はまぎれもなくindexのテキストのみは表示されてしまいますが……
教えていただいたサイトにも行ってみたのですが、やっぱりhtaccessは難しいです(>_<)
とりあえず検索ロボットには対応できているとわかったので、これでアップロードをしつつ、
改良できる点を探して勉強をしていきたいと思ってます。

いろいろとありがとうございました。

回答No.1

SAYKA

????
その表記だと普通にindex.htmlにはアクセスできる筈だし画像も見えないとおかしい筈だけど・・・？
ngになるのは飽くまでも検索エンジンのクローリングであって通常のアクセスを拒否してないし「収集済」のものは無くならないし・・・

お礼

SAYKA様、ご回答ありがとうございます。
この表記ではサイトの検索避けにはなっていない、という事ですね。

＞画像も見えないとおかしい筈だけど・・・？
そうなのですか？
普通にテキストと画像を少し貼り付けて作ってあるのですが、画像は
表示されないんですよね。なぜでしょう……
htaccseは難しいですね。もう少し調べてみます。
この度は、ありがとうございました。