Alexaに登録されているURLは制御できないのでしょうか

質問

Alexaに自分のサイトが登録されているのですが、
テスト環境のURLも表記されてしまっています。

このような形で、Alexaの画面上に出てしまっているのです。
―――――――――――――――
（Alexa上の例）
Where people go on example.com:
XX.X% example.com
XX.X% developer.example.com
―――――――――――――――
上記でいう「developer.example.com」は、
IDパスで制御されているテスト環境のURLなのですが、
Alexaに表示されてしまっており、どうにか消せないものかと考えています。

何か方法をご存知の方がいらっしゃいましたら宜しくお願いします。

回答No.2

think49

> おそらく私がAlexaのツールをブラウザにインストールしていたので、開発中に閲覧履歴としてAlexaに送信してしまっていたのだと思います。
Alexaのツールを使用したことがないので詳しいことはわかりませんが、そのツールに該当しそうな設定はないでしょうか？

私が同じ状況に立ったらまずそのツールのヘルプを読み、それでもわからなかったら因果関係をはっきりさせるためにAlexaに問い合わせをします。
最低でもそこでAlexaのツールに原因があるか(可能性があるか)、を突き止めます。(でないと無駄骨になることもあり得るので)
対策方法を教えてもらえればベストですが、そうでなくても今より進展は見られるかと思います。

あと、簡単に思いつくところでは、

- /robots.txt だけ .htaccess で許可して、クロールしてほしくないパスを指定する

が考えられますが、どうでしょうか？

お礼

ありがとうございます。
確かにAlexaに問い合わせすればよいですよね…
やってみます。

回答No.1

think49

Alexaは「Internet Archive」のことなんですね。

> Alexaに表示されてしまっており、どうにか消せないものかと考えています。
robots.txt で該当ページのクロールを拒否してください。
拒否されているページはインデックスから削除されます。

------
User-agent: ia_archiver
Disallow: /sample.html
------

サンプルページなのでAlexaに限定せずクロールされたくない場合も有ると思います。
その場合は、全User-agentに対してクロールを拒否してください。

------
User-agent: *
Disallow: /sample.html
------

SPAM - robots
http://webtech.akijapan.com/spam/robots.phtml

お礼

ありがとうございます。
今回ご相談した、テスト環境ドメインの
developer.example.com（例）
は、htaccessでパスワード制御しているため、
元々クロールできないようになっており、
robots.txtに入れてもAlexaに反映されないのではと思っています。

おそらく私がAlexaのツールをブラウザにインストールしていたので、開発中に閲覧履歴としてAlexaに送信してしまっていたのだと思います。

このようなケースでの対処はどのようにしたら良いのでしょうか。。