[seo]ログインしないと表示されないリンクのURLがインデックスされている

質問

ログイン後のみ、以下が表示されるようにしています。
<a href="/hoge/a.html" rel="nofollow">リンク</a>

Yahoo!でsite:コマンドで調べた時、
「/hoge/a.html」がインデックスされてしまっています。

なぜ、ログインが必要なページの情報を収集する事が出来たのか
お分かりになる方はいらっしゃいますでしょうか？
宜しくお願い致します。

回答No.2

神崎 渉瑠（@taloo）

ログインしない状態で/hoge/a.htmlにアクセスすると、FileNotFoundやAccessDeniedになりますか？
もしそういうメッセージが表示されず、（たとえ真っ白な画面であっても）アクセス可になっていれば、インデックスされることがあります。

回答No.1

DIooggooID

「/hoge/a.html」このページにアクセスする場合、何か特別な権限が必要ですか？　

それとも、URL を知っていれば、だれでもアクセスできますか？

後者であれば、サーバのキャッシュ等に情報が残っていたものが、サンプリングされたと考えられます。

補足

/hoge/a.htmlへのアクセスに特別な権限は必要ありませんが
事前にユーザーＩＤ/パスワードを取得し、ログインしていない場合、
ログイン画面へ遷移します。
ですので、ＵＲＬを知っていてもアクセスは出来ません。
クローラーはサーバーのキャッシュを拾うのですか？？