URLからのクローラーの判断

質問

静的なURLから判断しているのでしょうか
たとえば、普及しているスクリプトなどではパターンされてしまうので判定値をさげるとか
たとえば、XOOPSだと　http://テスト.com/modules/bwiki/～
とか

また、機械で作成したとわかるURLなども判断しているのかなぁっと
xa+ijk　みたいにランダム作成したとか
test0001　文字列＋連番とか

もし、そういう判定しているのなら、任意の文字を元にURLを作成する機能なんかも作ろうと考えているのですが、、、

カテゴリ違いかもしれませんが、よろしくお願いします。

回答No.1

taseki

ご質問の意味は、
「クローラーは、URLのどこを見て判断しているのか？」
という意味でしょうか。
その場合、何の判断ですか？