検索サイトのクローラー（ロボット）

質問

中国やロシアの検索サイト「百度」、「Yandex」のクローラー（ロボット）は、なぜアクセス元ホストやユーザーエージェントを偽装してアクセスしてくるのでしょうか。

検索サイトが身元を隠してアクセスしてくる理由、メリットとはなんでしょうか。

回答No.1

ok-kaneto · ベストアンサー

サイトによっては、アクセス元がクローラだと専用ページに遷移させたりrobots.txtでそもそもアクセスを拒否する事があるからでしょう。もしくは、スマホに偽装してスマホ用の検索結果を積み重ねているか、処理言語によりページを振り分けているとかの場合。

UA等を偽装する、作法の悪いクローラーは弾いても良いのでは。

お礼

早々の回答ありがとうございます。
確か百度関連のロボットのアクセスを拒否しているサイトは多いですからね。
迷惑ばかりかける検索サイトなどなくなればいいのに。