グーグルをスクレイピング

質問

して検索エンジンを作成する方法は何となく想像できますが、そもそも、グーグルのような元となってる検索サイトは、いったい、どこから情報を得てるのでしょうか？

回答No.1

Yune-Kichi · ベストアンサー

Googleは自前で情報を収集しています。
そのクローラーにはGooglebotという名前がついています。

ちなみに，Googleの検索結果のスクレイピングは利用規約の
> Google が提供するインターフェースおよび手順以外の方法による本サービスへのアクセスを試みてはなりません。
に反する可能性があります。現行の規約にはありませんが，以前の規約には
> 5.3 Google が提供するインタフェース以外の手段で、本サービスのいずれにもアクセスしないこと（またはアクセスを試みないこと）に同意するものとします。
という文の後に，
> 特に、ユーザーは、いかなる本サービスについても、いかなる自動化された方法（スクリプトやウェブ クローラーの利用によるものを含みます）によりアクセスせず、アクセスを試みないことに同意し、
とありました。