aucfan.com(オークファン)のデータ蓄積方法について

質問

こんばんは。
ネットオークション落札相場統計検索サイトのaucfan.com(オークファン)について教えてください。

こちらのサイトは、過去のオークションのデータを集めていますが、
どのような方法で集めることができているのでしょうか。
全く検討がつきません。
私は漠然とですが、日々更新されるお気に入りのページをデータとして蓄積できたらと考えています。

詳しい方にアドバイスいただければ幸いです。
どうぞ宜しくお願いしますm(_ _)m

回答No.1

noname#45409 · ベストアンサー

似たようなのを作ったことあります。

ボットで巡回させてデータを拾っていました。まぁ、業務提携をしている等で生データを触れる訳でなければ、サイトを巡回する以外に手段がないですから。
ちょっとたまにきずなのが、サイト側が仕様変更すると巡回が失敗します・・・。なので、そのあたりはきちんとトラップするなり事前の情報収集を怠らないようにするなり、まぁ努力は要りますね。

ちなみにボットの処理は結構重くなるので、Cとかのコンパイルできる言語で書いた方がいいですよ。

お礼

こんにちは。
アドバイスありがとうございました。
お礼が遅くなってすみません。

とても参考になりました。
ただ、私は言語がわかりませんので、できる人に頼むしか
今のところ方法はないのかなと思います。
機会がありましたら、試したいと思います。

ありがとうございました。