オークションなどのサイトから情報を一括検索する方法？

質問

様々なオークション・フリマサイトから条件を設定して検索するものを作りたいと思っています。

DBやファイルを利用した検索システムは作成したことがあるのですが、上記のように様々なオークション・フリマサイトから検索するにはどうしたらよいのか、アドバイスを頂ければと思います。

定期的に各サイトからデータを取得してDBに登録しておくなどした中から検索する事になるのでしょうか？
でも、これだとリアルタイム検索はできないですし・・・

また、各サイトで表示フォーマットが違うため、そのフォーマットもわからないとデータ自体が取得できないですし。

各サイトで検索用APIを提供していればそれを利用することになるのでしょうが、そのようなものがあるかどうか調べきれませんでした。

なんか、とりとめのない質問になってしまいましたが、ご教授お願いします。

回答No.1

pachikuri · ベストアンサー

直接の答ではありませんが、参考ＵＲＬのようなものを、お考えでしょうか？

参考URL：

http://www.aucfan.com/

補足

こんなサイトもあるんですね。
これはオークションのみのようですが、できればフリマも検索したいと思っています。

でも、イメージ的にはかなり近いです。
できれば、自分の興味のあるジャンルを検索したいんです。
リアルタイムで検索でなくても、周期的にデータ収集するものでもかまいません。

いずれにしても、検索対象のデータフォーマットか検索用APIが必要ですよね？

追伸）
ご指摘いただいたサイトで検索結果が出ないんですが、検索方法が悪いのでしょうか（笑）

回答No.2

moon_night

技術的な問題よりも経営的な問題のほうが強いと思います。
多分基本的に大手のサイトならばセキュリティーをしっかり設定しているでしょうから、特定アドレス以外の接続は拒否などの設定を行っているはずです。
いくら相手の仕様が分かってもつなげません。
（強引にHTTPでとってくることはできるでしょうが、著作権の問題がでてくるかもしれません）

もしそのようなサイトを実現させるのならば、各サイトの管理者（オーナーまたは会社）との提携などの話になってくると思います。
ビジネスとして先方にこれだけの利益が出ますと言う形です。

あとは相手の規約などに書いてあると思います。
細かいことは書いてないかもしれないので、結局は相手に問い合わせてみないといけません。

補足

>多分基本的に大手のサイトならばセキュリティーをしっかり設定しているでしょうから、特定アドレス以外の接続は拒否などの設定を行っているはずです。

大抵のサイトは、ゲストとしての検索機能を持っていると思いますが、その部分を利用する方法で考えています。
ですから、特にセキュリティ上の都合で接続できないということは考えず、単純に技術的な質問をさせていただいています。

おっしゃっているように、著作権の問題が発生するかもしれませんが、このあたりは別途確認してみます。