WEBサイトの仕組みについて。

質問

http://www.aucfan.com/search　
上記のようなサイトで、自動的にweb上のデーターを集めてくる仕組みとはいったいどういうものなのでしょうか？　使われている技術、考え方や、必要なソフトや機材、それを実行するための手間（何人ぐらいで、どのくらいの期間がかかるのか？）といったことを、わかる方がいましたら、教えてください。
また、web上のデーターを自動的に収集して、データーベースを作るような技術というのは、一般にどう呼ばれていてるのでしょうか？（呼び名みたいなもの）

ついでに、
http://www.amazon.co.jp/
上記のような、大規模な商用サイトが、どういう技術や仕組みによって、できているのか？また、どういう職種のスタッフによって作られているのか？というのを、わかる方がおられましたら、できるだけ、具体的にわかりやすく教えてください。

回答No.2

natsuki_tk

質問の意図をつかみきれないので、
的確なレスになっていないかもしれませんが、

上記サイト同様のものを低コストで作りたい
それにはどのようにすればいいか
・・ということでよろしいでしょうか？

端的に申し上げて、
作る技術があるかどうかが一番重要です。
このレベルのもので、実用に足るものを作るのはかなり大変ですので。
(ただし、発注すれば数十万～数百万がかかるでしょう)

もしそれなりの技術をもったスタッフがいるのであれば、
作成することもできなくは無いと思いますが、
数人のスタッフで一ヶ月程度はかかると思います。
(スタッフの技術次第で変わるのは言うまでもありません)

プログラム部分と表示部分(HTML)でスタッフが別れる場合が多いですね。
今回の場合はプログラムが主ですので、他は考えていないかもしれませんが。

技術的には、ロボットに近いと言えるんじゃないでしょうか。
(この言葉も定義が結構広いですが）
小中規模であればPerlでプログラム組むのが一番手軽ではあると思います。
大規模以上なら、JAVAなりASPなり他のものを考えた方が無難でしょう・・
(自分の手元のサーバにデータがある場合はまた別の技術も色々ありますが)

回答No.1

basil

自サーバ内のデータ検索と、internet上の他サーバのデータ検索とでは技術が変わってくるでしょう。
自サーバなど、単一システム内でのデータ交換ではあらゆる手段が利用できますが、ネットを介してのデータ交換ではサーバ側で提供しているサービスでしかデータ交換できません。
言い換えるなら、データ交換には送り手と受け手とで同じ手段で会話する必要があり、両方の管理権限があるような単一システム内などでは最適な手段が選べますが、送り手のサーバで提供する手段が選択できないような場合は、提供しているサービスを使うしか方法がありません。
質問内のwww.aucfan.comやwww.amazon.co.jpで行われている検索などは自サイト内での検索のようですが（そう見受けますが）この場合、システムの組み方次第でいろんな方法があり、表面的に見ただけでは裏側でどのような技術が採用されているかは分かりません。
また、サーチエンジンなどではhttpなどのプロトコルで、通常ブラウザからアクセスするのと同様の通信方法でデータを取得し、取得したデータから次なるアドレスを拾いまたアクセスするということを繰り返してデータを蓄積します。一般にロボットと呼ばれる技術です。ネットサーフィンを自動的にする仕組みといえば分かりやすいでしょうか。

補足

ちょっと質問の意図が伝わりにくかったみたいですので、補足いたします。
http://www.aucfan.com/search　
こっちのほうは、ヤフーオークションとかの、オークションサイトから、出品物、価格のデーターや、出品ページのアドレスなどを自動的に収集して、データーベースにして、表示しているサイトです。主なものだけでも、いくつかやり方があるのはわかりますが、もし、皆さんが同じような機能を持ったサイトを、できるだけ低コストで作るとするなら、どういうやり方で、作りますか？という質問と同じ意味だと思ってもらってかまいません。