巡回ロボットの作り方。

質問

50個位の決まったサイトを定期的に巡回し、価格などの情報を自動で定期的に収集してくれるサイトを作りたいと思っています。

簡単なホームページを作るくらいの知識しかないので、そういうサイトを作れるようになることを目標に地道に勉強していこうと思っています。

そこで質問なのですが、そういうサイトを作るのは技術的に可能なのか？

また、他人のサイトを定期的（1時間に1回くらい）に訪れて、サイトの1部分の情報を収集するということになりますので、そういうことをしてもいいのか？

そういうサイトを作るには、どういった知識が必要であるか？お勧めの本などもあれば是非、教えてほしいです。

宜しくお願いします。

回答No.2

anotherone

http://www.google.co.jp/search?num=50&hl=ja&q=PHP+DOM+&btnG=%E6%A4%9C%E7%B4%A2&lr=lang_ja
自宅サーバならとても簡単にできます
レンタルサーバなど外部のサーバでも定期的にＦＴＰできれば簡単にできます
http://www.vector.co.jp/soft/win95/net/se303039.html
それ以外ならＰＨＰをおすすめします
ＨＴＭＬはＤＯＭで読み込んでタグごとに操作できます
希望のtableを探してtdを読んで一覧表にして表示ということができます

ＰＨＰとＤＯＭを調べることをオススメします
自宅サーバなら別の方法もあります　補足してください(Windowsのみですが)

回答No.1

temtecomai2

「定期巡回して収集するサイト」ではなく、

(1) 定期的に巡回してデータを収集するプログラム。
(2) 収集されたデータを表示するサイト。

と言う感じの役割分担になるかと。

(1) が収集したデータはテキストファイルか DB に溜め込む感じ。
てことで (1) のプログラムは HTTP と DB 更新の技術。

(2) は DB かテキストファイルに入っているデータを読み出してユーザーのブラウザに HTML を送るので、動的に HTML を生成する技術。

(1) のプログラムは HTML 通信ができる言語なら特に何を選択しても構わないですね。
DB は MySQL や PostgreSQL で、Web サーバは Apache、動的に HTML を生成するには PHP でいいんじゃないかと思います。