一定時間ごとのデータ収集

質問

質問タイトルの通りですが

ホームページのデータ（日本道路交通情報センターの首都高５分ごとの渋滞地図）を記録していくプログラムを作りたいと考えております。

（大学の授業で、これによって得たデータを下に、首都高速の渋滞状況を分析していく、というものです。）

しかしながら今までにならったプログラム（Javaは齧った程度、HTMLは触れた程度の知識です）では太刀打ちできず、非常に困っております。

このようなプログラムは、JavaやHTMLではなく、ほかの言語を用いる必要があるのでしょうか？

どなたかプログラミングに精通している方、あるいは参考になるHPをご存知の方いらっしゃいましたら、ご回答お願いします。

回答No.3

yf4989

大学の授業（研究）とのことですので、首都高に渋滞データの提供をお願いしてはいかがでしょうか？
研究目的であれば、正式に依頼すればもらえると思います。

または、ＭａｐＦａｎプランナーというソフトであれば、過去１３か月分の渋滞が見れますが、１時間単位のため、５分毎の変動まで把握することはできませんので、分析に必要なデータが取得できない可能性があります。

お礼

ご回答ありがとうございます。

道路交通情報センターにおいて、過去の情報を提供はいただける様なのですが、一年間につき１０．５万円かかってしまいます。。。

MapFanプランナーですか、なるほどその手もありますね。しかしある地点Pから地点Qまでにかかる時間が１時間未満である、という事も考えられ、どうしても５分毎が理想となっている次第です。

貴重なアドバイス、ありがとうございました。

回答No.2

SAYKA

ホームページを見るための　いわゆるブラウザ、ブラウザでは　見ているページを自動で「保存」する等の「ローカル資源」のアクセスが出来ないとかの不自由が存在するのは解るかな？
それを解決するには「javaapplet」では無理。
ブラウザベースのままでどうにかしたい場合はブラウザ側から書き出しをする方法を模索するかブラウザ毎監視下に置いてしまう物を作るしかない事になるね。

原理としては
java(scriptでは無い方)でやるなら件のURLからソースを獲得して希望の部分だけを抜き出す、それを5分に1回行う

ブラウザベースでやりたいならプラグインを開発するしかないけれどテキストベースで開発(javascriptとか)したい場合はmozilla系の「XUL」でならできなくもないよ。
http://developer.mozilla.org/ja/docs/XUL

お礼

ご回答ありがとうございます。

しかしながらソースを抜き出したところ、渋滞情報のページでは渋滞内容を表すものが見当たらず、行き詰ってしまいました。

他のプログラム言語を習いなおす、という手も考えられるのですが、他にレポートがたまっており、現状では残念ながらできそうにないものであります。トホホ・・・。

回答No.1

Mizyu

まず、HTMLというのはマークアップ言語（ブラウザの表示する定義の言語）なので、動的な処理をすることはできません。
Javaを使ってやることも可能ですが、プログラム本体以外に定期的にプログラムをキック（起動）する仕組みと、プログラム外部でデータを保持する仕組みが必要です。

定期的にキックする仕組みは「Windowsベースで開発を行うならタスクスケジューラというものを使うと楽です。
コントロールパネルの「管理ツール」の中にはいってます。
これを使えば、指定したプログラムを何時に起動するということができます。
プログラム本体に時刻判定をいれて、そのプログラムを起動しっぱなしにしておくのも手ではありますが、
メモリリークなどで一度こけるとまた手動で起動をかけてあげなければならなくなるので
取得したい時刻でタスクスケジューラなどをつかってキックしてあげるのが理想です。

データを保持する仕組みは通常、データベースソフトを使いますが
カンタンなデータであればテキストに書き込む処理を入れればいいと思います。

あとは、HTTPリクエストを投げ、レスポンスを取得するコードさえ書ければ問題なく作れるのではないでしょうか。

お礼

成程、キックという仕組みがあるのですか・・・。

たしかにそれを使えば出来そうな気がいたします。

お蔭様で一応の流れは理解できたと思います。

ご回答ありがとうございました。