毎日天気予報サイトを巡回させ、自動で定期的にそのページ内の情報を自分のデータベースに保存する方法

質問

ロボット検索エンジンとまではいかないのですが、例えばある天気予報サイト内の天気予報データを自分のデータベースに毎日保存したいのですが、いちいち手動でやるのは面倒です。cronなど使って自動で収拾する方法を探しています。というか可能でしょうか？
一番の疑問点は、巡回する、という点です。このあたりがどうやって実現できるか全く想像もできません。
抽象的な方法でもいいので教えてください。

回答No.2

Oh-Orange · ベストアンサー

★tenketu へ
＞例えばある天気予報サイト内の天気予報データを自分のデータベースに毎日保存したいのですが、
＞いちいち手動でやるのは面倒です。
　↑
　私は過去に天気予報サイトから HTML ソースをダウンロードしてそのソース内のタグを
　解読して自作ツールで今日の天気、週間予報などを表示するものを作りました。
　※サイトの利用規約をよく読んだ上です。注意！
・カテゴリが『その他([技術者向] コンピューター) 』となっていますが C 言語などで
　プログラムを組めば自分のデータベースに毎日・自動的に保存できるように出来ます。
　何かのプログラミング言語は使えるのでしょうか？
　C/C++ なら自動保存する仕組みなどをアドバイスできます。
・それでは。言語の利用の有無を。

お礼

実際に作った人がいるとなると迷わず実行に移せそうです。
でも自分にはほとんどプログラムの知識がないのでまずはそこからやっていきたいと思います。
だいたいどういう流れかがつかめました。
ありがとうございました。

回答No.3

Nazogramer

＞天気予報サイト内の天気予報データを自分のデータベースに毎日保存したいのですが ..... 自動で収拾する方法
と書いていますが、自動巡回を許可している「天気予報サイト」を見た事がありません。
昔のパソコン通信のフォーラムなどでは、「クローズド」された世界だったので自動巡回を行う事もありましたが、「ネチケット」としては、そのようなソフトウェアを公開できないと思います。
自動巡回はおこなえませんが、ＷＥＢのデータや画像を取り込めるソフトウェアがいくつかあるようなので、一度試してから考慮してみてはいかがでしょうか。
ちなみに、私は「WeatherTracker」を使っていますが、自動巡回なしでも、後からのデータ収集が可能なので、重宝しています。

お礼

>ＷＥＢのデータや画像を取り込めるソフトウェア
>WeatherTracker
この辺りについても検索して探してみようかと思います。

余談ですが、
>自動巡回を許可している「天気予報サイト」を見た事がありません。
となると、googleやその他の自動データ収拾の検索エンジンはどうなるのでしょうか、と思ったりしました。

ともかく、協力ありがとうございました。

回答No.1

boeboe

一般的に巡回ソフトってものが存在します。
ソース公開してるのもあるでしょうから、それを見て勉強するか、何個か触ってみて想像するか、ですね。

サイトによってはそういった行為を禁止しているところもあるのでご注意を。

お礼

回答ありがとうございます。
「巡回ソフト」という言葉は初めて聞きました。これで検索して探そうと思います。