他サイト数値を自サイトに反映させるプログラム

質問

他サイトにある数字を認識して自サイトに反映させるプログラムなど実現可能なのでしょうか。
たとえばある統計の結果を数ヶ月に一度更新しているサイトがあるとして、その2000人と書かれた数字が2050人と変わったときに自サイトの数値も2050として数値が変わる仕様です。

やっていることは無料閲覧できるサイト制作者のページを閲覧して数値を確認して、自サイトへ書き込むというアナログの作業が自動化できればなと考えています。

この手動が自動化することについては、やっていることは上記と同じことなので他サイト制作者の認可はもちろん得なくてもよいとは思います。

もしこれが実現されたとなれば他サイト所有者に許可を受けずとも（普通は認可いらないはず）こちらサイトの更新の手間が省けるのですが、このためには相手先のホームページからの行き着いたページのURLのページの位置の画像認識をして数値を割り出し、もしページの数値の位置が変わったときやページごとURLが変わったときなど変化があれば通知されるようなシステムになると思うのですが、こういったことは実現できるのでしょうか。

よろしくお願いいたします。

回答No.3

Ogre7077 · ベストアンサー

面倒な処理さえなければ、割と簡単な類のプログラムでしょう。
Webプログラムを一年でも経験していれば、数日で出来上がると思います。
面倒が必要なら数週間ほど。

ただ「要求仕様」さえはっきり文章化できれば、
そうお高い買い物にはならないはずです。
書けないとなると、要求分析して要件定義して要求仕様を定めて...
となるのでうんびゃくまんの話になるでしょう。

頼むなら、安くなりそうな順に
* 知人の工学系学生に声をかける
* 知人の詳しそうな人に声をかける
* SNS で募集をかける
* SOHOお仕事サイト
* ソフト受託開発で検索

お礼

素晴らしすぎます。追加質問まで感謝します。
回答本当にありがとうございました！

回答No.2

Ogre7077

Webページの自動巡回ですね。
ボットとかクローラーとか呼ばれるプログラムを作成すれば可能です。
ただ以下のような事件が発生しかねないので、巡回の頻度はごく控えめに。
http://ja.wikipedia.org/wiki/岡崎市立中央図書館事件

どのような処理をするのかというと
* 目的ページのHTML文書を取得 (wget/XmlHttpRequest など)
* 文書を解析をして Document を得る (HTMLパーサ など)
* セレクタで目的の値をとる (querySelectorAllなど)
* 値を使って更新処理
* 以上のプログラムを繰り返し実行するように登録 (cron/タスク など)

目的の値が固定URLのページにテキスト値として含まれているならば、
スクリプト100行程度で実装できる簡単な処理ですが、
そうでないとすると飛躍的に難しくなります。

固定URLでないのなら
* HTML取得・解析・目的リンクを抽出して、目的ページURLを辿る処理
(かなり面倒)

値がテキストではなく画像なら
* 画像からテキストを読み取る処理 (OCRライブラリなど)
(とても面倒)

単純な一枚絵の画像でないなら
* Webページを丸ごと画像に保存する処理 (ブラウザの遠隔操作など)
* 目的部分だけを切り抜く処理
(えらく面倒)

お礼

素晴らしい。素晴らしすぎますよ。なるほど可能は可能なのですね。
こういったことはどこに頼むのがよいのでしょうか。どこに頼むかについては別質問としてたてたほうがよろしいでしょうかね。

少し聞きたいのですがあなたはプログラミングの業界ではかなり優秀な部類の方なのでしょうか。それとも少しでもわかっていればこのような類の技術はできるようなものなのでしょうか。もしどこかに依頼するとなったとき膨大な金額が請求されそうで不安ではあります。
回答ありがとうございました。

回答No.1

LancerVII

こんにちは。

実現できるか出来ないかで言えば、出来ます。
方法は多岐にわたりますので、環境に合わせて作ります。

ただし、許可に関する部分は認識が違います。
スクレイピングと言われている技術になりますが、サイトによっては許可していない場合があります。
ただ、1秒に何回もリクエストを送るとか、そんなことをしなければ大丈夫だと思いますが。
(検索サイトのbotも同じようなもんですしね)

お礼

回答ありがとうございます。
実現可能なのですね。本当にすごいことだと思います。
プログラミングというのは限界を感じさせませんね。
本当にありがとうございました。