ベストアンサー データの自動取得 2005/01/11 14:04 郵便番号の差分データを自サーバへダウンロードしたいです。wgetで個別にダウンロードすることは出来るのですが、自動的に新しい差分ファイルのみを取得したいのですが、何か良い方法を教えてください。 みんなの回答 （1） 専門家の回答 質問者が選んだベストアンサー ベストアンサー bonyamk ベストアンサー率29% (49/166) 2005/01/11 15:54 回答No.1 wgetを使える環境なので linux・unix環境と想定して説明します crontabを使えば解決でしょう 詳しい説明は専門サイトを検索して調べたほうが理解できると思います CLI版のphpが入っていなければperlで更新するプログラムを書くことになると思いますが・・・まぁ、phpと似てるのでなんとかなるでしょう＾＾； 質問者 お礼 2005/01/16 17:06 一応、wgetでダウンロードデータのリンクが貼ってあるページを丸ごと取得したあと、ファイル名をテキストで取得し、各ファイルをfsockopen()→HTTPヘッダよりLast-Modifiedを取得して解決しました。 情報収集の参考になりました。ありがとうございました。 質問者 補足 2005/01/11 17:25 すみません。質問の仕方が悪かったようです。 例えば、ＨＴＭＬ内にボタンがあって、そのボタンをクリックすると、郵便データダウンロードサイトの差分ファイルを取得したいです。差分ファイルのファイル名と日時が取れれば一番いいのですが・・・。 よろしくおねがいします。 広告を見て全文表示する ログインすると、全ての回答が全文表示されます。 通報する ありがとう 0 カテゴリ [技術者向] コンピュータープログラミング・開発PHP 関連するQ&A 実行ファイルのURLを自動取得 PHPでの質問です。 実行している自ファイルのURLを自動で取得する方法は無いのでしょうか？ 今現在は解らないのでSERVER関数で以下の様にして自動生成しています。 実行している自ファイルのURLを簡単取得する関数とか無いのでしょうか？ 実行ファイルのURL = "http://" . $_SERVER['SERVER_NAME'] . $_SERVER['PHP_SELF'] 上記の様な感じで自動生成してたのですが、ひょんな事からバグが出て しまったので別の方法で取得出来ればと思っています。 特定のページから自動でデータを取得する Yahoo!ファイナンス等で株価のデータを毎日決まった時刻に取得し、データベースとして保存したいと考えています。 私が知りたいことは以下の2点です。 １、特定のページに書いてある情報の自動取得の方法 ２、特に誰かが操作しなくてもサーバ側で毎日決まった時刻に自動的にデータを取得することが出来るのか。 以上です。 PHP＋mySQLで以上のことは実現可能でしょうか。 よろしくお願い致します。 PHPでファイルの取得 PHP4.3.9(FreeBSD4.7)にて郵便データファイルをダウンロードし、lha解凍したいのですが、systemコマンドを実行しても動作しなくて困っています。 system("/usr/local/bin/wget ダウンロードするサイトとファイル名"); いろいろ探してみましたが、うまくいきません。 教えてください。 ネットワークエンジニアとは？技術職の未来を考える OKWAVE コラム 自動データ更新(インターネット経由) お願いします 実現方法が色々ありそうなので目的を書きます。 アナログ回線が引かれた所にあるWIN95マシンの フォルダ上にあるファイルを 常時接続回線を引いた場所にあるサーバ上の ファイルと同期をさせたいのです。 まず完全な同期は無理だと思いますので 毎晩サーバの中の更新されたファイルを PCからダイヤルアップしてダウンロードしようかと思います。 この時条件としてあるのが、 インターネット経由という事とPCからの ダイヤルアップとデータ更新を自動でやりたいということです。 分からないことは、自動でのダイヤルアップと ファイルのダウンロードの方法になります。 よい方法あれば教えて下さい。お願いします データの自動取得 外国為替証拠金取引を行っていますが、システムトレードを行うために、リアルタイムの為替データをエクセルの表に取り込もうと考えています。 様々なチャート画面はリアルタイムに見ることができのですが、エクセルを用いて1分足、5分足などのデータを分析したいのです。 聞くところによると、FX業者のサーバーから直接取得する方法があるということですが、ソフトウエアがあれば、教示願います。 バックアップデータが自動で消去できない バックアップデータが自動で消去できない お世話になります。 現在Windows2003Serverで、NAS上に毎日NTbackupのスケジュール機能を 使って、差分バックアップを取っています。 その日に作成もしくは更新の発生したデータをバックアップしており bkfファイル名にバックアップした曜日の名前を付けて管理しております。 差分バックアップを取った場合、同名の古いbkfファイル(1週間前のデータ)に 新しくバックアップした分のデータが追加されていきます。 バックアップした場合、先週の同じ曜日にバックアップされたデータは、 削除するようにしたいのですが、データが追加されていくのは仕様でしょうか？ バックアップの設定では同名のファイルが存在した場合『データを置き換える』 ようにしています。 仕様なのか設定に見直すべき点があるのかご教示下さい。 宜しくお願いします。 ※似たような内容の質問 http://okwave.jp/qa/q2435404.html 圧縮ファイルの取得 http://okwave.jp/qa/q8823112.html こちらで質問させていただいたように、/public_html/file.zipではなく、/file.zipの ファイルをダウンロードさせるために以下の方法を取りました。 print "Content-type: application/x-tar\n\n"; open( FH, "$filename" ); binmode FH; binmode STDOUT; print <FH>; close( FH ); この方法では、ブラウザで表示させてダウンロードできるようになったのですが、 これをperlで、wgetか、何かを使って取得したいと考えています。 ところが、wgetで試したところ、zipファイルではなく、cgiページ自体のソースの取得になってしまいました。 zipファイルを取得するにはどのようにしたらよいのでしょうか。 perlの知識があまりないので、どうしても解決できません。 宜しければ具体的に書き方を教えていただけると大変助かります。どうぞよろしくお願いいたします。 FTP経由でサーバのデータを自分のPCに自動バックアップ取りたい FTP経由でサーバ上のデータを自分のPCに自動バックアップ取りたいと思っています。 スケジュール機能で、自動的に設定した時刻にサーバにアクセスし、丸ごとファイルをダウンロードしてきて、自分のＰＣにバックアップとれるようなものを探しているのですが、そのようなソフトをご存じないでしょうか。 もちろん自分でも探してみたのですが、フリーではあるものの、自動的にオプトインで広告が出るようにされていたり、スケジュール機能がないもの、差分バックアップでデータ蓄積ができないものばかりで思うものが見つかりません。 求めている機能は、 スケジュール機能があり、自動的に指定ファイルやフォルダをバックアップしてくれるもの。 方式は、ミラーリング方式、つまり前にバックアップ取ったものの上書きではなく、常に新規でデータを保存していき、データを蓄積する方式のものを求めています。（バックアップ日時をフォルダ名にしたりなど） できればフリーソフトで、シェアウェアでも数千円程度まででそのようなものがあればぜひ教えてください。 HTMLから自動的に文章取得 HTMLデータの中から、狙った文章をPerlで抜き出すプログラムを書こうとしています。 (1)urlが並んでいるテキストファイルから、１番上を$urlに入れる (2)urlからHTMLを取得する (3)HTMLを解析、文字列の取得 (4)「author: title: 」のように、形を変えて、新たなテキストファイルに１行printする。 (5)すべてのurlに繰り返す と動くプログラムです。 LWP::Simpleのget関数を使うか、wgetを使うかも考えています。 ここでの質問は、(1)の、URLを上から順に引っ張ってくるプログラムの作り方を聞きたいです。 $i行目の改行までを取得、という考えでいいでしょうか？ ベターな方法や、少しでも参考になる情報がありましたら教えていただけると嬉しいです。 NFSサーバーのファイルを取得する 今、RedHat9でNFSサーバーを立ち上げました。 /etc/exportsにアクセスできるディレクトリ指定をしました。 テストのため、クライアントを同一PCとしています。 取得したいファイルを得る場合はどのようにしたらいいのでしょうか？ wgetコマンドを用いてサーバーのアドレスを指定して取得したいファイルを指定する？ (/etc/exports) /home/user1 クライアント側のIPアドレス(rw) 取得したいファイルがもし、 /home/user1/sample/get_1.txt の場合、 wget ftp://NFSサーバーIPアドレス/取得したいファイルのディレクトリパス 格納先 どのようにして取得したいファイルおよび格納先していを行うのかわかりません。 よろしくお願い致します。 会員サイトに自動ログインしてダウンロードする方法 あるサイトの会員になっており、 サイトにログインしてデータをダウンロードすることができます。 手動であればブラウザで可能なのですが、 定期的に自動取得したいと思っています。 それもクライアントを介さずに、サーバー上からの自動取得です。 クライアントからだと、VBやJavaScriptなどを使う方法でイメージできるのですが、 サーバーからだとなかなかイメージできずに困っております。 wget でのファイル取得 FTPサーバから、ファイルを取ってこなければならなくなったのですが、サーバ上のファイル名に「日本語」がついています。 Windows の FFFTP では、普通に日本語のファイル名が表示されています。サーバはWindowsのようです。 [xxxxx@xxxxxx Aug]$ ftp ftp.foo.co.jp Connected to ftp.foo.co.jp. 220 Microsoft FTP Service <SNIP!> Name (ftp.foo.co.jp:username): username 331 Password required for username. Password: 230 User username logged in. Remote system type is Windows_NT. ftp> というような表示です。 で、ダウンロードするファイルが多い（10GBのオーダー）なので、wgetで一気に取得しようとしたのですが、うまく取得できません。 ダウンロードするホストのOSはCentOSで日本語が表示されている（LANG=ja_JP.UTF-8）状態です。 ここで wget --no-passive-ftp -nH -np -r ftp://username:password@ftp.foo.co.jp/ と実行すると、index.htmlが生成され、ファイルはダウンロードされません。ファイルはそのまま見ると文字化けするのですが、lvでUTF8に変換するとディレクトリ名などが正常に確認できます。 なぜ、ファイルがダウンロードされないのでしょうか？ AIは使う人の年齢や市場にも影響する？人工知能の可能性 OKWAVE コラム Yahoo ファイナンスからのデータ取得方法 Yahooファイナンスから個別株のデータを取得したいです。Yahooファイナンスでは、確か1991年までのデータに遡り時系列データが取得できます。 ただ、一度に表示されるデータが限られているので、1991年までの全てのデータを取得しようとすると、ページ数が50以上にもなります。 この1991年までの全データを一度又は2度か3度でエクセルにダウンロードできる方法をご存知の方がいれば、方法を教えて下さい。 ここで申し上げたYahooの画像をご参考までに添付します。 宜しくお願い致します。 サイトのデータを自動的に取得するには？ サイトの数字的なデータを自動的に取得して記録する事ってできますか？ 当方サイトの為替のデータを記録したくて質問しました。 Ajaxをつかってデータを取得 いつもお世話になっております。 今回はAjaxを使ってデータを取得する方法をお聞きしたいです。 たとえばログリストのようなものがあるとして、サーバー側にそのデータがあります。 そのリストを開いたとき、サーバーからデータを得て、リストに追加します。 そこで「次へ」のようなボタンを押した際、非同期で次の分を取得する方法はありますか？ またこれは「パース」という方法になるのでしょうか？ ご教授願います。 ある拠点のサーバから自動的に画像ファイルをダウンロードする ある拠点のサーバにある画像ファイルを自動的にダウンロードできるソフトウェア、またはプログラムなど存在しますでしょうか？ 制御的には リスト化したファイルから読み込み、 そのリスト数分ファイルを取得するというものです。 ファイル名は（シリアル番号）.jpgで 統一性のあるものです。 便利なものはありますでしょうか？ Access2000 ナンバー自動取得・手動取得の切り替え方法 こんにちは。 現在Access2000でファイル管理用のデータベースを作成中です。このデータベースは、ファイル登録時、項目によってナンバー取得できるようになっており、最初は自動取得のみだったのですが、手動でも取得できるよう修正することになりました。そして、手動でナンバーを入れた際、歯抜けになってしまった場合でも、自動取得に切り替えると、一番小さい番号の次の番号がつくように作成しなくてはなりません。（例：1,2,5,8,12でナンバー取得されている場合、自動取得で"3"がつくようにしたいのです。）また、この機能はVBAで作成しており、オートナンバーは使用していません。 何か良い意見がございましたら、連絡宜しくお願い致します。 ＷＥＢ上のデータを自動取得するには？ 漠然とした質問で恐縮ですが、たまにＷＥＢ（ホームページ）上のデータを自動で取得（取りこみ）するソフトをみかけますが、ああいうのはどういう技術によるものなのでしょうか？ 色々な方法があるとは思うのですが、私はプログラミングといってもAccessのＶＢＡを少々いじれる程度なので、できればAccessで可能な方法が良いですが、Accessでは出来ないのでしたら、他のソフトや言語でもかまいません。 ヒントだけでも結構ですので、どなたかご教授頂けないでしょうか？ よろしくお願い致します。m(_ _)m データ自動配信の方法又はデータ自動配信ソフトウェアを探しています 現在、測定器A・測定器B・測定器Cでデータを毎日5:00～21:00まで取得しています。測定器A・測定器Bは1日ごとにバイナリデータで、又測定器Cは1日ごとにCSVファイルでデータが作成されるように設定しております。 距離が離れているところでデータを取得しておりますので、今のところデータを取得する際には、その現場まで足を運んでデータを取得していますが、その3つのデータファイルを自動的に自分のメールアドレス等に配信できる方法はありませんでしょうか？ 又配信できるソフトウェア等あるのでしょうか？ 知っておられる方はどうか教えてください。 よろしくお願い致します。 Wgetのダウンロードをウェブサーバで防止する方法 ホスティングのウェブサーバを最近利用し始めたものです。ここ数日で突然にウェブ転送量が増加したのでログを確認したところ、 WGETを利用した自動ダウンロードが原因であることがわかりました。 Wget によるダウンロードを防止する方法はありますでしょうか？ 注目のQ&A 「You」や「I」が入った曲といえば？ Part2 結婚について考えていない大学生の彼氏について 関東の方に聞きたいです 大阪万博について 駅の清涼飲料水自販機 不倫の慰謝料の請求について 新型コロナウイルスがもたらした功績について教えて 旧姓を使う理由。 回復メディアの保存方法 好きな人を諦める方法 小諸市（長野県）在住でスキーやスノボをする方の用具 カテゴリ [技術者向] コンピューター プログラミング・開発 Microsoft ASPC・C++・C#CGIJavaJavaScriptPerlPHPVisual BasicHTMLXMLCSSFlashAJAXRubySwiftPythonパフォーマンス・チューニングオープンソース開発SEOスマートフォンアプリ開発その他（プログラミング・開発） カテゴリ一覧を見る OKWAVE コラム 突然のトラブル？プリンター・メール・LINE編 携帯料金を賢く見直す！格安SIMと端末選びのポイントは？ 友達って必要？友情って何だろう 大震災時の現実とは？私たちができる備え 「結婚相談所は恥ずかしい」は時代遅れ！負け組の誤解と出会いの掴み方 あなたにピッタリな商品が見つかる！ OKWAVE セレクト コスメ化粧品 化粧水・クレンジングなど 健康食品・サプリ コンブチャなど バス用品 入浴剤・アミノ酸シャンプーなど スマホアプリ マッチングアプリなど ヘアケア 白髪染めヘアカラーなど インターネット回線 プロバイダ、光回線など
![その他([技術者向] コンピューター) イメージ](https://gazo.okwave.jp/okwave/spn/images/related_qa/c205_4_thumbnail_img_sm.png)
お礼
一応、wgetでダウンロードデータのリンクが貼ってあるページを丸ごと取得したあと、ファイル名をテキストで取得し、各ファイルをfsockopen()→HTTPヘッダよりLast-Modifiedを取得して解決しました。 情報収集の参考になりました。ありがとうございました。
補足
すみません。質問の仕方が悪かったようです。 例えば、ＨＴＭＬ内にボタンがあって、そのボタンをクリックすると、郵便データダウンロードサイトの差分ファイルを取得したいです。差分ファイルのファイル名と日時が取れれば一番いいのですが・・・。 よろしくおねがいします。