アクセスで大量のデータを扱う際の注意は?
アクセスである機器での計測データの管理、集計などの作業を行いたいと考えています。
計測データのレコード数が多いので、それらを効率良く管理するためのノウハウを知りたいと思い質問させて頂きました。
実際にレコード数がどの程度かというと、計測間隔が30秒に1回、計測機器が最大90点まで接続可能であることから、
一日最大259,200レコード、さらに時間と機器名称のデータが各レコードに追加されます。(各計測値は小数点以下第2位までの小数)
これを1年積み重ねると94,608,000レコードという膨大な数量になってしまいます。
さらにこれを何年、というかたちで積み重ねてゆくことを考えて、これらの大量のデータを効率よく管理、または集計に利用するために
必要な知識、テーブルの作り方やファイル管理の方法などをご教授頂けたらと思います。
拙い知識の中で私が現在検討している内容としては、
(1)1年半前までのデータはテーブルに残しておきたい
(直近データの処理レスポンスを重視したい/前年同月での比較等を行いたいため)
(2)1年半以上前のデータはどこか別の所へバックアップし、必要な時に読み込んでくる様にしたい
(1年半以上前のデータは集計に利用する頻度が稀であるため)
(3)アクセスで行う集計はごく簡単なもの
(ある期間を指定したらそのデータを抽出し、グループ毎に和算をして、それをグラフ化する。
一度の集計で利用するのは、最大でも全体の中の1,000レコード程。多くの場合は120レコード程しか使用しない)
(4)基本的にアクセスで行う集計にはレスポンスの速さが要求される。(特に直近データ)
基本的にデータは大量なのですが処理自体はとても簡単なものなのです。
大量のデータを保存している影響を処理スピードに与えないようなシステムを作るにはどんな所に注意をしたらよろしいのでしょうか?
よろしくお願いいたします。
お礼
ご回答ありがとうございます。 早速おっしゃってるようにやってみようかと思ったんですが・・・ すでにオペレーター全員がアクセスをたち上げてしまってたので できませんでした(^_^;A 別のアクセスのデータでやってみたら出来たので、 仕事終了後にやってみようと思います。 ありがとうございました♪