DWHの処理能力について

質問

どのように質問すれば、良いのか自体あまりわかっていないのですが、
今後システムの仕事をすることになり、現在、ＤＷＨの導入を検討しております。

ＤＷＨの導入を考えているのですが、インポートしたいテーブル数が500超えてしまい、「500は多すぎる、これでは処理時間に1日かかってしまう。」と言われてしまいました。
元のシステムでオラクルのＤＢを使用しており、そのデータをＤＷＨ用のオラクルＤＢに写し、ＤＷＨにデータを入れるようにしようと考えております。

出来れば、3時間から4時間くらいで、インポートしたい（エンドユーザーがデータを確認できるように）のですが、一般的に、ＤＷＨへのインポートできるテーブル数はどのくらいなのでしょうか？また、500くらいのテーブルを希望の時間でインポートしたい場合にやりようはないのでしょうか。

分かる方いらっしゃいいましたら、ご教授ください。

回答No.2

Siegrune · ベストアンサー

ANo.1です。
>基幹ＤＢに顧客などのマスタテーブルや売上などのトランテーブルの数が約800あり、これらのデータを>毎日ＤＷＨ用のＤＢへ差分更新します。

マスタは無視して、売上などのトランテーブルがいくつあるのでしょうか？
これが数百あるなら分けたほうがいいというのが、前の回答の趣旨。

「ｘｘ別売上テーブルみたいな中間ワークテーブル」といっていたのが、
「ＤＷＨ側のＤＢにビューを約500作成し」に相当します。
500も必要でしょうか？
（ついついいくつも作ってしまうのがビューだったりします。）
例えば、課別月別売上ビューと部別月別売上ビューを別々に作ってしまったりとか。
（課別月別売上ビューがあれば部別月別に売上リストを出すのは結構早い。）

昔やった仕事で、縦軸、横軸の組み合わせ１５０個程の検索を、１２個の中間ワークファイル
（ビューと思ってください）で実現したことがあります。
・・・ビューは、出力が遅ければ追加するという考え方で作っていくのも有りと思っています。
（もちろん、1伝票毎のトランザクションから出力させると遅いにきまっていますので、
　最も細かい単位でのビューは作る前提のほうがいいですが。）

「ドクタサム」がよくわからないのであまりアドバイスはできないのですが、
ビューといっているけど実データを別に格納していて毎日更新する必要があるという前提と
考えられますので、効率よく更新する方法はあると思われます。
例えば、日別取引先別売上ビューがあるなら、月別課別売上ビューは、元データから更新する
のではなく、日別取引先別売上ビューから更新するとか（前提として１取引先１課とする）。

あと、差分更新は、ちょくちょく、値があわなくなることがあります。
（あってはいけないのですが、バグやsqlを直接実行して削除したため、マイナスデータが
作れなかったとかいったイリーガルなオペレーションからおきることがあるので。）
例えば当月分を月末に全件再計算するとかしたほうが安全です。
毎日当月分を再計算するってほうがベターとは思いますが、処理時間とのバーターです。

>本来、基幹で作成しなければならなかった帳票などもＤＷＨから出るようにしたいため
プルーフリストとか入力内容を確認する帳票は、基幹で出すようにしてください。
基幹で正しいデータにしてからデータを受け取らないと、取り消しデータとか山のように
データを受け渡ししなければいけないことになります。
## ま、お分かりと思いますので余計なお世話なんですが。

## とりあえず、こんなところで。
## 後は個別にどんなデータとどんなビューがあって・・・
## と１件ずつ掘り下げていく必要があるのですが、
## ＱＡサイトではそれもなかなか難しそうですね。

お礼

Siegruneさん　重ね重ねご回答ありがとうございます。

トランテーブルは600くらいありますので、サーバは分けた方がよさそうですね。
また、ビューの必要性についても再度考えてみるようにしてみます。

いろいろ参考になりました。有難うございます。

回答No.1

Siegrune

>インポートしたいテーブル数が500超えてしまい
ってキューブの数が500って言う意味ですか？
⇒もしそうなら、サーバを分けるべきでしょうというしかないです。
例えば、売上データ用ＤＷＨと経費データ用ＤＷＨ・・・とかいった感じ。
そうじゃなくって、マスタデータとトランザクションデータが合わせて500という意味なら
やりようはあります。
というか、500テーブルを毎日全件入れるのですか？
マスタ類は差分をいれるように設計できませんか？

例えば、売上データのＤＷＨなら、データは売上データの１種。
但し、ｘｘ別売上テーブルみたいな中間ワークテーブルがないと検索速度が遅いので
つくっていますということなら、作成用のバッチを実行する。（またはこれもインポートすればよい）
マスタ類は、依存関係がなければ並行処理できるのだから、同時に格納する。
サーバはマルチコアのサーバを用意しておけば、並行処理してくれるはず・・・。
とか何らかの対策をできるはずです。

お礼

Siegruneさん　ご回答ありがとうございます。

キューブというものがどういうものかあまりわかってしませんが、

基幹ＤＢに顧客などのマスタテーブルや売上などのトランテーブルの数が約800あり、これらのデータを毎日ＤＷＨ用のＤＢへ差分更新します。
また、ＤＷＨ側のＤＢにビューを約500作成し、これらのビューもテーブルと一緒に多次元データベース差分更新をかけることになっています。
『500は多すぎる』といった部分は多次元データベースに更新かけるこのビューの数のようです。

サーバはXoen？といったＣＰＵになり、ドクタサムといったものになります。

基本的に昨日までの内容に基づいた実績をＤＷＨで確認し、本来、基幹で作成しなければならなかった帳票などもＤＷＨから出るようにしたいため、毎日基幹のデータを更新する必要があります。

希望の要件を満たすためには複数のサーバに分けて処理する必要があるということでしょうか？