matlabでの長時間の計算について

質問

すみません、現在matlabで数値解析を行っております。
質問を以下にまとめたので、よろしければアドバイスをお願いします。

--------------------------------------------------------------
matlabで数十分かかると考えられる計算を行おうとしています。
その場合、計算後の大容量のデータは一般的にどのように保存すべきでしょうか？

これまで、パラメータを50個用意してそれぞれ計算を行い、
後に見比べるために、目的の変数の値をプロットし、画像(角度などを指定してjpegに)として保存していました。
（for文を使って一定量パラメータを変化させる毎に、saveasを使ってグラフを保存していた。）
今まではパラメータ１つあたり数十秒程度で済む計算だったのでこれでも良かったのですが、
今後はパラメータ１個あたりに対しかかる計算時間が数十分になります。。

そこで、今までと同じように保存していくやり方では、もしグラフの保存方法（角度など）を間違えてしまった場合に
かなりの損失になってしまうと思ったので質問しました。。

何か効果的なデータの保存の仕方はありませんでしょうか？
以後もパラメータをfor文を使って一定量変化させ、50個用意して計算していこうと思うのですが・・
一応現状で考えているのは、saveを使ってworkspace内の変数（全て）をそれぞれ保存していくというものです。
何かその他に効果的なデータの保存方法などありましたら是非教えてください。

--------------------------------------------------------------
上記のように、
計算時間のかかる計算をmatlabを使って行おうと考えているのですが、
計算機を走らせている間、動作が著しく重くなり、ほとんど他の作業が出来なくなります。
（これは避けられませんよね・・？）
私はmatlabを学校で使っているので、帰宅する際、計算機を走らせて帰ろうと考えています。
（節電家でなくてすみません。。）

問題は途中でメモリ不足などで計算がストップしてしまわないかということです・・
一応、パラメータを変える毎に初期化すべき変数はzerosを使って初期化しているのですが、
パラメータ毎の目的の変数(6つ)は、多いとそれぞれ10^6×200ほどの配列となる可能性があります。

せっかく手間暇かけて走らせたのに、途中でメモリ不足などと表示されたら辛いなぁと思い・・
現在使っている計算機はubuntu11.04で、メモリは992.8MiBなのですが、やはりこの計算機だと際どいでしょうか・・？

--------------------------------------------------------------
コードに関する質問なのですが・・
uが50000000*200の配列で、それぞれの要素に値が入っているとします。
これをそのまま1行目～50000000行目まで、順にグラフにプロットすると、かなりの時間がかかるので、
1行目から、一定数（例えば100）毎の行の配列を
グラフにプロットさせたいのですが、やり方がわかりません・・

x = -10: 10: 200 ;
t = 0: 100: 50000000 ;
waterfall(x,t,u) ;
とするとエラーが出ます。
どなたか訂正出来る方、お願いします。。
waterfall以外でも全然構いません。

--------------------------------------------------------------

以上長々と質問すみませんでした。。
どなたかご指導頂けると助かります・・

あと、分類というのがよくわからなかったので、その他となっています・・
ごめんなさい。。

回答No.3

Kules · ベストアンサー

A No.1のKulesです。

waterfall(u(1 :50000000/100 :50000000, 1 :200/10 :200));
この書き方も相当危ないですが（真ん中の増分が今は整数なのでいいですが、ここが整数でなくなった時点でエラーが出ます）今は問題なく動くのでいいでしょう。

http://www.mathworks.co.jp/help/ja_JP/techdoc/ref/waterfall.html
の説明はお読みいただけましたか？
>waterfall(Z) は x = 1:size(Z,2) と y = 1:size(Z,1) を使用してウォーターフォール プロットを作成します（サイト内説明より）
なので、入力が一つなら縦軸、横軸の番号がそのまま出力されます。
また、
> X と Y がベクトルの場合、X は Z の列に対応し、Y はその行に対応します（サイト内説明より）
なので、X,Yにベクトルを入れる場合はZの列数とXの要素数が、Zの行数とYの要素数があってないといけません。
x = linspace( -20, 20, 200 );→要素数200
t = linspace( 0, 50000000, 100 );→要素数100
に対し
u(1:100:end,1:end)→500000行200列
なので行数があっていません。
そもそも
1 :50000000/100 :50000000
と
1:100:end
は表しているものが違います。
1 :50000000/100 :50000000
と
linspace( 0, 50000000, 100 )
は要素数が同じ…だと思います（数字がでかすぎて自信ないです(笑)）

ちなみに
CAT arguments dimensions are not consistent.
は、行列をくっつける時にサイズの不一致が起きた場合のエラーのはずなので、少なくともここに書かれているものが原因ではないと思われます。

参考になれば幸いです。

回答No.2

ICE_FALCON

> 計算後の大容量のデータは一般的にどのように保存すべきでしょうか？
> saveを使ってworkspace内の変数（全て）をそれぞれ保存していくというものです。
saveを使うのはいいけど、すべて保存する意味はないと思いますが・・・・。
時間とメモリの無駄です。必要な変数だけsaveで保存したほうがよいです。
save filename data1 data2

> 計算機を走らせている間、動作が著しく重くなり、ほとんど他の作業が出来なくなります。
> （これは避けられませんよね・・？）
OSによっては優先順位下げれるけど、時間かかりますよ。

> 問題は途中でメモリ不足などで計算がストップしてしまわないかということです・・
> パラメータ毎の目的の変数(6つ)は、多いとそれぞれ10^6×200ほどの配列となる可能性があります。
matlabは必要なメモリは予め確保したほうが良いです。10^6×200いるのであれば、
予め10^6×200確保しておくべきですが、992.8MiBじゃ無理っぽいですね。double型なら普通にオーバーするだろうし・・・仮想メモリ使いまくりですね。

> 1行目から、一定数（例えば100）毎の行の配列を
> グラフにプロットさせたいのですが、やり方がわかりません・・
mesh(u(1:100,1:end))
とか。
もしくはimageとか。

補足

ご回答ありがとうございます．

mesh(u(1:100,1:end))を参考に，
waterfall(u(1:100:50000000,1:200));
とし、

uの行の要素を１００毎にプロットできたんですけど、
x,yの座標の両端が、行列の番号がそのまま出力されてしまいます。
x軸の末端の値を-10,10
y軸の末端の値を0,50000000/100
ってしたいんですけど、

xlimやylimを使っても上手く逝かないし、

x = linspace( -20, 20, 200 );
t = linspace( 0, 50000000, 100 );
waterfall(x,t,u(1:100:end,1:end));
とやっても
CAT arguments dimensions are not consistent.
って出ます。

何か成す術はないものでしょうか・・？

回答No.1

Kules

そうですね…
まあfigureにプロットしているデータだけでいいのであれば、
saveasを用いてjpeg形式で保存するのではなく、figのまま保存すればいいでしょうね。
figureをfigファイルで保存しておけば、後で立ち上げた時に見てくれ（各軸のスケールやviewで決まる角度、camerapositionなど）はいくらでも変更できますし。
jpeg形式も同時に保存しておけば、画像を手早くチェックして変更が必要なものだけfigファイルからいじるようにすればいいですね。

メモリに関してはわかんないですね…少なくとも私が現在使ってる脆弱な環境では間違いなく止まるレベルですね(笑)
100万×200×6×8（doubleで持った時の、1要素あたりのバイト数）=96億バイト≒9ギガバイトなんで、きつそうな気はしますけどこんな計算でいいのかな？ごめんなさいここは自信ないです。

x = -10: 10: 200 ;
t = 0: 100: 50000000 ;
waterfall(x,t,u) ;
とするとエラーが出ます。
多分「配列の要素数は一致する必要があります」みたいなエラーが出るんじゃないですかね？
http://www.mathworks.co.jp/help/ja_JP/techdoc/ref/waterfall.html
を見ると、
「X と Y がベクトルの場合、X は Z の列に対応し、Y はその行に対応します」
ってあるんで、これでいうとxとuの行数、tとuの行数が一致している必要がありますね。
x = -10: 10: 200 ;
t = 0: 100: 50000000 ;
とあるんで、xは22列、tは500001列ですね？ということはu側もそれと要素数が揃うように間引いてやればいいわけです。
u(行のインデックス,列のインデックス)とすればuの成分が取り出せるのはご存知ですね？
インデックス指定にはベクトルも使用可能なので（行列は確か不可だった気がします）、
例えば
u1=u(1:2:end,1:2:end)とすれば、uの奇数行と奇数列だけを取り出すことができます。
あとは、tとxに上手いこと合わせられるように、インデックス指定のベクトルを作ってやって下さい。
ただし、当たり前ですがインデックスには0以下の数を与えることはできませんし、小数も不可です。

200列から22列だけ取り出したり、50000000行から500001行取り出したりするのは難しそう（等間隔に取りにくい）ですが、
そこはまあ頑張ってください。

不明な点等あれば補足いただければと思います。

参考になれば幸いです。

補足

ご指導ありがとうございます．
上述の細くのように，

u1=u(1:2:end,1:2:end)
を参考に，
行をステップ数100，列をステップ数10で，
waterfall(u(1 :50000000/100 :50000000, 1 :200/10 :200));
とし、

プロットできたんですけど、
x,yの座標の両端が、行列の番号がそのまま出力されてしまいます。
x軸の末端の値を-10,10
y軸の末端の値を0,30
ってしたいんですけど、

xlimやylimを使っても上手く逝かないし、

x = linspace( -20, 20, 200 );
t = linspace( 0, 50000000, 100 );
waterfall(x,t,u(1:100:end,1:end));
とやっても
CAT arguments dimensions are not consistent.
って出ます。

何か成す術はないものでしょうか・・？