メモリの動的確保（大容量）について

質問

今640*480の画像を、１０枚読み込み、１枚を１行に入れた
２次元配列、10＊307200を作りました。これをXとおきます。
この転置行列、307200＊10と、Xを掛けて、
307200 * 307200　の行列を作りたいです。
その行列の確保に、
xx = (double (*)[307200])malloc(sizeof(double) * 307200 * 307200);

とやったところ、
warning C4307: '*' : 整数定数がオーバーフローしました。

というエラーが出てしまいました。
これって、メモリが確保出来ないっていうエラーですよね？

無知なので教えて頂きたいのですが、
doubleって8バイトなので、この計算だと
8 * 307200 * 307200 = 700G以上のメモリを必要としてしまう。ということでしょうか？

そうだとしたら、やっぱり、こんな容量のメモリを確保するのは無謀ですよね。

でも、この計算はしたいのですが、何か方法はありますでしょうか？

回答No.3

chie65536 · ベストアンサー

＞xx = (double (*)[307200])malloc(sizeof(double) * 307200 * 307200);
＞とやったところ、
＞warning C4307: '*' : 整数定数がオーバーフローしました。
＞というエラーが出てしまいました。
＞これって、メモリが確保出来ないっていうエラーですよね？

違います。

mallocのパラメータは、size_t型です。

ワーニングの意味は「sizeof(double) * 307200 * 307200を計算した結果が、size_tで表せる最大値を越えた」と言っているのです。

一般の処理系では、size_tはunsigned intですから、最大値は4294967295です。

4294967296を越えるとオーバーフローし、4294967296は0、4294967297は1と同じになります。

sizeof(double) * 307200 * 307200は754974720000ですから、オーバーフローしたビットは失われ、3355443200と評価されます。

つまり「メモリが確保出来るかどうか以前の問題。パラメータが正しく渡せませんよ」と言う事です。

＞そうだとしたら、やっぱり、こんな容量のメモリを確保するのは無謀ですよね。
無謀というよりは、不可能です。

malloc関数は、プログラムの起動時に、Ｃライブラリのスタートアップルーチンが確保した「ヒープ領域」と言う場所から「メモリを使わせてもらう」と言う方法でメモリを使用します。

この「ヒープ領域」は、初期状態のままでは、かなり狭い領域になっています。

＞でも、この計算はしたいのですが、何か方法はありますでしょうか？

画像の特定の位置にある１画素分を演算する場合、離れた位置にある画素の情報は必要ですか？

座標（0,0）の処理をしている時に、座標(639,479)の位置にある画素は必要ですか？

もしかしたら「周囲１０ピクセル以上離れた画素は不要」だったりしませんか？

もし「周囲１０ピクセル以内の画素があれば、中心点の演算は可能」なのであれば、必要なのは「縦21、横21」の「441画素分」です。

つまり「今の瞬間に必要な分だけのデータを、必要最小限のメモリにファイルから読み込んで、今の瞬間に必要なだけの計算をして、結果をファイルに書き出す」と言うのを繰り返せば良いのです。

「必要なメモリを全部一気に確保する必要はない」です。

お礼

とても丁寧な解説ありがとうございます！

エラーの意味が理解でき勉強になりました。

それと、やはりこの容量のメモリ確保は不可能ですね。
提言どおり、個々の計算に分けて行う方法を考えます。

どうもありがとうございました！

回答No.2

machongola

こんにちは。

　一応警告をけすのなら。

　ULONGLONG ull = ((ULONGLONG)307200 * 307200) * sizeof(double);

　うーむ。どういった割り当てかはちょっとわかりませんが、とても無理があるような・・・。
　割り当てルーチンの部分から設計した方が良さそうです。

お礼

回答ありがとうございます！！

警告の意味が解り１つ勉強になりました。
ありがとうございます。

やはりこのままの計算では無理なようなので、
個々に分けながら計算する方法を考えて見ます。
ありがとうございました！

回答No.1

Tacosan

まずその警告は「メモリが確保出来ないっていうエラー」ではなく, 純粋に「計算した結果が size_t の範囲を越えている」というだけです. 「メモリが確保できるかどうか」は実行時の話であり, 「計算した結果がオーバーフローしている」というコンパイル時の話とは別物です.
で, なんだけど.... これ, 本当に全部記憶しておかなきゃいけないの? 必要になった都度計算してちゃダメ?

お礼

回答ありがとうございます！！

なるほど、メモリ確保のエラーではないのですね。

このままの計算では、到底無理みたいです。

必要な部分だけ都度計算するようにしないといけませんね。
もうすこし考えてみます。
ありがとうございました！