GMO VPSで大きなファイルの作成が遅い

質問

こんにちは
ＧＭＯのＶＰＳを利用しています。
大きなファイル（１００ＭＢ以上）の作成が非常に遅くて困っています。
ＶＰＳのディスク領域は２００ＧＢ割り当てられているのですが、ファイル作成の都度、領域を拡張するらしく、非常に時間がかかります。
また、ファイルを削除すると、領域を縮小するようで、再度作成する際にもやはり時間がかかります。
一度作ったファイルのアクセスには問題はない模様です。
少し時間を置くと（数分～数十分程度？）1回は大きなファイルが作成できるので、ある程度のマージンはあるようなのですが、間に合っていない状況です。

そこで考えたのですが、大きなファイル（数十ＧＢ）を作成し、その中を仮想的なドライブとして使用することはできないものでしょうか？
これなら、ＶＰＳとしてはファイルの容量は増減しないので、前述の問題は発生しないものと考えています。

プログラムの設計を大幅に変更することでも、問題は解決できると思いますが、現在の環境は実験用サーバーとなっておりまして、本番の環境では今回の問題はないものと思われますので、
プログラム自体に変更は加えたくないのです。

どなたか、よさそうな方法をご存知ないでしょうか。よろしくお願いいたします。

回答No.2

anmochi · ベストアンサー

> で、その速度なのですが、
> dd if=/dev/zero of=temp.tmp bs=1M count=50 oflag=direct
> で、結果が
> 50+0 records in
> 50+0 records out
> 52428800 bytes (52 MB) copied, 103.715 s, 506 kB/s
うーん確かに遅いですね。
現在の環境は「GMOのVPS」という事ですが、GMOクラウドVPSとお名前.com VPS（KVM）のどちらでしょうか。

今まで色々なとこのVPSを借りてきましたが、お名前.com VPS（KVM）は（ライバルであろうさくらのVPSと比べても）ディスクIOが弱いという感想ではあります。
個人的な感想でありベンチマークをとったわけではないのですが。
GMOクラウドVPSの方は特にそう感じた事はないのですが、同じインフラを使っているとしたら似たような結果になるかも知れませんね。

ddをしている最中に別のコンソールでpsコマンドを実行し、ddのプロセスステータスがR+やS+ではなくD+になっていたらディスクIO待ちという事になります。例えば1秒ごとにpsコマンドの結果を確認して頻繁にD+になっているようならもう諦めた方がいいかも。

# watch --interval 1 "ps ax | grep dd"

ちなみに今個人的に借りているお名前.com VPS（KVM）の1Gプランで
# dd if=/dev/zero of=temp.tmp bs=1M count=50 oflag=direct
をやってみたところ平均で300MB毎秒（最遅99MB毎秒～最速500MB毎秒）が出ました。

お礼

ありがとうございます。
試してみましたが、見事にＤ+のままでした・・・・。
いくらなんでも１００倍から１０００倍遅いというのはなにかおかしいと思いますので、サポートからの返事を待ちたいと思います。

契約しているのはＧＭＯクラウドＶＰＳの４Ｇです。
tmpfsもありますが、やはり容量が足りません。
デフォルトでは１．９Ｇで、３Ｇくらいまでは増やせますが、とても足りません。
あまり増やして、スワップに影響がでると、多分スワップも遅いと思うので、難しいところです。

回答No.1

anmochi

Linuxにはループバックデバイスという仕組みがあります。これを用いて大きなファイルの中に小さなファイルを埋め込むというのはどうでしょう。
# dd if=/dev/zero of=/tmp/bigfile bs=1G count=50
# mkfs.ext4 /tmp/bigfile
（ブロックデバイスじゃないよ。いいかい？） y
# mkdir /mnt/bigfile
# mount -t ext4 -o loop /tmp/bigfile /mnt/bigfile
以上の操作で50GBのファイルの中でファイルを読み書きするという事が可能となります。
ただ、これで今回の狙いである100MB前後のファイル作成でパフォーマンス上のメリットを得られるかどうかは試してみないと分からないですね。

ディスク領域が1GB程度でも良いのであればtmpfsを使うという手もあります。
CentOS6や7であれば最初から/dev/shmという場所がtmpfsでマウントされているかと思います。ここに置いたファイルはメモリ上に保存され、OSをシャットダウンしない限り失われる事はありません。
HDDが200GBという事は恐らくメモリは2GBのプランだと思いますので、/dev/shmが1GB弱のRAMディスクになっている事でしょう。

お礼

回答ありがとうございます。
早速試してみましたが、特に効果はないようでした。
どうも根本的に書き込み速度が遅いようです。
書き込み速度に問題がないように見えたのはキャッシュに騙されていたようです。

で、その速度なのですが、
dd if=/dev/zero of=temp.tmp bs=1M count=50 oflag=direct
で、結果が
50+0 records in
50+0 records out
52428800 bytes (52 MB) copied, 103.715 s, 506 kB/s

いくらＶＰＳといえどもひどすぎる値が出ています。
こんなことありえるのでしょうか？
１年ほど前まで借りていたときには、こんな問題はなかったのですが。
なにか確認すべき項目などありますでしょうか。

ＧＭＯのサポートには連絡してあります。

よろしくお願いします。