Amazon EC2/S3か、50万のデスクトップか？

質問

Linux初心者です。
研究目的で1-2 Tbの容量のデータ(文字列)の解析をすることになりました。(初心者なのに・・・)
解析自体はフリーソフトでかなりの部分をできるのですが、
"解析の前半のみ、短い期間"
メモリ(64Gくらい)とハードディスク(3Tb)が必要になりました。

De**で解析がスムーズにできる環境を整えたデスクトップを購入すると50万程度かかることが分かりました。
この出費が大きいなあと思っていたところ
「クラウドコンピューティング」なるものを知りました。

解説本を読み、Amazon EC2/S3は低コストで大容量のデータ解析ができるのではと思ったのですが、ここで質問です。
EC2/S3はプログラムを開発されている方向けで、
フリーウェアを利用して単純な解析を行うには不向きなのでしょうか・・？
こういった質問をすること自体的外れであれば申し訳ありません・・。

・50万くらいのデスクトップを一台購入する
・Amazon EC2/S3で済ます

どちらがよいでしょう？予算を組む都合上、悩んでおります。
ご意見を頂けると大変うれしいです。どうぞよろしくお願いいたします。

回答No.1

tommy1977 · ベストアンサー

クラウドコンピューティングは、特に開発者用といったものではありません。
極端な例を挙げれば、超特価web-shopバーゲンを２週間やりたい。
ただ、この２週間のためだけにホスト増強する予算はない。
いつもの10倍以上にアクセスが殺到するからもしかしたらホスト自体が落ちるかも。そうすると通常販売にも支障が出るかもしれない。
そうだ、クラウドを使えば、２週間間借りできるじゃないか。
ホスティングは初期費用云々でうるさいし・・・。

・・・と、こんなケースも考えられるわけです。（非常に極端ですが）

ただ、並列サーバ開発環境・評価が“手頃”に出来るので、開発者向けに”これはいい”ってことなんです。
OSをごそごそ変えることができるので、環境依存かどうかを調べるのにも使えますしね。

ちょっとだけ間借りしたいとのことなので、質問者さんの考えも理にかなっているわけです。
（ただ、フリーソフトに関しての責任はとれませんが）

さて、ご質問者さんの最大のネックは、
"容量"と"転送量"（と負荷・・・かな）です。
3TBのデータをそっくり送って、そっくり貰う形であれば
転送量はin/outで3TBずつですから、そう高くなりません。
ただ、3TBのデータを解析しつつ、結果として数百GBを何十回も受け取る、という転送量が過多な状態としたら、それはそれで高くつきます。

今、与えられている情報で（3TB in/outなど)で簡単に計算すると、
１ヵ月20万程度でしょうか。
これにインスタンス計算が入るので、もっと高くなるかと存じます。
それに、最大のネックは、導入・運用が非常に面倒（通常とはかなり違う：軌道にのれば慣れますが）ってことでしょうか。
単純に使うのなら安価ですが、転送量が多い場合は注意が必要です。（また、未だにちょっと遅い・・・）

※：大学に所属されている方なら、短期であるなら非常に良い環境を借りれるかもしれません。（間借りって形になるでしょうけど）

お急ぎであるなら、H/W購入もやむを得ないかと思いますが、
他の方法も模索してみることもお勧めします。
（そんなにメモリが必要な計算かどうか、その必要メモリはどこからはじき出されたものかとか）

お礼

非常に丁寧なご説明をありがとうございました。
大変参考になりました。

"転送量"に対する見積もりもしてみます。どうやら高くついてしまいそうです..。別の方法も検討します。
クラウドコンピューティングは開発者の方以外の人にも
旨みが大きい利用ができるということを教えていただけたことで
勇気がわいてきました。別の機会につかえるかもしれません。

不慣れでゆっくりとしか進みませんが「Right Scale」などを利用して
勉強していきたいと考えております。

OKwaveで質問をしたのは今回が初めてだったのですが、
素早くそして親切な回答をいただけたことを、
とてもうれしく思っています。
ありがとうございました。

※必要メモリについて：たとえて言えば、
繰り返しの多いとても長い楽譜(100Mb-1Gb)を
計1Tbくらいの短い断片(250b)から再構成する、
といった計算を予定しており、
必要なメモリと言われている32Gの倍として計算しました。

回答No.2

10451198

本来の回答でないことを先にお詫びしておきます。
メモリ６４Ｇを５０万のデスクトップで、という案はどう考えても無理です。

普通のデスクトップは、メモリスロットがあっても４つです。
最近のＸ５８のマザーなら６本でしょうか。
いずれにせよ、６４ＧＢのメモリ空間を実現するにはまったく不足です。現在ＭｅｔａＲＡＭを使えば８ＧＢのＤＩＭＭがあるようですが、これは入手がとても難しいでしょう。普通に買えるＤＩＭＭなら４ＧＢになるでしょうが、それでも１６本必要です。つまりメモリスロットが１６本必要なわけですが、そんなマザーボードはデスクトップでは存在しません。

結局、６４ＧＢのメモリ空間を実現するには、Ｎｅｈａｌｅｍ－ＥＰのＤＰサーバにＭｅｔａＲＡＭ８ＧＢのＤＩＭＭを８本差すか、またはＭＰサーバを用意することになります。どっちにせよ５０万はおろか、１００万でもまったくたりません。

このあたりの見直しをしないと、正しくない比較を検討することになると思います。

お礼

回答、ありがとうございました。
パソコン購入を検討しているので、
アドバイスを頂けたのは大きな収穫でした。

"デスクトップ"と"ワークステーション"をごっちゃにしていました。
http://oshiete1.goo.ne.jp/qa802325.htmlで議論されているように
別物なのですね・・。

私が参考にしたのはDe**のワークステーションT7400、というもので
Xelon E5405(メモリライザー付き)というCPUを選択すると、DDR2-SDRAMの4G×16クワッドチャンネル、というメモリが利用できました。
その他もろもろ合計53万でした。

いづれにせよ家庭用のデスクトップパソコンで自作、
という選択肢は厳しい、ということが分かり大変参考になりました。
ありがとうございました。