データ容量が重いファイルについて

質問

３５万行、３１列のデータがあります。

このレベルのデータを調査する際ですが、

xlsでは動作が止まる、Accessも動きが遅い・・という状況。
（容量１５０MB）

この場合最適なアプリケーションはBIツール等になりますでしょうか。

このレベルのデータでも快適に動く環境で、集計、調査等をしたいのですが。
（質問が抽象的であれば申し訳ないです）

※xlsは現実的ではないと理解しています

回答No.2

ki073 · ベストアンサー

データの集計であればRはどうですか？
CSVかTSVあるいは空白区切りだとそのまま読み込めます。

200MB程度の数値データなら1分くらいで読み込めます。単純な集計なら1秒以下です。

http://www.r-project.org

日本語の情報は検索すればたくさん出てきます。
特に集計とグラフ化に向いています。

回答No.3

MackyNo1

35万行のデータを処理するには、どのようなソフトを使用してもある程度時間がかかるのはやむを得まえん。

関数などが入っていて、入力時にシートの動きが重くなるということであれば、数式タブの「計算方法の設定」で「手動」にしてみてはいかがでしょうか(自動対応するならマクロでファイルを開くときに手動にして、閉じるときに自動に戻す）。

数式の結果を表示したいときはF9キーで再計算してください。

回答No.1

usami33

大元のデータのフォーマットはなんですか？
集計、調査とはどのような事をしますか？

上記が判らないのでとりあえず
調査が単なる同一固有名詞の個数算出等ならば、テキストエディッタのGrep機能で出来ます
ちょっと複雑な計算なら、エクセルのマクロ有効ブック(xlsm)にすれば確か３５万行でも行けたはず
元データのフォーマットによっては、分割読込や元データそのものを分割も可能だと思いますが

お礼

大元はxls.が5万件ずつ分割されています。

それを統合。

やりたいことは複雑な計算にはなります（累計金額、頻度、グルーピングetc）

xlsxで統合しましたが動きが遅く早くできないかと。。

補足

マクロ有効ブックにしても容量変わらず。