大量件数のCSVを読み込んで出力するには

質問

大量件数のCSVを読み込んで出力する時、処理が遅くならないようにするにはどうすればよいのでしょうか。

回答No.1

murasaki_rocks · ベストアンサー

どんな方法でCSVを管理しているかが良く解らないんですが、
１つのCSVファイルに大量のデータが入っていて、１度にそのデータを全て読み、全て表示させるという事でしょうか？

まず思ったのは遅くなるほどの大量データを一度に全て表示させる必要がありますか？
もしこれが必要なら諦めるべきでは？
速さにこだわるならPerlよりCに替えてはどうでしょうか？

回答No.2

atlaskun

大量件数のCSVとは、どんな規模で、種類は何かとか
（１）1つのCSVファイルに大量に行があるのか、
（２）大量のCSVファイルにデータが分散しているのか
　状況がわからないし、
（３）どのような演算をするのか、
（４）どんな形式で出力することを考えているのか
　で、全く違う部分に気を使う事になると思います。
　無駄なファイル操作を少なくするとか、
　逐次演算がいいのか、一括演算がいいのかとか
　表示部をスキンにするとか
　変数定義数を抑えるとか
　ソートの方式を工夫するとか
　データ分割を少なくするとか
　マッチ処理を控えるとか
　こんな感じでしょうか？