大容量CSVの生成・ダウンロード

質問

いつもお世話になります。
　postgreSqlから5万行前後データを抜き取り、CSVファイル(10Ｍ余りになります)としてダウンロード　という操作をしています。

　タイムアウトの時間を長くしたりして、現状、何とか動いておりますが、動作が重いのもあり、自分の処理に不安があります。

現状、
１）Header("～　の送信
２）CSVのタイトルをecho
３）SQLの実行
４）pg_numrows　に対して、for文でループを回し、pg_resultで各行の値を取得。
　一行ずつechoで吐き出し

　という方法を取っております。
　入門書や、Webなどでも見る方法なので、間違いではないのでしょうが、ある程度の容量のデータを作成→ダウンロードの場合も、変わらずこのような方法を用いて良いのかで悩んでいます。
　サーバ上に一次ファイルとして作成してしまい、それをタウンロードする・・・など、別の手法を取った方が良いのでしょうか？

　どなたかご教示いただけると助かります。
　よろしくお願いいたします。

回答No.1

ape5 · ベストアンサー

お役に立てるかわかりませんが、そのデータの主キーが一列なら以下の方法がやりやすいかもです。
というのは、３番のSQLの実行でCSVに吐き出したいデータを取得しているのだと思うのですが、そこで、主キーに当たるもので範囲の条件を指定してあげて、CSVを小分けにしてはどうでしょうか？２回目は１回目の次のところから始めるって感じで。
ただ、最終的に一つのCSVにしたい場合は、テキストエディターなどでコピペでひとつにしてやらないといけないのですが・・・・。

お礼

ありがとうございます。
　その方法だと、一回あたりのダウンロードが小分けになり、良いですね。
　ただ、リアルタイムに更新されるデータなので、CSVを分割する方法でも分割された最初のパッケージと、最後のパッケージの時差があっては望ましくないですので、データの生成は一気にやってしまわなければならない・・・ですので(汗)新たなボトルネックが発生しそうな・・・
　なかなか難しいです・・・