大量データの分割

質問

仕事で100万件、200万件という大量データを扱う仕事をしております。

大量データを受領するも、エディタで開こうとするとさすがに100万件を超えるくらいになってくると非常に時間がかかる、もしくは、固まってしまうという事態が頻発しています。

ファイルを開かずに、プログラムに食わせて、20万件ずつくらいに分割したいのですが、バッチファイル、もしくはvbスクリプトなどで作ったスクリプトに食わせて、20万件なりの一定件数ごとに分割するにはどうすればよいでしょうか?

バッチファイルでもvbスクリプトでもperlでも言語は問わないので、いい方法をご教授いただきたく存じます。

よろしくお願い致します。

回答No.4

SherlockHolmes2

こんなスクリプトがありましたが、如何でしょうか。

参考URL : http://oad.seesaa.net/article/235928222.html

回答No.3

n2pv

ググって見つけただけなんですがこれとかどうでしょう？　
XPまでしか使えないっぽいですが（PCは少なくともWinですよね）。
http://w-x-w.com/2010/12/08/36
　↑100万行だとこれでは頼りないかも。やってみてダメそうだったら、
　　「テキストファイル」「分割」「大容量」あたりでググってみてください。

扱ってるデータは売り上げとかでしょうか？余談ですが…もしログ等であれば、
splunkってツールが解析に使えます。大きいデータ扱えるし、複雑なこともできますし、
グラフとかの表現も綺麗。使い方はちょっと(使い倒そうと思ったらたくさん)勉強が必要。
http://ja.splunk.com/

回答No.2

wpwpwpw

ご質問に対する完璧な解答ではありませんが
EmEditorはいかがでしょうか。
http://jp.emeditor.com/

データの中身にもよりますが、試験した際には3GB、200万行のファイルを
10秒程で読み込みました。

お使いのPCのスペックにも左右されますので、全てがこの結果になるとは思っておりません。

回答No.1

TooManyBugs

データ形式次第ですから漠然と言われてもダメですね。
ＣＶＳであるとか固定長であるとかそのくらいの情報は開示していただかないと。