CSVファイルに、連続した大量のデータがあり、そのうちの一部の連続した

質問

CSVファイルに、連続した大量のデータがあり、そのうちの一部の連続したデータをとりだして、新しいCSVファイルにしたいのですが、データが莫大で、目的のデータの不要部分である、そのデータをはさんだ上部と下部を削除しようとしたのですが、ものすごく時間がかかります。

短時間で目的のデータを抜き出すには、どうしたらよろしいでしょうか。

回答No.5

yama1718 · ベストアンサー

補足です。
そもそも２０万行というのが非常に大きすぎる行数なので、どんなソフトでも、まともに読み込みや検索すると非常に時間がかかります。
私ならもっと効率の良い方法を取ります。
まず、ms単位の１行当たりの長さが同じで揃っているなら

１行の文字数×ms単位の時間＝目的の時刻のデータの場所

これで、目的の時刻のデータの場所が計算できます。
１行当たりの長さが揃っていない場合は、平均的な文字数で計算すれば、少なくてもその近辺には移動できますね。
そういうプログラムは簡単に組めますが、プログラムができないなら
電卓でデータの場所を計算して、バイナリエディタでその場所に直接ジャンプすれば、一番速く処理できるんじゃないかなと思います。

お礼

ありがとうございます。なんとかできました。

補足

バイナリエディタって何ですか。

回答No.7

masandokun

方法はいろいろあると思います。

1.SED や　AWK　が使える人ならチョチョッとできそうな処理ですね。
Windows用のフリーソフトもたくさん出ていると思いますので、興味があればダウンロードしてみてください。

2.EXCELのフィルターを使う。
20万件では時間がかかるかも

3.データベース系のソフトを使う。
レコード数を考えると一番現実的な方法でしょう。
ACCESSやApproach、FileMaker,Paradox等のデータベースソフトが
ひとつくらいありませんか。
特にApproachはロータス１２３の付録？でついているバージョンがありますが、
非常に使いやすいソフトです。
なければシェアウェアですがTCARDといったソフトもあります。
http://www.dicre.com/soft/tcard.htm

4.テキストエディタ等
データがソートされているようですので、今まで書かれているような
エディタを使う方法もありかと。

お礼

ありがとうございます。なんとかできました。

回答No.6

layy

ＶＢＡについては
EXCELでお仕事
というサイトに基礎から説明があり、同時にファイルの読み書きの方法の説明もあります。

ほかにできそうな手段がなければ、この機能を学習してみて下さい。

お礼

ありがとうございます。なんとかできました。

回答No.4

yama1718

ＣＳＶというのはテキストデータだからテキストエディタなどで開けます。
そして、目的の時刻の文字列を検索してジャンプします。
先頭からその行までを範囲指定して削除します、末尾も同様に削除すればいいですね。
ただし、２０万行以上もの行数を扱えるテキストエディタというのは、結構高度なプログラムをしなくてはいけないので、使えるソフトは限られてきますね。
私の知っているソフトで使えそうなのは、この２つかな

http://hide.maruo.co.jp/software/hidemaru.html
「秀丸エディタ」 シェアウェア
・最大1000万行のファイルまで編集可能。
・ファイルサイズは制限なし(制限は行数のみ)。

http://www.vcraft.jp/soft/bz.html
「バイナリエディタ Bz」 フリーソフト
・4GBまでのサイズのファイルが扱える
・文字列での検索も可能なので、先の時刻の文字列で検索して範囲指定して削除する事もできます。

多分、テキストエディタよりもバイナリエディタの方が、大量データの編集の点ではは高速に処理できるのではと思います。

お礼

ありがとうございます。なんとかできました。

回答No.3

layy

エクセルのＶＢＡを使ってプロシージャつくります。

ＣＳＶファイル（入力用：Ａ）をＯＰＥＮする
ＣＳＶファイル（出力用：Ｂ）をＯＰＥＮする
ＣＳＶファイル（出力用：Ｃ）をＯＰＥＮする
Ａより１行読み込む
ＡがＥＯＦになるまで繰り返す
　Ａの内容をそのままＢに出力する
　Ａより１行読み込む
ＡがＥＯＦになったら
ＣＳＶファイル（Ａ）をＣＬＯＳＥする
ＣＳＶファイル（Ｂ）をＣＬＯＳＥする
ＣＳＶファイル（Ｃ）をＣＬＯＳＥする
終了

基本的にはこの形を作ってみます。
あとは
　「Ａの内容をそのままＢに出力する」
が
　条件満たすとき
　　　「Ａの内容をそのままＢに出力する」
　条件満たさないとき
　　　「Ａの内容をそのままＣに出力する」
になる感じです。
Ａ：元のファイル
Ｂ：条件あった部分だけのファイル
Ｃ：条件あった部分だけ抜いたファイル

セルを操作してやるよりはＣＳＶファイル上でやる方が速いと
思われます。

お礼

ありがとうございます。なんとかできました。

補足

「VBA」「プロシージャ」「ＥＯＦ」の意味がわからないのですが。

回答No.2

yama1718

CSVだったらOffice以外でも簡単に読み書きできる訳で、
Visual C++ などでコマンドラインの簡単なプログラムを組んだ方が速く処理できると思います。
そういうプログラムできる人がいるか、どこかに依頼できるかですけどね。

お礼

ありがとうございます。なんとかできました。

補足

そういうプログラムができる人や依頼できる人もいないので、自分でできる簡単なやり方があれば教えていただきたいのですが。

回答No.1

TARO_SEVEN

「目的のデータ」とは、どんな条件でくくれるのでしょうか？
莫大というのは、どれくらいの行数があるものなのでしょうか？

これがわかれば、ある程度なんとかなるかもしれません。
たとえば、CSVをAccessに取り込んで絞り込むなど…。

お礼

ありがとうございます。なんとかできました。

補足

時間がミリセカンドで並んでいて（A列）、それぞれに計測データ（B列）が入っています。
たとえば、9時～9時30分の計測データを切り出す場合、どうしたらよいかということなんです。
全部の行数は20万行以上あります。