プログラムの高速化

質問

いつもお世話になっております．以下のプログラムをできるだけ高速化したいと思います．

use warnings;
use strict;

my $dirname = '.';

opendir(DIR, $dirname) or die "$dirname: $!";

while (my $dir = readdir(DIR)) {

next unless (-f $dir);

next unless ($dir =~ /\.txt$/);

open(FILE, $dir) or die "$dir: $!";

while (my $line = <FILE>) {

my ($a,$b,$c,$d,$e,$f) = split( /,/ , $line );
my $name = $a.",".$b;

open(NEWFILE, ">> ./out/$name.txt") or die "$dir: $!";
print NEWFILE $line;
close(NEWFILE);
}
}
close(FILE);
closedir(DIR);

やっていることは，ディレクトリ内のテキストファイルを読み込んでいって，splitでカンマ区切りにした，$a，$bをファイル名として下のディレクトリのoutに保存していくというものです．

ファイル数が数千あり，各ファイルも数千行となるため，このソースを高速化する方法はありますでしょうか．ご回答よろしくお願いします．

回答No.4

Tacosan · ベストアンサー

どこが律速かわからないので効率的な高速化手法はちょっとわからないのですが, とりあえず「ファイル操作はなるべく減らす」という方針はどうでしょうか.
現状だと各ファイルの 1行ごとに「出力ファイルのオープン→1行出力→クローズ」を繰り返していますが, ハッシュを使えば無駄なオープン/クローズを減らすことができるはずです. 例えば
open(FILE, $dir) or die "$dir: $!";
my %contents;
while (my $line = <FILE>) {
my ($a, $b) = split(/,/, $line);
push @{$contents{"$a,$b"}}, $line;
}
close(FILE);
while (my ($filename, $contents) = each %contents) {
open(NEWFILE, ">>./out/$filename.txt") or die "$dir: $!";
print NEWFILE @$contents;
close(NEWFILE);
}
のような感じにすればちょっとは速くなるんじゃないかな.

お礼

Tacosan様

ご回答ありがとうございます．ハッシュをつかったところ速度はすこし上がっていました．参考になります．ここまで来ると律速はハードの方になりますね．ramdiskでやったら速度は3倍くらいでました．

回答No.3

sakusaker7

そもそも、現状でその数千個のファイルを処理するのにどのくらい時間を要していて、
どのくらいにまで短縮しなければならないんですか?

補足

現状では，2時間で400個だったので，概算ですが，44時間ほどかかりそうです．今思いついたのが，入力するファイルを半分に分けて最後に結合するという方法です．C2Dなのでひとつ処理する時間も二つ処理する時間も同じなので，こうすれば半分になることに気づきました．
時間ははやければ早いほど良いです．

回答No.2

nda23

Perlは詳しくないのですが、マルチプロセスにしたらどうでしょう。
つまり、ファイルを処理するPerlプログラムは別に作っておき、
コマンドラインからファイル名を与えるようにします。
ファイル名を取得する方はファイル名を取得しては別シェルで
ファイルを処理するPerlプログラムを起動します。
あまり沢山プロセスを稼動させてしまうと、かえって遅くなるかも
知れないので、10ファイルくらいずつ増減させて、最適値を見つけ
ます。最適値はマシンスペックやメモリ搭載量に依存します。

お礼

nda23様

ご回答ありがとうござます．なるほどマルチプロセスですか．
確かにいちいちsplitしてファイル名を作っているので，今回の場合，ファイル名の一覧を簡単にできそうなので良さそうですね．

回答No.1

DIooggooID

perl は、インタプリタ型言語なので、本格的に高速化を望むようでしたら、c などのコンパイラ言語にする方が早道です。

お礼

DIooggooID様

ご回答ありがとうございます．なるほどＣですか．Ｃはファイル操作の閾が私にはちょっと高いのでPerlでやっています．