perlによるデータのくっつけ方法の効率化

質問

2種類のファイルがあり、これを下記のルールによりくっつけたいと考えています。
データ数の多さから　ファイル１のデータを1行ずつみていき、ファイル２に条件に等しいものがないか確認して書き出しをするというやり方では、
時間がかかってしまい、効率よい書き方を教えていただきたいのです。
ファイル１：100万行
カラム１<タブ>カラム2<タブ>カラム3<タブ>カラム4　　各カラムは可変長の値（各カラム、行重複値あり）
例　AAA<タブ>BB<タブ>CC<タブ>DDDD
　　AAA<タブ>BBB<タブ>CC<タブ>DD
　　XX<タブ>BB<タブ>YYY<タブ>Z
　　・・・
ファイル2：10万行
カラム5<タブ>カラム6<タブ>カラム7　各カラムは可変長の値（各カラム重複値あり、カラム5とカラム7のセットで一意データ）
例　BB<タブ>EEE<タブ>RRR
　　BB<タブ>EEE<タブ>SS
　　BB<タブ>FF<タブ>TTTT
　　W<タブ>EEE<タブ>TTTT
　　・・・
条件：
カラム2=カラム5のとき、
結果：
カラム１<タブ>カラム2<タブ>カラム3<タブ>カラム4<タブ>カラム6<タブ>カラム7　というものを出力させる
例　カラム2（BB）=カラム5（BB)
AAA<タブ>BB<タブ>CC<タブ>DDDD<タブ>EEE<タブ>RRR
AAA<タブ>BB<タブ>CC<タブ>DDDD<タブ>EEE<タブ>SS
AAA<タブ>BB<タブ>CC<タブ>DDDD<タブ>FF<タブ>TTTT
・・・
※カラム2（BB）=カラム5（BB）のとき、ファイル2のカラム5にBB存在する行分　ファイル1の内容がカラム6、7を追加し増えていくようにしたいのです。
よいプログラムを教えてください。

回答No.2

kumoz · ベストアンサー

次のプログラムは、ファイルからの読み込みに変更する必要があります。

use strict;
my %file2 = (BB => [['EEE', 'RRR'], ['EEE', 'SS'], ['FF', 'TTTT']],
W => [['EEE', 'TTTT']]);

while (<DATA>) {
my @line = split /\s+/;
if (exists $file2{$line[1]}) {
print join("\t", @line, @$_), "\n" foreach @{$file2{$line[1]}};
}
}

__DATA__
AAA BB CC DDDD
AAA BBB CC DD
XX BB YYY Z

ちなみに、ファイルからの読み込みで %file2 を構築するには次のようにします。

while (<FILE2>) {
my ($c1, $c2, $c3) = split /\s+/;
push @{$file2{$c1}}, [$c2, $c3];
}

お礼

ハッシュの作り方　このようにすればよいのですか。。。
思いつきませんでした。
試してみます！

回答No.1

Tacosan

方向性としては「データベースを使う」のが最善な気もするけど....

ファイル2 の大きさ (総バイト数) にもよるんだけど, それがメモリに載るくらいなら
ファイル2 を読み込んでハッシュに入れ, ファイル1 の行ごとに調べる
という方針でいくかなぁ.

お礼

さっそくの助言ありがとうございます。
DB利用せずに処理を考えております。
ハッシュにすることで速くなるのではないかと思っているのですが、ファイル2をどのようにハッシュ化すべきか　わからずにおります。やり方がわかりましたら、教えてください。、