重複行があるファイル一覧を取得したい

質問

とあるディレクトリ以下（サブディレクトリも含め）に重複行があるファイル一覧を抽出したいです。
Linuxでして、コマンドベースで処理したいです。

お力添えいただけますと幸いです。
宜しくお願いいたします。

回答No.4

muuming2001 · ベストアンサー

間違いが有りました。すいません

find ./hoge -type f|while read line
do
echo -n $line " "
echo -n `cat $line | sort | uniq -c|sort -k1nr |head -n 1|awk '{print $1}'`
echo ""
done

お礼

ありがとうございます。
助かりました。
最初にいただいた方も、uniq -dcでそれらしいものはとれましたので
早速活用させていただきました。

ありがとうございます。

回答No.3

muuming2001

てきとーにつくってます・・・
hogeディレクトリ以下を調べると仮定してとりあえず調査できそうなレベルで作ってます。
-------------------------------
find ./hoge -type f|while read line
do
echo -n $line " "
echo -n `cat $line | sort | uniq -c|head -n 1|awk '{print $1}'`
echo ""
done
--------------------------------------

これでファイル名と重複行の最大値が表示されると思います。

あとは工夫しておくんなまし

回答No.2

t_hirai

ファイル名の重複ってことですかね？

補足

ありがとうございます。
わかりにくくてすみません。
ファイル名の重複ではなく、ファイルの中身に重複行があるものの一覧を得たいです。

回答No.1

muuming2001

重複行があるとはどういう事でしょう？

例１）

AAAAAXXX

とある決まった文字列一行が存在するファイルがあるファイル一覧がほしい

例２）

AAAAAXXXE
CDEFFGFAS
AAAAAXXXE

とファイル内に同じ行が２つ以上あるファイルの一覧が欲しい

どっちでしょ？

補足

ありがとうございます。
例２のパターンです。