テキストの重複行を見つけるソフト

質問

よろしくお願いいたします。
テキストファイルで重複している文字列、または行を見つけ出してくれるソフトを探しています。ご存知のかたはお教えください。

回答No.4

noname#39234

UNIX系の基本的なツールはMS-DOSへの移植も盛んでしたから
1の方法は、Windowsでも使える可能性が高い。

というわけで"ruino uniq"で検索すると
MS-DOS用がVecterからダウンロードできるようです。

当時はUNIX使いじゃ無かった私だけど
パソコン通信仲間が移植していたような記憶があったので
そのハンドルで検索しました(笑)
もっと新しい移植例がある気もするので
追調査したほうがいいかもしれません。

古いものですから、たぶん7 + 3のファイル名しか使えません。
また、WindowsXP等では、別の問題が生じる可能性もあります。

回答No.3

noname#11914

同じ文字列というのは、例えば、

ままままままままままあいうままままままま
と、
ぱぱぱあいうぱぱぱぱぱぱぱぱぱぱぱぱぱぱ
で、「あいう」が一緒ですよ、と教えてくれるということですか？　だとすると、「てにをは」は、すごくヒットしちゃいますね。

お礼

＞、「あいう」が一緒ですよ、と教えてくれるということですか

その通りですが、基本的には、同じ行を探し出して、削除するかどうか聞いてくれるようなことができれば満足です。

一行のうちの90パーセントの文字とか50パーセントの文字が同じなら教えてくれる、なんていう機能があればいいのですが、これはかなり難しいような気がします。

探しているのは、同じ行を探してくれるということで。
ままままままままままあいうままままままま
ぱぱぱあいうぱぱぱぱぱぱぱぱぱぱぱぱぱぱ
ぱぱぱあいうぱぱぱぱぱぱぱぱぱぱぱ
ぱぱぱあいうぱぱぱぱぱぱぱぱぱぱぱぱぱぱ
ぱぱぱあいうぱぱぱぱぱぱぱぱぱぱぱぱ
ぱぱぱあいぱぱぱぱぱぱぱ
ままままままままままあいうままままままま
なら、７行目を探してくれるということです。

回答No.2

noname#22689

http://www.forest.impress.co.jp/lib/sys/file/filecompare/
Rekisa
複数ファイルのテキスト内容を比較

ご希望の物かどうかは分かりませんが。

お礼

回答、ありがとうございました。
しかし、残念ながらこれではありません。複数ファイルを比較したいのではなく、１つのファイル内で同じ行、または、同じ文字列をチェックしたいのです。

回答No.1

shinya_ohtani

OSは何でしょうか

UNIX系なら
sort | uniq -c | sort -nr
で一発、ちょー簡単なのですが...

補足

windows Me です。