行単位で並び替えて、重複行を削除したい

質問

WindowsＸＰです。
テキストファイル、A.TXTがあり、１００００行くらいなのですが、
行単位で並べ替えて、重複している同じものがあれば、これを１行にまとめたいのです。
並べ替えだけならば、ＭＳＤＯＳで、

sort A.TXT > outfile.TXT

でいけそうですが、重複行をまとめることは出来そうにありません。

バッチファイルで処理をしたいのでＭＳＤＯＳで捜しているのですが方法はないのでしょうか。
ＭＳＤＯＳに限らないとすれば、何か簡単にできる方法はありますか。
何かスクリプトみたいな感じで出来るといろいろと応用が出来ていいのですが。

関連して、WindowsＸＰでも、ＰＥＲＬが使えると聞きました。
ＷＥＢで捜しましたが、どうもどれがいいのか、また、インストール方法もよくわかりません。
フリーで使える、Windows上のＰＥＲＬ、あるいは、ＭＳＤＯＳ以上に使い勝手のよいスクリプトがあれば、教えてください。

回答No.1

若林 泰志（@wakan3） · ベストアンサー

UNIX 系のコマンドとして、そのものズバリ、uniq というのがあります。
使い方はこうです。

sort A.txt | uniq > outfile.txt

フリーウェアとしていろいろなのが出ていますが、とりあえず Vector のを。
http://www.vector.co.jp/soft/dos/util/se044213.html

UNIX 系のさまざまなコマンドを MS-DOS 上でも使えるようにする GNU utilities for Win32 もあります。

お礼

お返事ありがとうございました。
早速uniqをＤＬしました。
ＧＮＵもあるのですね。
これは面白そうです。

補足

ご紹介いただいたサイトからＤＬした UNIQ ですが、残念ながら、

sort A.txt | uniq > outfile.txt

では、機能しません。
パイプを使えないようです。説明を見ると、
sort a.txt
とすると、a.txt自身が書き換えられ、別の出力ファイルを指定したいときは、
sort a.txt/outfile.txt
とするようです。

わたしの方でも、パイプが使えるものを捜してみますが、
もし、おわかりでしたら、教えていただけませんでしょうか。

回答No.5

kmee

GNU の sort 互換のなら -u オプションがあります
sort -u A.TXT > outfile.TXT
でいいはず。

お礼

MSDOSについているsortには、このようなオプションはありません。

回答No.4

bin-chan

＃２です。
> ＵＮＩＱ以外にも有用なものっていろいろとあるのでしょうか。
どこかのディレクトリに埋もれてるファイルを探し出す[WhereIs]などがありましたが、
なんせMS-DOSVer6.2の頃ですから、エクスプローラやDIRコマンドに実装されてますね。

＃１さんのパイプ処理がうまく行かないのは、SORTにA.txtを放り込む指定が抜けてるからだと思います。
sort < A.txt | uniq > outfile.txt
じゃなかったですかね？

お礼

お返事ありがとうございます。
sort < A.txt | uniq > outfile.txt
でも、やはりだめですね。
このuniqは、パイプには対応していないようです。

それで、わたしの方で調べたところ、
yu
というソフトがありました。
http://www.vector.co.jp/soft/dos/util/se006090.html

これであれば、普通にパイプが使えて、
sort A.txt | yu > outfile.txt
でＯＫでした。

それにしてもパイプが使えないなんて、ちょっとびっくりでしたよ。
そんなむずかしいソフトでもないのにね。
ありがとうございました。
ほかによさそうなソフトがありましたら、また、教えてください。

回答No.3

kmetu

Windows Script Host(WSH)が使えますので
wsh 入門で検索してみてください。

お礼

ＷＳＨというのがあるのですね。
わたしはＶＢScriptは使えるので、これは知っていると便利かもしれませんね。
ありがとうございました。

回答No.2

bin-chan

MS-DOSで動作する[UNIQ]をダウンロードして使うのは？

昔、ASCIIさんのコマンドがあったなと思ってたら
VectorさんにWin98対応が出てました。

お礼

お返事ありがとうございました。
早速ＵＮＩＱをＤＬしました。
ＵＮＩＱ以外にも有用なものっていろいろとあるのでしょうか。