ダブっている単語を削除して１つにしたいです

質問

テキストファイルの中に大量の単語（１Gほど）が羅列しています。
この単語でいくつもダブっている単語がありまして、同じ単語が４つ５つある場合もあります。
ダブっている単語を発見して、ダブっている単語を削除して１つにしたいのですがLINUXでこの作業をする場合どのようにすればいいでしょうか？
恐れ入りますがお時間ある方で上記の処理方法のアドバイスを頂ける方がいらっしゃいましたら何卒よろしくお願いいたします。

回答No.2

notnot · ベストアンサー

単語は何で区切られていますか？改行区切り、つまり、1行1単語であれば、
sort -u
です。

そうでない場合、改行区切りに変更して良いのであれば、tr 等で区切り文字を変えてから sort -u 。

さらにそうでない場合はその場合に応じて。

お礼

ありがとうございます！
求めていたコマンドでした！！

回答No.1

mkt23456

uniq コマンドになると思います。
詳しくは調べてみてください。