[Linux] sort と uniq をパイプでつないで重複行を削除する
メールアドレスの一覧などから重複したものを削除したくて、どうやるのが一番カンタンかいくつか考えてみたところ Linux コマンドでやるのがお手軽そうなので sort と uniq をパイプでつないで重複行を削除しました。
ソートして重複行を削除するコマンドの例
$ sort original.txt | uniq > sorted_unique.txt |
凝ったことをしないなら Excel を使ったり、プログラム言語でちょろっとコード書くより Linux コマンドを使った方が楽ですね。
以上、重複行をサクッと削除したい、現場からお送りしました。