メールアドレスの一覧などから重複したものを削除したくて、どうやるのが一番カンタンかいくつか考えてみたところ Linux コマンドでやるのがお手軽そうなので sort と uniq をパイプでつないで重複行を削除しました。

ソートして重複行を削除するコマンドの例

$ sort original.txt | uniq > sorted_unique.txt

凝ったことをしないなら Excel を使ったり、プログラム言語でちょろっとコード書くより Linux コマンドを使った方が楽ですね。

以上、重複行をサクッと削除したい、現場からお送りしました。