テキストから重複行と取り除きたい行を簡単に削除する方法

2019年10月26日2019年12月13日

テキストのリストから重複している行を見つけて削除したい場合がよくあると思います。

リストの行数が少ない場合は手動でもなんとかなりますが多くなってくると大変です。

また、そのリストから特定の行を取り除きたいこともあると思います。

そんな時はLinuxのコマンドラインで以下のように簡単にワンライナーで行う事ができます。

$ (sort -u list.txt ; cat remove.txt) |sort |uniq -u

list.txtは重複行を取り除きたい元のテキストファイル

remove.txtは取り除きたい行をリストにした除外用テキストファイル

例えばlist.txtとremove.txtが以下のような内容だったとします。

list.extの内容

foo
junk2
hoge
bar
junk1
junk2
hoge
bar
bar
fuga
junk1

remove.txtの内容

junk1
junk2

この場合コマンドの実行結果は以下のようになります。

$ (sort -u list.txt ; cat remove.txt) | sort |uniq -u
bar
foo
fuga
hoge

具体的な便利な使い方としては、WordPressの更新情報サービスに設定するping先リストを作る時とかに役立ちます。

ネットから最新のping先サイトを集めて重複を気にせずにリスト化します。

さらに既にpingサービスを停止しているサイトリストもログの結果やネットから集めてリスト化しておきます。

後はコマンドを叩けばワンライナーで一発で目的のping先リストを作ることができます。

※リスト化する時に行末の空白や/（スラッシュ）の有無は気を付けて下さい。