删除文件中没有按顺序出现的重复行

uniq工具不是一个好的select,因为它只能在重复的行上出现,即在前面的行之后出现,即按顺序。

相反,我想要的东西,将文本文件dupl.txt 。 另外,我不需要保留sorting。

 aaa bbb aaa 

 aaa bbb 

要么

 bbb aaa 

如果您在使用uniq之前对输出进行sort ,它将按需要工作。

例如,我总是使用以下types的命令:

 cat access.log | grep "\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}" | sort | uniq -c | sort -n 

您只能使用sort

 sort -u dupl.txt > uniq.txt 

-u开关具有相同的效果,如:

 sort dupl.txt | uniq > uniq.txt