如何快速删除Linux文件中的重复数据行

Question

如题所述

Answer 1

用uniq，如下，将 1.txt 中 所有 "相邻" 重复行合并成一行，结果存入 2.txt

uniq 1.txt > 2.txt

如果是想将相邻重复行彻底删掉（而不是合并成一行），可以用

uniq -u 1.txt > 2.txt

Answer 2

uniq 文件名

这样就可以了

Answer 3

哪个逗逼写的答案，不相邻的行就不用去了吗？
可以用sort Filename|uniq -u >OutputFilename
但是这也不快速，因为sort的排序过程其实是没有必要的，浪费了大量时间，最快的方法还是写c。