用sort即可对大文件进行排序去重了。
命令行如下:
sort -o ok.txt -T /disk/temp -u -m a.txt b.txt c.txt
对文件a.txt,b.txt,c.txt进行排序去重，然后输出到ok.txt。
参数说明:
-m参数必须是所有txt文件都排序好的，不然的话不要加这个参数
-o是排序完输出到哪个文件
-T是设置要用哪个目录做临时目录来放临时排序文件，默认是/temp目录，如果目录空间不够大就得用该参数指定一个够大的目录。