内容简介：有时候删除文件里的第一种方案是用 sort 命令的 -u 参数：第二种方案是用 awk 命令，它的关键在于用一个字典来保存记录：
有时候删除文件里的 重复行 是一个很常见的需求，这个用 shell 命令有很多处理方法。
第一种方案是用 sort 命令的 -u 参数：
$ sort -u input.txt > output.txt
第二种方案是用 awk 命令，它的关键在于用一个字典来保存记录：
$ awk '!seen[$0]++' input.txt > output.txt
这和第一种方案的区别在于，即使文件中重复行不连续，依然可以删除。
第三种方案是用 sed 命令，但是其实不大推荐，它相比第一种方案复杂多，而且很容易写错：
$ sort -n input.txt | sed '$!N;/^\(.*\)\n\1$/!P;D' > output.txt
这种方案里面用到了 sed 的高级命令（N、P、D），相关介绍可以参考之前写的文章 Sed and awk 笔记之 sed 篇：高级命令（一） 。
这里有一个小技巧，如果遇到比较复杂的 sed 命令拿捏不准的化，可以用 sedsed 这个脚本来调试执行，看每一步执行的情况。
使用方法也很简单，比如调试上面这个 sed 命令，命令执行结果会展示每一步执行后模式空间和保持空间的内容，一目了然：
$ sort -n input.txt | python sedsed.py -d '$!N;/^\(.*\)\n\1$/!P;D'
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
- 如何使用Python删除一个文件或文件夹
- Qt ListView 配合Model 显示文件与删除文件
- Go语言的文件操作：文件的读写，文件的新建打开和删除
- 使用脚本批量删除docker镜像文件
- 从 git 的历史记录中彻底删除文件或文件夹
- golang 递归删除PaxHeader文件夹
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
人人都在晒，凭什么你出彩
【美】奥斯丁•克莱恩 / 张舜芬、徐立妍 / 北京联合出版公司 / 2015-4 / 38.00
1. 《纽约时报》、亚马逊畅销书排名第1位、好评如潮的创意营销书。《出版人周刊》称其在社交网络时代“在安全范围内提供了实用的自我营销策略”。 2. TED演讲者创意分享：晒对了，全世界都为你点赞：别人在朋友圈、微博晒自拍、晒孩子、晒吃喝，你来晒创意、晒灵感、晒工作、晒收获，发出自己的声音，找到伙伴，机会也会主动找上门！ 3. 10堂创意课+手绘涂鸦，所有人都能轻松读完、迅速学会的创意小......一起来看看 《人人都在晒，凭什么你出彩》 这本书的介绍吧!
