招聘网站建设工作总结,深圳网站建设费用多少,工程网络图,备案网站转入阿里云前提#xff1a;
文档为格式化好的数据。比如一行是一个json。
判断总共有多少行数据#xff1a; grep No f.txt | wc -l 查询重复数据有多少行#xff1a; grep No f.txt | sort -u | wc -l 找到重复的那行数据#xff1a;(如果每行的json数据大#xff0c;可忽略此操…前提
文档为格式化好的数据。比如一行是一个json。
判断总共有多少行数据 grep No f.txt | wc -l 查询重复数据有多少行 grep No f.txt | sort -u | wc -l 找到重复的那行数据(如果每行的json数据大可忽略此操作) grep No f.txt |sort|uniq -d 去除重复数据 awk -v No2 !seen[$No] f.txt output.txt 去重命令的工作原理是 awk文本处理工具。 -v No2设置awk变量No为2这是我们要去重的列号。 !seen[$No]前缀运算符!用来判断数组seen中是否存在当前行的第No列的值。如果不存在则执行后面的操作即打印当前行。 input.txt输入文件名。 output.txt将结果输出到output.txt文件中。
请确保你的输入文件是以空格或者制表符分隔的并且列号是从1开始计数的。如果列与列之间的分隔符是其他字符可以通过-F选项来指定分隔符。
