一、简介（repeat or omit repeated lines）

检查及删除文本文件中重复出现的行（重复行的定义：完全匹配的连续行，即数据事先要经过sort处理）。

 

二、格式

uniq [OPTION]... [INPUT [OUTPUT]]

 

三、常用选项

-d               #把重复行写道 OUTPUT 中，不管连续出现多少次，仅写一次 -c               #每行前显示在输入文件中出现的次数 -u               #仅显示出现一次的行 -s2              #忽略比较前两个字符 -f2              #忽略第二个栏位 -w2              #至多比较2个字符

四、实例

测试文件：

cat filename

Vine street Vhin street China New York New York New York add York ass York China China ccina china

1.统计重复的行

uniq -d -c addresses

3 New York       2 China

2.忽略第一个栏位

uniq -f1 -c addresses

2 Vine street       1 China       5 New York       4 China

3.至多比较一个字符

uniq -w1 -c addresses

2 Vine street       1 China       3 New York       2 add York       2 China       2 ccina