sort / uniq / comm 文本处理速查表

基本排序 (Basic Sort)

sort 命令对文本行进行排序，默认按字典序。

### 基础操作

``yaml # 按字典序排序 sort file.txt

# 按数值排序 sort -n numbers.txt

# 逆序排序 sort -r file.txt

# 数值逆序排序 sort -rn numbers.txt

# 忽略大小写排序 sort -f file.txt

# 忽略前导空白 sort -b file.txt `

### 检查排序状态

`yaml # 检查是否已排序（无输出表示已排序） sort -c file.txt

# 静默检查（退出码指示状态，0=已排序） sort -C file.txt `

高级排序 (Advanced Sort)

### 按字段排序

`yaml # 按第2列排序（默认 tab/空格分隔） sort -k2 data.txt

# 按第3列数值排序 sort -k3n data.txt

# 按第2列排序，第3列数值排序 sort -k2,2 -k3n data.txt

# 指定列分隔符（冒号） sort -t: -k3n /etc/passwd

# 按数值字段排序并保持标题行 (head -1 data.txt && tail -n+2 data.txt | sort -k2n) > sorted.txt `

### 人类可读与版本号排序

`yaml # 人类可读数值排序（K/M/G 单位） sort -h sizes.txt

# 版本号排序 sort -V versions.txt

# 混合排序 sort -h -k2 size_report.txt `

### 合并与输出控制

`yaml # 合并已排序文件 sort -m sorted1.txt sorted2.txt

# 去重排序 sort -u file.txt

# 输出到文件而非 stdout sort file.txt -o sorted.txt

# 指定缓冲区大小 sort -S 1G large.txt

# 指定临时目录 sort -T /tmp large.txt

# 随机排序 sort --random-sort file.txt `

去重 (uniq)

uniq 命令去除/统计连续重复行（通常配合 sort 使用）。

### 基本去重

`yaml # 去除连续重复行（通常先排序） sort file.txt | uniq

# 去除重复（相当于 sort -u） sort -u file.txt

# 统计每行出现次数 sort file.txt | uniq -c

# 只显示重复行 sort file.txt | uniq -d

# 只显示唯一行（不重复的） sort file.txt | uniq -u `

### 高级去重

`yaml # 忽略大小写 sort file.txt | uniq -i

# 比较前 N 个字符 sort file.txt | uniq -w 5

# 跳过前 N 个字符 sort data.txt | uniq -s 3

# 组合：统计且忽略大小写 sort -f file.txt | uniq -ic

# 统计并按频次降序排列 sort file.txt | uniq -c | sort -rn `

集合运算 (Set Operations with comm)

comm 命令比较两个已排序文件的公共行。

### 交集与差集

`yaml # 显示所有三列（file1独有 | file2独有 | 共有） comm sorted1.txt sorted2.txt

# 交集：两文件都有的行 comm -12 file1.txt file2.txt

# file1 独有（差集） comm -23 file1.txt file2.txt

# file2 独有（差集） comm -13 file1.txt file2.txt `

### 集合运算组合

`yaml # 对称差集（A∪B - A∩B） comm -3 file1.txt file2.txt | tr -d '\t'

# 并集（所有行） cat file1.txt file2.txt | sort -u

# 检查 A 是否是 B 的子集 # 如果 A-B 为空则 A⊆B [ -z "$(comm -23 A.txt B.txt)" ] && echo "A是B的子集" `

管道组合 (Pipeline Patterns)

sort、uniq、comm 常与其他命令配合形成强大的文本处理管道。

### 日志分析

`yaml # 统计 Nginx 访问 IP 及次数（降序） awk '{print $1}' access.log | sort | uniq -c | sort -rn

# 统计 HTTP 状态码分布 awk '{print $9}' access.log | sort | uniq -c | sort -rn

# 找出最活跃的 TOP 10 IP awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -10 `

### 文件去重与排序

`yaml # 合并多个文件并去重 cat file1.txt file2.txt file3.txt | sort -u > combined.txt

# 找出两文件相同和不同的行 sort file1.txt > a.sorted sort file2.txt > b.sorted comm a.sorted b.sorted `

### 实用辅助命令

`yaml # 随机打乱行 shuf file.txt

# 拓扑排序（主要用于依赖关系） tsort depend.txt

# 统计单词频率 tr ' ' '\n' < file.txt | sort | uniq -c | sort -rn

# 按管道统计行数 cat file.txt | sort | uniq | wc -l ``