运维利器探究：详解命令行工具grep awk sed

在Linux和Unix系统运维中，grep、awk和sed被誉为“文本处理三剑客”。它们是命令行环境下最强大、最常用的文本处理工具，能够高效地完成搜索、过滤、转换和编辑文本数据的任务。熟练掌握这三个工具，可以极大地提升运维工作效率。

• grep：专注于文本搜索和匹配。
• awk：一个强大的文本分析工具，甚至是一门编程语言。
• sed：一个流编辑器，用于对文本进行过滤和转换。

grep：文本搜索的利刃

grep (Global Regular Expression Print) 的核心功能是根据模式（通常是正则表达式）搜索文本，并打印匹配的行。它是日志分析、配置检查中最常用的工具之一。

其基本语法为：grep [选项] 模式 [文件...]。

常用选项包括：

• -i：忽略大小写。
• -v：反向选择，即打印不匹配的行。
• -n：显示匹配行的行号。
• -c：只打印匹配的行数。
• -r 或 -R：递归搜索目录。
• -E：使用扩展正则表达式（等同于egrep）。

例如，要在access.log中查找所有包含“404”状态码的行，并显示行号：

grep -n “404” access.log

要统计某个进程中非“grep”进程的数量：

ps aux | grep [s]sh

这里使用[s]sh是为了巧妙地排除grep ssh这个进程本身。

awk：文本分析与报告生成器

awk 不仅仅是一个命令，更是一门功能完整的编程语言。它特别擅长处理结构化文本（如日志、CSV文件），能够对每行文本进行切片、计算、格式化输出等操作。

awk的基本工作原理是：逐行扫描文件，按字段分隔符（默认是空格）将每行切片，然后对切开的各部分进行处理。

其基本语法为：awk '模式 { 动作 }' 文件。

awk内置了多个有用的变量：

• NR：当前记录数（行号）。
• NF：当前记录的字段数。
• $0：当前整行记录。
• $1, $2, ... $n：当前记录的第1、2…n个字段。

例如，打印/etc/passwd文件的第一列（用户名）和第三列（用户ID）：

awk -F: ‘{print $1, $3}’ /etc/passwd

计算一个文件中第一列数字的总和：

awk ‘{sum += $1} END {print sum}’ data.txt

awk还可以进行条件判断和循环，功能非常强大，足以编写复杂的文本处理脚本。

sed：流编辑器与批量文本处理

sed (Stream Editor) 是一个非交互式的流编辑器。它一次处理一行内容，执行预设的编辑指令，非常适合执行批量替换、删除、插入等操作，尤其在脚本中应用广泛。

其基本语法为：sed [选项] '命令' 文件。

sed的常用命令：

• s：替换。最常用的命令，格式为s/原字符串/新字符串/标志。
• d：删除。
• p：打印。
• a：在行后追加。
• i：在行前插入。

例如，将文件file.txt中所有的“apple”替换为“orange”：

sed ‘s/apple/orange/g’ file.txt

删除文件中的所有空行：

sed ‘/^$/d’ file.txt

显示文件的第10到20行：

sed -n ‘10,20p’ file.txt

需要注意的是，默认情况下sed的处理结果会输出到标准输出，而不会直接修改原文件。若要原地修改，需要加上-i选项（使用前请务必谨慎，建议先不加-i测试）。

组合使用：发挥三剑客的合力

grep、awk和sed的真正威力在于它们可以通过管道|组合使用，形成一个强大的文本处理流水线。

一个典型的场景是分析Nginx访问日志：

grep “POST /api/login” access.log | awk ‘{print $1}’ | sort | uniq -c | sort -nr

这个复杂命令的执行流程是：

1. grep：首先过滤出所有包含“POST /api/login”的日志行。
2. awk：然后从这些行中提取出第一个字段（通常是客户端IP地址）。
3. sort：接着对IP地址进行排序，为下一步去重做准备。
4. uniq -c：统计每个IP地址的出现次数。
5. sort -nr：最后按统计次数进行数字逆序排序，从而找出访问“/api/login”接口最频繁的IP地址。

这种组合方式能够解决运维中绝大多数复杂的文本分析和数据处理需求。

实战案例：日志分析与数据提取

假设我们有一个名为server.log的日志文件，格式如下：

2023-10-27 10:01:15 [INFO] User ‘alice’ logged in from 192.168.1.101
2023-10-27 10:02:30 [ERROR] Database connection failed for user ‘bob’
2023-10-27 10:03:45 [INFO] User ‘charlie’ performed action ‘update_profile’

任务1：提取所有错误日志

grep “\[ERROR\]” server.log

任务2：统计每个用户的登录次数

grep “logged in” server.log | awk -F”‘”{print $2}’ | sort | uniq -c

任务3：将日志中的时间格式从“2023-10-27”改为“27/10/2023”

sed -E ‘s|([0-9]{4})-([0-9]{2})-([0-9]{2})|\3/\2/\1|g’ server.log

高级技巧与性能优化

在处理大型文件时，效率至关重要。

• 使用更高效的正则表达式：避免过于复杂的正则，优先使用确定的字符串和简单通配符。
• awk的提前退出：如果只需要处理文件的前几行，可以在awk脚本中使用NR > 1000 {exit}来提前结束处理。
• sed的地址定位：可以指定行号或模式范围来执行命令，避免处理整个文件。例如sed '1,100s/foo/bar/g' file只在前100行进行替换。
• grep的-F选项：当搜索固定字符串而非正则表达式时，使用-F（fgrep）可以显著提升速度。

记住，在将包含文件修改的命令（如sed -i）投入生产环境前，务必先在测试环境或文件的备份副本上验证其正确性。

总结与学习资源

grep、awk和sed是Linux/Unix运维工程师必须掌握的核心工具。它们各自擅长不同的领域，但组合起来几乎可以解决所有的文本处理问题。

• grep：简单快速的搜索和过滤。
• awk：复杂的结构化文本分析和报告生成。
• sed：自动化的批量文本编辑和转换。

  要精通这些工具，最好的方法是：

  1. 理解其基本语法和常用选项。
  2. 在日常工作中刻意练习，从小任务开始。
  3. 阅读官方手册（man grep, man awk, man sed），里面包含了最权威和完整的说明。

  通过不断实践和探索，你将能游刃有余地应对各种文本处理挑战，真正成为命令行下的文本处理高手。

  内容均以整理官方公开资料，价格可能随活动调整，请以购买页面显示为准，如涉侵权，请联系客服处理。

  本文由星速云发布。发布者：星速云。禁止采集与转载行为，违者必究。出处：https://www.67wa.com/135177.html