1. linux文本处理

1.1 常用命令

cat

• 功能: 查看文件内容
• 用法: cat [选项] [文件]...
• 常用选项:
  • -n: 显示行号
  • -b: 显示非空行的行号
• 示例:
  bash

  copy

  cat file.txt
  cat -n file.txt

grep

• 功能: 搜索文本
• 用法: grep [选项] 模式 [文件]...
• 常用选项:
  • -i: 忽略大小写
  • -r: 递归搜索目录
  • -n: 显示行号
• 示例:
  bash

  copy

  grep "error" log.txt
  grep -i "warning" *.log

sed

• 功能: 流编辑器,用于文本替换、删除等
• 用法: sed [选项] '命令' [文件]...
• 常用命令:
  • s/旧/新/g: 替换
  • d: 删除
• 示例:
  bash

  copy

  sed 's/old/new/g' file.txt
  sed '1,5d' file.txt # 删除1-5行

awk

• 功能: 文本分析工具
• 用法: awk [选项] '程序' [文件]...
• 示例:
  bash

  copy

  awk '{print $1, $3}' file.txt # 打印第1和第3列
  awk -f: '{print $1}' /etc/passwd # 打印用户名

1.2 文件操作

head 和 tail

• 功能: 查看文件开头或结尾
• 用法:
  • head [-n 行数] [文件]...
  • tail [-n 行数] [文件]...
• 示例:
  bash

  copy

  head -n 10 file.txt
  tail -f log.txt # 实时查看日志

sort

• 功能: 排序
• 用法: sort [选项] [文件]...
• 常用选项:
  • -n: 按数字排序
  • -r: 逆序
• 示例:
  bash

  copy

  sort numbers.txt
  sort -nr numbers.txt

uniq

• 功能: 去重
• 用法: uniq [选项] [输入[输出]]
• 常用选项:
  • -c: 计数
• 示例:
  bash

  copy

  sort file.txt | uniq
  sort file.txt | uniq -c

1.3 文本流处理

cut

• 功能: 切割文本
• 用法: cut [选项] [文件]...
• 常用选项:
  • -d: 指定分隔符
  • -f: 指定字段
• 示例:
  bash

  copy

  cut -d: -f1 /etc/passwd
  cut -c1-5 file.txt # 提取前5个字符

paste

• 功能: 合并文件
• 用法: paste [选项] [文件]...
• 示例:
  bash

  copy

  paste file1.txt file2.txt
  paste -d: file1.txt file2.txt # 使用冒号作为分隔符

join

• 功能: 基于共同字段合并文件
• 用法: join [选项] 文件1 文件2
• 示例:
  bash

  copy

  join file1.txt file2.txt
  join -1 2 -2 1 file1.txt file2.txt # 指定连接字段

2. 正则表达式

2.1 基本语法

字符类

• .: 匹配任意单个字符
• [abc]: 匹配a、b或c
• [^abc]: 匹配除a、b、c以外的任意字符
• [a-z]: 匹配a到z的任意小写字母

量词

• *: 匹配前面的模式0次或多次
• +: 匹配前面的模式1次或多次
• ?: 匹配前面的模式0次或1次
• {n}: 精确匹配n次
• {n,}: 匹配至少n次
• {n,m}: 匹配n到m次

锚点

• ^: 匹配行首
• $: 匹配行尾
• : 匹配单词边界

2.2 高级特性

后向引用

• 1, 2, ...: 引用前面的捕获组

零宽断言

• (?=...): 正向肯定断言
• (?!...): 正向否定断言
• (?<=...): 反向肯定断言
• (?: 反向否定断言