有关状态码的 awk 命令
1. 查找并显示所有状态码为 404 的请求
awk '($9 ~ /404/)' access.log
2. 统计所有状态码为 404 的请求
awk '($9 ~ /404/)' access.log | awk '{print $9,$7}' | sort现在我们假设某个请求 ( 例如 : URI: /path/to/notfound ) 产生了大量的 404 错误，我们可以通过下面的命令找到这个请求是来自于哪一个引用页，和来自于什么浏览器。
awk -F\" '($2 ~ "^GET /path/to/notfound "){print $4,$6}' access.log追查谁在盗链网站图片
系统管理员有时候会发现其他网站出于某种原因，在他们的网站上使用保存在自己网站上的图片。如果您想知道究竟是谁未经授权使用自己网站上的图片，我们可以使用下面的命令：
awk -F\" '($2 ~ /\.(jpg|gif|png)/ && $4 !~ /^http:\/\/www\.example\.com/)\
{print $4}' access.log \ | sort | uniq -c | sort注意：使用前，将 www.example.com 修改为自己网站的域名。
使用 ” 分解每一行；
请求行中必须包括 “.jpg” 、”.gif” 或 ”.png”；
引用页不是以您的网站域名字符串开始（ 在此例中，即 www.example.com ）；
显示出所有引用页，并统计出现的次数。
访问 IP 地址相关
统计共有多少个不同的 IP 访问：
awk '{print $1}' access.log |sort|uniq|wc – l统计每一个 IP 访问了多少个页面：
awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file将每个 IP 访问的页面数进行从小到大排序：
awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n查看某一个 IP（例如 202.106.19.100 ）访问了哪些页面：
grep ^202.106.19.100 access.log | awk '{print $1,$7}'统计 2012 年 8 月 31 日 14 时内有多少 IP 访问 :
awk '{print $4,$1}' access.log | grep 31/Aug/2012:14 | awk '{print $2}'| sort | uniq | wc -l统计访问最多的前十个 IP 地址
awk '{print $1}' access.log |sort|uniq -c|sort -nr |head -10响应页面大小统计
列出传输大小最大的几个文件
cat access.log |awk '{print $10 " " $1 " " $4 " " $7}'|sort -nr|head -100列出输出大于 204800 byte ( 200kb) 的页面以及对应页面发生次数
cat access.log |awk '($10 > 200000){print $7}'|sort -n|uniq -c|sort -nr|head -100页面响应时间
如果日志最后一列记录的是页面文件传输时间 (%T)，例如我们可以自定义日志格式为：
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %T" combined可以使用下面的命令统计出所有响应时间超过 3 秒的日志记录。
awk '($NF > 3){print $0}' access.log注意：NF 是当前记录中域的个数。$NF 即最后一个域。
列出相应时间超过 5 秒的请求
awk '($NF > 5){print $0}' access.log | awk -F\" '{print $2}' |sort -n| uniq -c|sort -nr|head -20统计用户的浏览器(UA)排行
分析出到底是什么UA在拼命访问nginx
tail -n 10000 /usr/local/nginx/logs/access.log | awk -F\" '{A[$(NF-1)]++}END{for(k in A)print A[k],k}' | sort -n | tail
