通過訪問日志，你可以得到用戶地域來源、跳轉(zhuǎn)來源、使用終端、某個URL訪問量等相關(guān)信息；通過錯誤日志，你可以得到系統(tǒng)某個服務(wù)或server的性能瓶頸等。因此，將日志好好利用，你可以得到很多有價值的信息。

創(chuàng)新互聯(lián)長期為上1000家客戶提供的網(wǎng)站建設(shè)服務(wù)，團隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為荊州企業(yè)提供專業(yè)的成都網(wǎng)站設(shè)計、成都網(wǎng)站建設(shè)，荊州網(wǎng)站改版等技術(shù)服務(wù)。擁有10余年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。

Nginx 日志相關(guān)配置有 2 個地方：access_log 和 log_format 。

默認的格式：

access_log /data/logs/nginx-access.log;

log_format old '$remote_addr [$time_local] $status $request_time $body_bytes_sent '
   '"$request" "$http_referer" "$http_user_agent"';

相信大部分用過 Nginx 的人對默認 Nginx 日志格式配置都很熟悉，對日志的內(nèi)容也很熟悉。但是默認配置和格式雖然可讀，但是難以計算。

Nginx 日志刷盤相關(guān)策略可配置：

比如，設(shè)置 buffer，buffer 滿 32k 才刷盤；假如 buffer 不滿 5s 鐘強制刷盤的配置如下：

access_log /data/logs/nginx-access.log buffer=32k flush=5s;

這決定了是否實時看到日志以及日志對磁盤 IO 的影響。

Nginx 日志能夠記錄的變量還有很多沒出現(xiàn)在默認配置中：

比如：

• 請求數(shù)據(jù)大?。?request_length
  
• 返回數(shù)據(jù)大小：$bytes_sent
  
• 請求耗時：$request_time
  
• 所用連接序號：$connection
  
• 當(dāng)前連接發(fā)生請求數(shù)：$connection_requests
  

Nginx 的默認格式不可計算，需要想辦法轉(zhuǎn)換成可計算格式，比如用控制字符 ^A (Mac 下 ctrl+v ctrl+a 打出)分割每個字段。

log_format 的格式可以變成這樣：

log_format new '$remote_addr^A$http_x_forwarded_for^A$host^A$time_local^A$status^A'
   '$request_time^A$request_length^A$bytes_sent^A$http_referer^A$request^A$http_user_agent';

這樣之后就通過常見的 Linux 命令行工具進行分析了：

查找訪問頻率最高的 URL 和次數(shù)：

cat access.log | awk -F ‘^A’ ‘{print $10}’ | sort | uniq -c

查找當(dāng)前日志文件 500 錯誤的訪問：

cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’

查找當(dāng)前日志文件 500 錯誤的數(shù)量：

cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’ | wc -l

查找某一分鐘內(nèi) 500 錯誤訪問的數(shù)量:

cat access.log | awk -F ‘^A’ ‘{if($5 == 500) print $0}’ | grep ’09:00’ | wc-l

查找耗時超過 1s 的慢請求：

tail -f access.log | awk -F ‘^A’ ‘{if($6>1) print $0}’

假如只想查看某些位：

tail -f access.log | awk -F ‘^A’ ‘{if($6>1) print $3″|”$4}’

查找 502 錯誤最多的 URL：

cat access.log | awk -F ‘^A’ ‘{if($5==502) print $11}’ | sort | uniq -c

查找 200 空白頁

cat access.log | awk -F ‘^A’ ‘{if($5==200 && $8 print $3″|”$4″|”$11″|”$6}’

查看實時日志數(shù)據(jù)流

tail -f access.log | cat -e

或者

tail -f access.log | tr ‘^A’ ‘|’

總結(jié)

照著這個思路可以做很多其他分析，比如 UA 最多的訪問；訪問頻率最高的 IP；請求耗時分析；請求返回包大小分析；等等。

這就是一個大型 Web 日志分析系統(tǒng)的原型，這樣的格式也是非常方便進行后續(xù)大規(guī)模 batching 和 streaming 計算

分享名稱：手動分析Nginx日志
URL網(wǎng)址：http://uogjgqi.cn/article/ccoedie.html