在信息化時代，大數(shù)據(jù)的時代下，數(shù)據(jù)分析與數(shù)據(jù)挖掘成為了眾多企業(yè)和科學研究的必修課。而日志信息的收集與處理也成為了其中的一個重要部分。Linux作為一種服務器操作系統(tǒng)，日志信息的存儲和處理是其不可或缺的一部分。在本文中，我們將介紹如何使用Linux來統(tǒng)計日志信息。

10年的懷遠網(wǎng)站建設經(jīng)驗，針對設計、前端、開發(fā)、售后、文案、推廣等六對一服務，響應快，48小時及時工作處理。全網(wǎng)整合營銷推廣的優(yōu)勢是能夠根據(jù)用戶設備顯示端的尺寸不同，自動調整懷遠建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調整網(wǎng)站的寬度，無論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設計，從而大程度地提升瀏覽體驗。創(chuàng)新互聯(lián)從事“懷遠網(wǎng)站設計”,“懷遠網(wǎng)站推廣”以來，每個客戶項目都認真落實執(zhí)行。

1. 選擇日志文件

首先需要選擇要統(tǒng)計的日志文件。在Linux系統(tǒng)中，日志一般存放在/var/log目錄下。這里我們選擇系統(tǒng)日志文件/var/log/messages作為統(tǒng)計的對象。

2. 選擇統(tǒng)計工具

統(tǒng)計日志信息的方式有很多種，常見的有手動分析、文本搜索和log分析軟件等。在這里，我們介紹兩種常用的工具：grep和awk。

3. 使用grep命令統(tǒng)計日志信息

grep命令是一種文本搜索工具，能夠搜索文件內(nèi)容中包含指定字符的行，并輸出這些行。這個工具的使用非常方便，可以靈活地按照不同要求來搜索文件內(nèi)容。

3.1 查看關鍵字出現(xiàn)次數(shù)

要查看某個關鍵字在日志文件中出現(xiàn)的次數(shù)，可以使用以下命令：

grep -c “關鍵字” /var/log/messages

其中，“關鍵字”就是需要查找的關鍵字，/var/log/messages為日志文件路徑。-c表示統(tǒng)計關鍵字出現(xiàn)的次數(shù)。

3.2 統(tǒng)計行數(shù)

要統(tǒng)計日志文件中總行數(shù)，可以使用以下命令：

grep -c “^” /var/log/messages

其中，^表示每一行的開頭，這樣就可以很快地統(tǒng)計出總行數(shù)。

3.3 統(tǒng)計錯誤日志

要快速查找日志中的錯誤信息，可以使用以下命令：

grep “error” /var/log/messages

其中，error為需要查找的錯誤信息關鍵字。

4. 使用awk命令統(tǒng)計日志信息

awk命令是一種文本處理工具，可以根據(jù)指定的規(guī)則對文件內(nèi)容進行分析和處理。它的使用比grep更加靈活，可以處理更加復雜的數(shù)據(jù)。

4.1 統(tǒng)計日志文件大小

要統(tǒng)計日志文件的大小，可以使用以下命令：

ls -l /var/log/messages | awk ‘{print $5}’

其中，ls -l表示列出文件的詳細信息，$5表示輸出第五個字段的內(nèi)容，也即是文件大小。

4.2 統(tǒng)計日志文件中某一列的總和

在一些業(yè)務場景中，我們需要統(tǒng)計日志文件中某一列的總和，這時可以使用以下命令：

awk ‘{sum+=$1} END {print sum}’ /var/log/messages

其中，$1表示之一列的內(nèi)容，sum+=$1表示累加每一行的之一列的內(nèi)容，END表示在文件處理結束后執(zhí)行一次操作，{print sum}表示輸出累加結果。

4.3 統(tǒng)計日志文件中某一列的更大值和最小值

有時候，我們需要統(tǒng)計日志文件中某一列的更大值和最小值，可以使用以下命令：

awk ‘BEGIN {max=0; min=0} {if (NR==1) {max=$1; min=$1}; if ($1>max) {max=$1}; if ($1

其中，BEGIN表示在處理文件前執(zhí)行一次操作，if判斷條件中NR==1表示當前行是之一行，max=$1表示將之一列的內(nèi)容賦值給max，min=$1表示將之一列的內(nèi)容賦值給min；如果當前行的之一列內(nèi)容大于max，則將該值賦值給max，如果當前行的之一列內(nèi)容小于min，則將該值賦值給min。END表示在文件處理結束后執(zhí)行一次操作，{print max, min}表示輸出max和min的值。

：

本文介紹了如何使用Linux來統(tǒng)計日志信息，其中使用的工具包括grep和awk，從而方便快捷地對服務器日志進行分析和處理。在使用這些工具時，需要根據(jù)不同的業(yè)務場景靈活運用，才能更好地發(fā)揮其作用。

相關問題拓展閱讀：

• 如何實時查看linux下的日志
• 怎樣查看linux系統(tǒng)日志

如何實時查看linux下的日志

Linux日志文件在/var/log目錄下，可以通過命令查看日志文件。

1，cat messages可以查看某個日志文件。

2，要達到實時更新，可以通改尺過tail命令查看更新的數(shù)據(jù)，例如tail -f messages。

3，tail命令參數(shù)：

-f 循環(huán)讀取

-q 不顯示處理信息

-v 顯示詳細的處腔攜理信息

-c 顯示的伍殲伏字節(jié)數(shù)

-n 顯示行數(shù)

–pid=PID 與-f合用,表示在進程ID,PID死掉之后結束.

-q, –quiet, –silent 從不輸出給出文件名的首部

-s, –sleep-interval=S 與-f合用,表示在每次反復的間隔休眠S秒。

怎樣查看linux系統(tǒng)日志

1、Linux下重要日志文件介紹

/var/log/boot.log

該文件記錄了系統(tǒng)在引導過程中發(fā)生的事件，就是Linux系統(tǒng)開機自檢過程顯示的信息，如圖1所示：

圖1 /var/log/boot.log示意

/var/log/cron

該日志文件記錄crontab守護進程crond所派生的子進程的動作，前面加上用戶、登錄時間和PID，以及派生出的進程的動作。CMD的一個動作是cron派生出一個調度進程的常見情況。REPLACE(替換)動作記錄用戶對它的cron文件的更新，該文件列出了要周期性執(zhí)行的任務調度。RELOAD動作在REPLACE動作后不久發(fā)生，這意味著cron注意到一個用戶的cron文件被更新而cron需要把它重新裝入內(nèi)存。該文件可能會查到一些反常的情況。該文件的示意請見圖2：

圖2 /var/log/cron文件示意

/var/log/maillog

該日志文件記錄了每一個發(fā)送到系統(tǒng)或從系統(tǒng)發(fā)出的電子郵件的活動。它可以用來查看用戶使用哪個系統(tǒng)發(fā)送工具或把數(shù)據(jù)發(fā)送到哪個系統(tǒng)。圖3所示是該日志文件的片段：

圖3 /var/log/maillog文件示意

該文件的格式是每一行包含日期、主機名、程序名，后面是包含PID或內(nèi)核標識的方括號、一個冒號和一個空格，最后是消息。該文件有一個不足，就是被記錄的入侵企圖和成功的入侵事件，被淹沒在大量的正常進程的記錄中。但該文件可以由/etc/syslog文件進行定制。由/etc/syslog.conf配置文件決定系統(tǒng)如何寫入/var/messages。

/var/log/syslog

默認Fedora不生成該日志文件，但可以配置/etc/syslog.conf讓系統(tǒng)生成該日志文件。它和/etc/log/messages日志文件不同，它只記錄警告信息，常常是系統(tǒng)出問題的信息，所以更應該關注該文件。要讓系統(tǒng)生成該日志文件，在/etc/syslog.conf文件中加上：*.warning /var/log/syslog 該日志文件能記錄當用戶登錄時login記錄下的錯誤口令、Sendmail的問題、su命令執(zhí)行失敗等信息。該日志文件記錄最近成功登錄的事件和最后一次不成功的登錄事件，由login生成。在每次用戶登錄時被查詢，該文件是二進制文件，需要使用lastlog命令查看，根據(jù)UID排序顯示登錄名、端口號和上次登錄時間。如果某用戶從來沒有登錄過，就顯示為”**Never logged in**”。該命令只能以root權限執(zhí)行。簡單地輸入lastlog命令后就會看到類似圖4的信息：

圖4 lastlog命令的運行結果

/var/log/wtmp

該日志文件永久記錄每個用戶登錄、注銷及系統(tǒng)的啟動、停機的事件。因此隨著系統(tǒng)正常運行時間的增加，該文件的大小也會越來越大，增加的速度取決于系統(tǒng)用戶登錄的次數(shù)。該日志文件可以用來查看用戶的登錄記錄，last命令就通過訪問這個文件獲得這些信息，并以反序從后向前顯示用戶的登錄記錄，last也能根據(jù)用戶、終端tty或時間顯示相應的記錄。

/var/run/utmp

該日志文件記錄有關當前登錄的每個用戶的信息。因此這個文件會隨著用戶登錄和注銷系統(tǒng)而不斷變化，它只保留當時聯(lián)機的用戶記錄，不會為用戶保留永久的記錄。系統(tǒng)中需要查詢當前用戶狀態(tài)的程序，如 who、w、users、finger等就需要訪問這個文件。該日志文件并不能包括所有精確的信息，因為某些突發(fā)錯誤會終止用戶登錄會話，而系統(tǒng)沒有及時更新 utmp記錄，因此該日志文件的記錄不是百分之百值得信賴的。

以上提及的3個文件(/var/log/wtmp、/var/run/utmp、/var/log/lastlog)是日志子系統(tǒng)的關鍵文件，都記錄了用戶登錄的情況。這些文件的所有記錄都包含了時間戳。這些文件是按二進制保存的，故不能用less、cat之類的命令直接查看這些文件，而是需要使用相關命令通過這些文件而查看。其中，utmp和wtmp文件的數(shù)據(jù)結構是一樣的，而lastlog文件則使用另外的數(shù)據(jù)結構，關于它們的具體的數(shù)據(jù)結構可以使用man命令查詢。

每次有一個用戶登錄時，login程序在文件lastlog中查看用戶的UID。如果存在，則把用戶上次登錄、注銷時間和主機名寫到標準輸出中，然后login程序在lastlog中記錄新的登錄時間，打開utmp文件并插入用戶的utmp記錄。該記錄一直用到用戶登錄退出時刪除。utmp文件被各種命令使用，包括who、w、users和finger。

下一步，login程序打開文件wtmp附加用戶的utmp記錄。當用戶登錄退出時，具有更新時間戳的同一utmp記錄附加到文件中。wtmp文件被程序last使用。

/var/log/xferlog

該日志文件記錄FTP會話，可以顯示出用戶向FTP服務器或從服務器拷貝了什么文件。該文件會顯示用戶拷貝到服務器上的用來入侵服務器的惡意程序，以及該用戶拷貝了哪些文件供他使用。

該文件的格式為：之一個域是日期和時間，第二個域是下載文件所花費的秒數(shù)、遠程系統(tǒng)名稱、文件大小、本地路徑名、傳輸類型(a：ASCII，b：二進制)、與壓縮相關的標志或tar，或”_”(如果沒有壓縮的話)、傳輸方向(相對于服務器而言：i代表進，o代表出)、訪問模式(a：匿名，g：輸入口令，r：真實用戶)、用戶名、服務名(通常是ftp)、認證方法(l：RFC931，或0)，認證用戶的ID或”*”。圖5是該文件的部分顯示：

圖5 /var/log/xferlog文件示意

2、Linux日志輸出查看方式

Linux下面提供了許多文本工具來查看和處理日志文件，下面給讀者提供一些比較常見和有用的工具。

dmesg

使用dmesg命令可以快速查看最后一次系統(tǒng)引導的引導日志。如圖6所示：

圖6 dmesg顯示結果

如上所示，通常它的內(nèi)容會很多，所以我們往往使用如下命令以分頁的方式顯示引導信息，如圖7所示：

# dmesg | more

成都網(wǎng)站制作,成都網(wǎng)頁設計,成都網(wǎng)站設計服務;成都創(chuàng)新互聯(lián)服務內(nèi)容包含成都網(wǎng)站建設，小程序開發(fā)，營銷網(wǎng)站建設，網(wǎng)站改版，服務器托管租用等互聯(lián)網(wǎng)服務。

名稱欄目：如何用Linux統(tǒng)計日志信息？ (linux統(tǒng)計每天日志)
文章起源：http://uogjgqi.cn/article/cossioc.html