centos安裝Filebeat收集日志到Kafka

作者：linux運(yùn)維菜 2021-09-07 09:34:04

系統(tǒng)

Linux

Kafka filebeat是日志數(shù)據(jù)采集器，可代替logstash收集日志，部署起來(lái)比較方便。一般日志量比較大，會(huì)先收集到kafka然后再進(jìn)行消費(fèi)。

成都創(chuàng)新互聯(lián)專注于通渭企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè)公司,成都做商城網(wǎng)站。通渭網(wǎng)站建設(shè)公司,為通渭等地區(qū)提供建站服務(wù)。全流程按需求定制制作，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，成都創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

簡(jiǎn)介

filebeat是日志數(shù)據(jù)采集器，可代替logstash收集日志，部署起來(lái)比較方便。

一般日志量比較大，會(huì)先收集到kafka然后再進(jìn)行消費(fèi)。

安裝

  
 
 
 

   
  
  
  
yum -y install https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.14.0/filebeat-7.14.0-x86_64.rpm 
  
 
 
 

配置filebeat

  
 
 
 

   
  
  
  
vim /etc/filebeat/filebeat.yml 
  
 
 
 

  
 
 
 

   
  
  
  
filebeat.inputs: 
   
  
  
  
- type: log 
   
  
  
  
  paths: 
   
  
  
  
    - /var/log/*.log 
   
  
  
  
    - /var/log/messages 
   
  
  
  
  fields: 
   
  
  
  
    type: "systemlog" 
   
  
  
  
    log_topic: "systemlog" 
   
  
  
  
  fields_under_root: true 
   
  
  
  
  exclude_lines: ["^DBG"] 
   
  
  
  
  exclude_files: [".gz$"] 
   
  
  
  
name: 192.168.122.100 
   
  
  
  
output.kafka: 
   
  
  
  
  enabled: true 
   
  
  
  
  hosts: ["192.168.122.200:9092"] 
   
  
  
  
  topic: "%{[log_topic]}" 
   
  
  
  
  partition.round_robin: 
   
  
  
  
    reachable_only: true 
   
  
  
  
  worker: 2 
   
  
  
  
  required_acks: 1 
   
  
  
  
  compression: gzip 
   
  
  
  
  max_message_bytes: 10000000 
  
 
 
 

服務(wù)管理

  
 
 
 

   
  
  
  
systemctl enable filebeat 
   
  
  
  
systemctl start filebeat 
  
 
 
 

總結(jié)

filebeat是Go寫的，部署起來(lái)很方便，沒(méi)什么依賴，批量部署簡(jiǎn)單。

網(wǎng)站題目：CentOS安裝filebeat收集日志到kafka
文章地址：http://uogjgqi.cn/article/djhedjj.html