Filebeat的简介、安装、配置、Pipeline

一. 简介

Filebeat由两个主要组件组成：

• Inputs：

  • 负责管理harvester并找到所有要读取的文件来源。如果输入类型为日志，则查找器将查找路径匹配的所有文件，并为每个文件启动一个harvester。每个Inputs都在自己的Go协程中运行

  • 每个prospector类型可以定义多次

• Harvesters：

  • 一个harvester负责读取一个单个文件的内容，每个文件启动一个harvester。harvester逐行读取每个文件（一行一行地读取每个文件），并把这些内容发送到输出。在harvester正在读取文件内容的时候，文件被删除或者重命名了，那么Filebeat会续读这个文件。这就有一个问题了，就是只要负责这个文件的harvester没用关闭，那么磁盘空间就不会释放。默认情况下，Filebeat保存文件打开的状态直到close_inactive到达。
  • 关闭harvester会产生以下结果：
    • 如果在harvester仍在读取文件时文件被删除，则关闭文件句柄，释放底层资源。
    • 文件的采集只会在scan_frequency过后重新开始
    • 如果在harvester关闭的情况下移动或移除文件，则不会继续处理文件

二. 安装

默认的安装文件路径

YUM/RPM

[elastic-7.x]
name=Elastic repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

yum install filebeat-7.4.0

RPM下载地址：https://www.elastic.co/cn/downloads/beats/filebeat

yum localinstall -y filebeat-7*.rpm

安装文件路径

二进制文件

zip, tar.gz, tgz 压缩格式的二进制安装包，下载地址：https://www.elastic.co/cn/downloads/beats/filebeat

安装文件路径

Filebeat命令行启动

/usr/share/filebeat/bin/filebeat Commands SUBCOMMAND [FLAGS]

示例：

• /usr/share/filebeat/bin/filebeat --modules mysql -M "mysql.slowlog.var.paths=[/root/slow.log]" -e
• /usr/share/filebeat/bin/filebeat -e -E output.console.pretty=true --modules mysql -M "mysql.slowlog.var.paths=["/root/mysql-slow-sql-log/mysql-slowsql.log"]" -M "mysql.error.enabled=false" -E output.elasticsearch.enabled=false

SystemD启动

systemctl enable filebeat
systemctl start filebeat 
systemctl stop filebeat
systemctl status filebeat
journalctl -u filebeat.service
systemctl daemon-reload
systemctl restart filebeat

Filebeat的SystemD配置文件

$ /usr/lib/systemd/system/filebeat.service
[Unit]
Description=Filebeat sends log files to Logstash or directly to Elasticsearch.
Documentation=https://www.elastic.co/products/beats/filebeat
Wants=network-online.target
After=network-online.target

[Service]
Environment="BEAT_LOG_OPTS=-e"
Environment="BEAT_CONFIG_OPTS=-c /etc/filebeat/filebeat.yml"
Environment="BEAT_PATH_OPTS=-path.home /usr/share/filebeat -path.config /etc/filebeat -path.data /var/lib/filebeat -path.logs /var/log/filebeat"
ExecStart=/usr/share/filebeat/bin/filebeat $BEAT_LOG_OPTS $BEAT_CONFIG_OPTS $BEAT_PATH_OPTS
Restart=always

[Install]
WantedBy=multi-user.target

三. Docker镜像

docker pull docker.elastic.co/beats/filebeat:7.4.0

docker pull filebeat:7.4.0

镜像中的安装文件路径

Kubernetes部署

• 默认部署到kube-system命名空间

• 部署类型是Daemonset，会部署到每一个Node上

• 每个Node上的/var/lib/docker/containers目录会挂载到filebeat容器中

• 默认Filebeat会将日志吐到kube-system命名空间下的elasticsearch中，如果需要指定吐到其他elasticsearch中，修改环境变量

  - name: ELASTICSEARCH_HOST
    value: elasticsearch
  - name: ELASTICSEARCH_PORT
    value: "9200"
  - name: ELASTICSEARCH_USERNAME
    value: elastic
  - name: ELASTICSEARCH_PASSWORD
    value: changeme
  

curl -L -O https://raw.githubusercontent.com/elastic/beats/7.4/deploy/kubernetes/filebeat-kubernetes.yaml
kubectl create -f filebeat-kubernetes.yaml
kubectl --namespace=kube-system get ds/filebeat

OKD部署

curl -L -O https://raw.githubusercontent.com/elastic/beats/7.4/deploy/kubernetes/filebeat-kubernetes.yaml
修改部署文件
securityContext:
    runAsUser: 0
    privileged: true

oc adm policy add-scc-to-user privileged system:serviceaccount:kube-system:filebeat

四. 配置

• Filebeat的配置文件路径：/etc/filebeat/filebeat.yml

• 配置语法为YAML

全局配置项

通用配置项

配置示例

# Modules配置项
filebeat.modules:
  - module: system
# 通用配置项
fields:
  level: debug
  review: 1
fields_under_root: false
# Processors配置项
processors:
  - decode_json_fields:
# Input配置项
filebeat.inputs:
  - type: log

# Output配置项
output.elasticsearch:
output.logstash:

五. Input插件类型

Input类型

六. Output插件类型

七. Processors插件

配置语法

processors:
- if:
    <condition>
  then: 
    - <processor_name>:
        <parameters>
    - <processor_name>:
        <parameters>
    ...
  else: 
    - <processor_name>:
        <parameters>
    - <processor_name>:
        <parameters>

可以再Input中添加Processor

- type: <input_type>
  processors:
  - <processor_name>:
      when:
        <condition>
      <parameters>

条件语法

• equals

  equals:
    http.response.code: 200
  

• contains

  contains:
    status: "Specific error"
  

• regexp

  regexp:
    system.process.name: "foo.*"
  

• range：The condition supports lt, lte, gt and gte. The condition accepts only integer or float values.

  range:
      http.response.code:
          gte: 400
  

• network

  network:
      source.ip: private
      destination.ip: '192.168.1.0/24'
      destination.ip: ['192.168.1.0/24', '10.0.0.0/8', loopback]
  

• has_fields

  has_fields: ['http.response.code']
  

• or

  or:
    - <condition1>
    - <condition2>
    - <condition3>
    ...
  -----------------------------
  or:
    - equals:
        http.response.code: 304
    - equals:
        http.response.code: 404
  

• and

  and:
    - <condition1>
    - <condition2>
    - <condition3>
    ...
  -----------------------------
  and:
    - equals:
        http.response.code: 200
    - equals:
        status: OK
  -----------------------------
  or:
   - <condition1>
   - and:
      - <condition2>
      - <condition3>
  

• not

  not:
    <condition>
  --------------
  not:
    equals:
      status: OK
  

支持的Processors

八. 采集注册文件解析

采集注册文件路径：/var/lib/filebeat/registry/filebeat/data.json

[{"source":"/root/mysql-slow-sql-log/mysql-slowsql.log","offset":1365442,"timestamp":"2019-10-11T09:29:35.185399057+08:00","ttl":-1,"type":"log","meta":null,"FileStateOS":{"inode":2360926,"device":2051}}]

source                # 记录采集日志的完整路径
offset                # 已经采集的日志的字节数;已经采集到日志的哪个字节位置
timestamp            # 日志最后一次发生变化的时间戳
ttl                    # 采集失效时间，-1表示只要日志存在，就一直采集该日志
type:                 
meta
filestateos            # 操作系统相关
　　inode              # 日志文件的inode号
　　device          # 日志所在磁盘的磁盘编号

硬盘格式化的时候，操作系统自动将硬盘分成了两个区域。

一个是数据区，用来存放文件的数据信息

一个是inode区，用来存放文件的元信息，比如文件的创建者、创建时间、文件大小等等

每一个文件都有对应的inode，里边包含了与该文件有关的一些信息，可以用stat命令查看文件的inode信息

> stat /var/log/messages
  File: ‘/var/log/messages’
  Size: 56216339        Blocks: 109808     IO Block: 4096   regular file
Device: 803h/2051d      Inode: 1053379     Links: 1
Access: (0600/-rw-------)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2019-10-06 03:20:01.528781081 +0800
Modify: 2019-10-12 13:59:13.059112545 +0800
Change: 2019-10-12 13:59:13.059112545 +0800
 Birth: -

2051为十进制数，对应十六进制数803

参考链接

1. https://www.cnblogs.com/micmouse521/p/8085229.html