当前位置:科技动态 > ElasticSearch+Kibana+Filebeat 收集日志中json数据的方式有很多种

ElasticSearch+Kibana+Filebeat 收集日志中json数据的方式有很多种

  • 发布:2023-10-01 16:39

。以下是我自己学习时写的。

需要采集的日志:
{"time":"2023-02-07T10:11:20+08:00","type":"info","msg":"{ \ “业务\”:\“麋鹿\”,\“模块\”:\“演示\”,\“操作\”:\“测试\”,\“级别\”:\“信息\”,\“日期\":\"2023-02-07 10:11:20\",\"第二个\":\"0.899408\",\"数据\":{\"id\":233,\"名称\ " :\"张三\",\"性别\":24,\"电话\":13511112222}}"}
[2023-02-07T10:11:39+08:00][info] {"business":"elk","module":"demo","action":"test","level":"info" ,"date":"2023-02-07 10:11:39","second":"0.493702","data":{"id":233,"name":"张三","性别": 24,"phone":13511112222}} 两条不同格式的日志是为了测试不同格式的采集方式。
第一个是纯json格式的日志
第二项是ThinkPHP6默认的日志格式,符合大部分日志格式

  1. 在ElasticSearch中创建管道:

在“Kibana->堆栈管理->集合管道->创建管道”中

在“Kibana->开发工具->控制台”中运行以下代码

PUT _ingest/pipeline/elk-test-pipeline
{"description" : "解析混合日志","processors" : [{"grok": {"field": "message"

相关文章