Logstash 7.7.0 开源服务端数据处理流程

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到你最喜欢的“存储库”中。目前,Logstash 7.7.0 已正式发布,该版本更新内容如下:

新功能和改进

Improving Logging

继过去几个版本中改进了日志记录功能之后,日志消息已得到扩展,可以更准确地显示有关插件的信息。这些更改使用户可以更好地标识带有插件或管道的日志消息。#11078、#11593、#11567

更改包括:

已添加plugin.name到所有日志条目。

已添加plugin.id和pipeline.id到 docker 镜像。

改进 Java(Pipeline)Execution Engine

Logstash 7.7 中提供的改进使用户可以更好地控制 single worker pipelines 的事件顺序。

从历史上看,当 single worker 执行 pipeline 时,将保留输入插件和输出插件之间的 Logstash 事件顺序。从未正式记录过此行为,但这是许多用户所依赖的功能。

引入 Java Execution 引擎时,它破坏了单个工作程序的订单保留。现在,通过引入pipeline.ordered设置已解决此问题 。 #11552, #11710

该pipeline.ordered设置允许三种模式:

auto (default) -如果只有一个 pipeline worker ,则自动启用订购。

true -强制排序,同时如果有多个工作程序,则阻止启动logstash。

false -无法保证 ordering。

Notable issues fixed

Fixed:添加sudo到 GPG-KEY 的 rpm import 中#11684

Fixed:使用轻量级正则表达式匹配(不取决于框架) #11653

Fixed:monitoring API无法正确解析包括环境变量扩展在内的 ID 的问题 #11592

Fixed:更改 Javadoc 以符合 JDK13 的更新要求#11642

......

更多详细信息可查看发布说明。

下载地址:https://elastic.co/downloads/logstash