一种基于流架构的事件确认方法、系统及装置制造方法及图纸

本发明专利技术公开了一种基于流架构的事件确认方法、系统及装置，包括：从消息中间件中接收不同产品的多个物联设备上报的日志，并从所述日志中筛选同一产品的多个物联设备的日志；加载所述同一产品的多个物联设备的日志对应的规则集，作为本次待执行的规则系统，基于所述日志，执行所述本次待执行的规则系统，得到匹配结果消息，其中，所述规则系统用于同一产品的多个物联设备的事件确认；向所述消息中间件返回所述匹配结果消息。本发明专利技术采用更加符合物联设备场景的技术框架(流处理框架、消息中间件、CEP)。没有采用数据库，数据链路更短，处理时间更短，使用可以避免简单规则带来的误报问题，同时能够实现更加复杂的规则。同时能够实现更加复杂的规则。同时能够实现更加复杂的规则。

【技术实现步骤摘要】
一种基于流架构的事件确认方法、系统及装置


[0001]本专利技术涉及网络安全
，具体涉及一种基于流架构的事件确认方法、系统及装置。

技术介绍

[0002]目前大多数的物联设备的可靠性不高，导致上报的日志也不可靠。对不可靠的单条日志进行规则判断来生成事件会容易引起误报问题，所以需要考虑连续一段时间内的物联设备日志之间的关系。根据资料可知，如果发生特定事件(火灾)，则同一区域的多个物联设备(烟感探测器、温度传感器等)在一段时间内会持续报警。反映到日志上，同一区域的物联设备会持续上报告警信息，即物联设备的日志之间存在某种关系。
[0003]现有技术大多基于(可靠性不高的)物联设备的一条日志判断某一个属性和阈值之间的关系，或几个属性和阈值之间的关系的逻辑组合来生成(告警)事件，针对可靠性不高的物联设备，生成事件不符合逻辑，容易引起误报问题。

技术实现思路

[0004]本专利技术的目的在于提供一种基于流架构的事件确认方法、系统及装置，使用流处理框架(Flink)从消息中间件(Kafka)中读取日志和规则，对规则进行预处理，对规则使用CEP技术(Siddhi)生成规则引擎，使用规则引擎处理日志信息，生成事件返回给流处理框架，流处理框架将生成的事件发送给消息中间件，从而实现更加复杂的规则，降低误报率，进而实现同一产品的多个物联设备的事件确认方法。
[0005]一种基于流架构的事件确认方法，包括：
[0006]从消息中间件中接收不同产品的多个物联设备上报的日志，并从所述日志中筛选同一产品的多个物联设备的日志；
[0007]加载所述同一产品的多个物联设备的日志对应的规则集，作为本次待执行的规则系统，基于所述日志，执行所述本次待执行的规则系统，得到匹配结果消息，其中，所述规则系统用于同一产品的多个物联设备的事件确认；
[0008]向所述消息中间件返回所述匹配结果消息。
[0009]进一步地，所述事件确认为同一产品的多个物联设备的相同紧急事件确认，所述日志具有事件属性，所述相同紧急事件确认为：将每次获得的同一产品的多个物联设备的日志与相同的规则表达式进行匹配，所述规则系统，具体执行以下步骤：
[0010]S1：从所述日志中筛选满足匹配条件的物联设备，记为最近匹配物联设备集，所述匹配条件为：满足规则集中对应于事件的规则表达式；
[0011]S2：接收最近匹配物联设备集上报的日志，从所述最近匹配物联设备集上报的日志中继续筛选，将满足匹配条件的物联设备刷新为最近匹配物联设备集，在预设时间范围内重复步骤S2；
[0012]S3:生成告警事件，将所述告警事件确定为匹配结果消息。
[0013]进一步地，所述事件确认为同一产品的多个物联设备的不同事件协同确认，所述日志具有事件属性，所述不同事件协同确认：将每次获得的同一产品的多个物联设备的日志与本次需确认的事件的规则表达式进行匹配，所述规则系统，具体执行以下步骤：
[0014]S1：从所述日志中筛选满足匹配条件的物联设备，记为最近匹配物联设备集，所述匹配条件为：满足本次需确认的事件的规则集中对应于事件的规则表达式；
[0015]S2：接收最近匹配物联设备集上报的日志，从所述最近匹配物联设备集上报的日志中继续筛选，将满足匹配条件的物联设备刷新为最近匹配物联设备集，在预设时间范围内重复步骤S2；
[0016]S3:生成告警事件，将所述告警事件确定为匹配结果消息。
[0017]进一步地，所述事件确认为同一产品的多个物联设备的不同事件协同确认，所述日志具有事件属性，所述不同事件协同确认为日志与至少部分不同的规则表达式的依次匹配，所述规则系统，具体执行以下步骤：
[0018]S1：从所述日志中筛选满足匹配条件的物联设备，记为最近匹配物联设备集，所述匹配条件为：按照不同事件依次满足规则集中对应于事件的规则表达式；
[0019]S2：接收最近匹配物联设备集上报的日志，从所述最近匹配物联设备集上报的日志中继续筛选，将满足匹配条件的物联设备刷新为最近匹配物联设备集，在预设时间范围内重复步骤S2；
[0020]S3:生成告警事件，将所述告警事件确定为匹配结果消息。
[0021]进一步地，所述规则集包括至少一个基础规则表达式，所述基础规则表达式为对应于设备的属性与属性阈值之间的关系的基础规则表达式。
[0022]进一步地，所述规则集还包括多个基础规则表达式逻辑组合而成的至少一个组合规则表达式，所述逻辑组合包括“或”和“与”；所述“或”关系：当日志符合所述组合规则表达式中任一个规则表达式即视为满足该组合规则表达式；所述“与”关系：当日志符合所述组合规则表达式中所有的规则表达式即视为满足该组合规则表达式。
[0023]进一步地，当接收不同产品的多个物联设备上报的日志后，对所述日志进行解析标记，生成携带规则ID的日志，具体由以下步骤得到：
[0024]从所述日志中，提取与日志一一对应的产品编码，根据所述产品编码获取与同一产品编码的至少一个规则，其中每个规则具备一一对应的规则ID；
[0025]根据所述规则从日志中解析生成多个匹配的字段，并分别对所述字段标记对应的规则ID；
[0026]将所述多个匹配的字段及其对应的规则ID作为携带规则ID的日志。
[0027]进一步地，所述本次待执行的规则系统，通过以下步骤得到:
[0028]提取所述携带规则ID的日志中的规则ID；
[0029]根据所述规则ID获取对应的规则表达式，生成规则集，其中所述规则集中的每个规则表达式与规则ID一一对应；
[0030]将所述规则集按照特定顺序加载生成本次待执行的规则系统。
[0031]进一步地，还包括：接收业务系统上报的规则，并对所述规则进行规则适配，获得规则表达式及其对应的规则ID，所述规则在进行规则解析后生成解析规则，所述规则判定，具体包括以下步骤：
[0032]判定所述解析规则是否为启用规则；
[0033]若是，则将所述解析规则进行规则转译，所述规则转译用于根据所述解析规则生成对应的规则表达式；
[0034]判定所述解析规则是否为禁用规则；
[0035]若是，则停止正在运行的所述解析规则对应的规则系统。
[0036]一种流架构的规则引擎系统，包括执行所述的一种基于流架构的事件确认方法的Flink流处理系统，所述Flink流处理系统执行所述的一种基于流架构的事件确认方法，所述Flink流处理系统不间断地第从Kafka中读取日志和规则，所述Flink流处理系统包括：
[0037]ParsedRule模块：用于将日志解析成系统可识别的规则ParsedRule；
[0038]EnabledRule模块：用于判定解析后的规则ParsedRule是否为启用规则，若是，则对所述规则ParsedRule进行规则匹配；
[0039]DisabledRule模块：用于判定解析后的规则ParsedRule是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流架构的事件确认方法，其特征在于，包括：从消息中间件中接收不同产品的多个物联设备上报的日志，并从所述日志中筛选同一产品的多个物联设备的日志；加载所述同一产品的多个物联设备的日志对应的规则集，作为本次待执行的规则系统，基于所述日志，执行所述本次待执行的规则系统，得到匹配结果消息，其中，所述规则系统用于同一产品的多个物联设备的事件确认；向所述消息中间件返回所述匹配结果消息。2.根据权利要求1所述的一种基于流架构的事件确认方法，其特征在于，所述事件确认为同一产品的多个物联设备的相同紧急事件确认，所述日志具有事件属性，所述相同紧急事件确认为：将每次获得的同一产品的多个物联设备的日志与相同的规则表达式进行匹配，所述规则系统，具体执行以下步骤：S1：从所述日志中筛选满足匹配条件的物联设备，记为最近匹配物联设备集，所述匹配条件为：满足规则集中对应于相同事件的规则表达式；S2：接收最近匹配物联设备集上报的日志，从所述最近匹配物联设备集上报的日志中继续筛选，将满足匹配条件的物联设备刷新为最近匹配物联设备集，在预设时间范围内重复步骤S2；S3:生成告警事件，将所述告警事件确定为匹配结果消息。3.根据权利要求1所述的一种基于流架构的事件确认方法，其特征在于，所述事件确认为同一产品的多个物联设备的不同事件协同确认，所述日志具有事件属性，所述不同事件协同确认：将每次获得的同一产品的多个物联设备的日志与本次需确认的事件的规则表达式进行匹配，所述规则系统，具体执行以下步骤：S1：从所述日志中筛选满足匹配条件的物联设备，记为最近匹配物联设备集，所述匹配条件为：满足规则集中本次需确认的事件的规则表达式；S2：接收最近匹配物联设备集上报的日志，从所述最近匹配物联设备集上报的日志中继续筛选，将满足匹配条件的物联设备刷新为最近匹配物联设备集，在预设时间范围内重复步骤S2；S3:生成告警事件，将所述告警事件确定为匹配结果消息。4.根据权利要求1所述的一种基于流架构的事件确认方法，其特征在于，所述规则集包括至少一个基础规则表达式，所述基础规则表达式为对应于设备的属性与属性阈值之间的关系的基础规则表达式。5.根据权利要求4所述的一种基于流架构的事件确认方法，其特征在于，所述规则集还包括多个基础规则表达式逻辑组合而成的至少一个组合规则表达式，所述逻辑组合包括“或”和“与”；所述“或”关系：当日志符合所述组合规则表达式中任一个规则表达式即视为满足该组合规则表达式；所述“与”关系：当日志符合所述组合规则表达式中所有的规则表达式即视为满足该组合规则表达式。6.根据权利要求1所述的一种基于流架构的事件确认方法，其特征在于，当接收不同产品的多个物联设备上报的日志后，对所述日志进行解析标记，生成...

【专利技术属性】
技术研发人员：饶龙强，丁强，叶超，郭鹏，方舟，张刚，
申请(专利权)人：成都智元汇信息技术股份有限公司，
类型：发明
国别省市：