【技术实现步骤摘要】
一种动态规则更新方法、装置及存储介质
本公开涉及大数据
，尤其涉及一种动态规则更新方法、装置及存储介质。
技术介绍
Flink是一种开源流处理框架，其核心是用Java和Scala编写的分布式流数据引擎。Flink以数据并行和流水线方式执行任意的流数据处理程序，Flink的流水线运行时系统可以执行批处理和流处理程序。复杂事件处理(ComplexEventProcessing，CEP)技术是一种基于动态环境中事件流的分析技术，事件在这里通常是有意义的状态变化，通过分析事件间的关系，利用过滤、关联、聚合等技术，根据事件间的时序关系和聚合关系制定检测规则，持续地从事件流中查询出符合要求的事件序列。例如股票交易数据流可以看做是随时间产生的股票交易事件产生一笔笔交易数据构成的数据流，检测规则可以是提取单笔成交量大于设定阈值的交易事件等。CEP技术可以理解为是用来检测无尽数据流中的复杂模式的技术，拥有从不同的数据行中辨识查找模式的能力。随着网络的普及，智能设备持续收集着越来越多的数据，分析近乎实时，不断增长的数据流对...
【技术保护点】
1.一种动态规则更新方法，其特征在于，该方法应用于流处理框架中，所述方法包括：/n读取提交到集群进行处理的第一作业的作业状态；所述第一作业使用第一扩展复杂事件处理CEP算子进行数据处理，所述第一扩展CEP算子包括由第一规则生成的第一非确定有限状态自动机NFA属性以及负责编译更新第一NFA属性的规则更新方法；/n当第一作业进入运行状态后，在分布式应用协调组件中为第一作业建立第一监听节点，第一监听节点用于监听规则的更新；/n当第一监听节点监听到第一规则更新时，使所述第一扩展CEP算子中的规则更新方法获知更新的规则信息，以使其根据更新的规则信息重新编译生成新的第一NFA属性后指示...
【技术特征摘要】
1.一种动态规则更新方法，其特征在于，该方法应用于流处理框架中，所述方法包括：
读取提交到集群进行处理的第一作业的作业状态；所述第一作业使用第一扩展复杂事件处理CEP算子进行数据处理，所述第一扩展CEP算子包括由第一规则生成的第一非确定有限状态自动机NFA属性以及负责编译更新第一NFA属性的规则更新方法；
当第一作业进入运行状态后，在分布式应用协调组件中为第一作业建立第一监听节点，第一监听节点用于监听规则的更新；
当第一监听节点监听到第一规则更新时，使所述第一扩展CEP算子中的规则更新方法获知更新的规则信息，以使其根据更新的规则信息重新编译生成新的第一NFA属性后指示第一作业切换NFA属性。
2.根据权利要求1所述的方法，其特征在于，
所述第一扩展CEP算子中还包括更新规则标识属性，当第一扩展CEP算子获知所述更新的规则信息后，根据更新的规则信息从规则表中读取更新后的规则，重新编译生成新的第一NFA属性，将所述更新规则标识置位；
当所述更新规则标识被置位后，自动切换第一作业当前使用的第一NFA为新的第一NFA属性值。
3.根据权利要求1所述的方法，其特征在于，
当第一作业所使用的第一规则更新后，通过分布式应用协调组件提供的接口将更新的第一规则的信息写入所述第一监听节点，第一监听节点的变化触发规则更新事件，在规则更新事件中通过更新消息通知第一扩展CEP算子规则发生了更新，第一扩展CEP算子根据更新消息从第一监听节点中获取更新的第一规则的信息。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当第一作业所使用的第一规则更新后，通过分布式应用协调组件提供的接口将更新的第一规则的信息写入分布式应用协调组件中第一作业对应的第一监听节点，第一作业中的第一扩展CEP算子通过轮询的方式从第一监听节点中读取更新的第一规则的信息。
5.根据权利要求1所述的方法，其特征在于，
所述流处理框架为Flink；和/或
所述的分布式应用协调组件为Zookeeper、Redis、Kafka或消息队列MQ。
6.一种动态规则更新装置，其特征在于，该装置应用于流处理框架中，该装置包括：
作业提交模块，用于向大数据集群提交作业并建立监听模块；
...
【专利技术属性】
技术研发人员：肖鹏，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南;41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。