一种分布式运行流调度执行方法和系统技术方案

本发明专利技术涉及大数据处理技术领域中的一种分布式运行流调度执行方法和系统，包括以下步骤：接收任务触发消息，获取事件报文，解析事件报文得到解析报文，并判断解析报文是否为位图流转；若是位图流转，则获取解析报文内的批次号，基于批次号读取redis中的分片位图，基于分片位图进行执行操作，并得到执行结果数据；若非位图流转，则获取解析报文内的执行数据，并进行窗口汇总处理，得到汇总数据；当窗口触发条件满足时，基于汇总数据进行执行操作，并得到执行结果汇总数据；将执行结果数据以及执行结果汇总数据分别分片式存储在redis内，解决了大规模数据无法实现快速调度执行的问题。了大规模数据无法实现快速调度执行的问题。了大规模数据无法实现快速调度执行的问题。

【技术实现步骤摘要】
一种分布式运行流调度执行方法和系统


[0001]本专利技术涉及大数据处理
，具体涉及一种分布式运行流调度执行方法和系统。

技术介绍

[0002]在企业数字化背景下，越来越多的数字化系统采用拖拽组件的方式执行运行流任务，这种运行流任务包括不限于风控决策流、营销商机任务编排等运行流场景，其中，营销商机运行流，用于大批量圈选客群与实时捕获客户触点事件，经过多个不同组件的编排构建营销商机运行流实现客户旅程场景全生命周期的营销闭环，风控决策流，不仅用于大批量执行客户的决策流任务，而且用于实时监控客户操作的安全性的实时决策场景中，实现客户的事后、事中监控，在运行流编排中，会对通用的功能进行抽象封装为组件，在营销运行流中包括名单、事件、分流、汇聚、渠道、时机等组件，在风控决策流场景中，包括事件、第三方API、黑名单、白名单、策略、评分卡等风控相关组件，将这些组件进行拖拽组合成一个运行流任务。
[0003]在营销场景下，基于用户唯一ID去做营销编排，当用户号规模很大的情况下，节点需要处理大规模的数据，并且下游节点需要去读取上个节点执行返回的大规模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式运行流调度执行方法，其特征在于，包括以下步骤：接收任务触发消息，基于所述任务触发消息获取事件报文，解析所述事件报文，得到解析报文，并判断所述解析报文是否为位图流转；若是位图流转，则获取所述解析报文内的批次号，基于所述批次号读取redis中的分片位图，基于所述分片位图进行执行操作，并得到执行结果数据，其中，所述批次号与分片位图为唯一对应关系；若非位图流转，则获取所述解析报文内的执行数据，并进行窗口汇总处理，得到汇总数据；设定窗口触发条件，当所述窗口触发条件满足时，基于所述汇总数据进行执行操作，并得到执行结果汇总数据；将所述执行结果数据以及执行结果汇总数据分别分片式存储在redis内，并进行位图序列化备份。2.根据权利要求1所述的一种分布式运行流调度执行方法，其特征在于，将所述执行结果数据以及执行结果汇总数据分别分片式存储在redis内，包括以下步骤：自动生成所述执行结果数据和执行结果汇总数据的批次号；将所述执行结果数据和执行结果汇总数据分别进行二进制处理，得到多组64位二进制，并基于所述64位二进制生成多组结果位图；获取redis节点数量，基于所述redis节点数量对所述结果位图进行分组，得到若干组分片位图；通过一致性算法将若干组所述分片位图以及对应的批次号同时存储到不同的redis节点内。3.根据权利要求1所述的一种分布式运行流调度执行方法，其特征在于，基于任务触发消息获取事件报文，包括以下步骤：判断执行所述任务触发消息的节点是否为定时触发；若是，则待定时结束后发布事件报文，若否，则立即发布事件报文。4.根据权利要求1所述的一种分布式运行流调度执行方法，其特征在于，进行窗口汇总处理，包括以下步骤：获取非位图流转下，所有所述解析报文的节点ID；将具有相同节点ID的所述解析报文内的执行数据汇总至同一窗口，得到多组汇总数据。5.根据权利要求4所述的一种分布式运行流调度执行方法，其特征在于，...

【专利技术属性】
技术研发人员：王联军，马平男，王有兵，陈洪杨，
申请(专利权)人：杭州雅拓信息技术有限公司，
类型：发明
国别省市：