基于Flink的多源异构数据流的处理方法和装置制造方法及图纸

技术编号:46224715 阅读:10 留言:0更新日期:2025-08-26 19:26
本申请提供了一种基于Flink的多源异构数据流的处理方法和装置。获取预设特征提取规则和预设计算策略,并将预设特征提取规则和预设计算策略存储至分布式配置中心;应用Flink的Kafka连接器从Kafka消息队列获取多源异构数据流,从分布式配置中心中获取与多源异构数据流对应的目标特征提取规则,将多源异构数据流转化为标准化特征数据流;从分布式配置中心中获取与标准化特征数据流对应的目标计算策略,并根据目标计算策略对标准化特征数据流进行策略计算,得到策略计算结果,且将策略计算结果存入分布式缓存中,以使得外部服务从分布式缓存中获取策略计算结果。该方案解决了多源异构数据流的策略计算的效率较低的问题。

【技术实现步骤摘要】

本申请涉及数据流处理,具体而言,涉及一种基于flink的多源异构数据流的处理方法、基于flink的多源异构数据流的处理装置、计算机可读存储介质和电子设备。


技术介绍

1、策略计算是指根据预先定义的规则或策略对输入数据进行分析、处理和决策的过程,通常在实时数据分析、金融风控、广告推荐、物联网数据分析等领域有广泛的应用。策略计算涉及到判断数据是否符合某些条件,进行数据的过滤、聚合、关联等操作,最终输出符合策略的结果,这些结果可以用于实时决策支持,如交易审批、用户推荐、设备预警等。

2、面对多源头、多种格式的异构数据流,现有的策略计算方法存在编码负担大、规则调整困难、外部数据聚合能力弱和聚合结果应用受限等缺陷,从而导致计算效率低。


技术实现思路

1、本申请的主要目的在于提供一种基于flink的多源异构数据流的处理方法、基于flink的多源异构数据流的处理装置、计算机可读存储介质和电子设备,以至少解决现有技术中多源异构数据流的策略计算的效率较低的问题。

2、为了实现上述目的,根据本申请的一个方本文档来自技高网...

【技术保护点】

1.一种基于Flink的多源异构数据流的处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据所述目标计算策略,对所述标准化特征数据流进行策略计算,得到策略计算结果,包括:

3.根据权利要求2所述的方法,其特征在于,应用所述窗口聚合子策略对所述外部聚合数据和所述标准化特征数据流聚合计算,得到聚合计算结果,包括:

4.根据权利要求1所述的方法,其特征在于,从所述分布式配置中心中获取与所述多源异构数据流对应的目标特征提取规则,包括:

5.根据权利要求1所述的方法,其特征在于,各所述预设计算策略分别包括一个预设标识符,从所述...

【技术特征摘要】

1.一种基于flink的多源异构数据流的处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据所述目标计算策略,对所述标准化特征数据流进行策略计算,得到策略计算结果,包括:

3.根据权利要求2所述的方法,其特征在于,应用所述窗口聚合子策略对所述外部聚合数据和所述标准化特征数据流聚合计算,得到聚合计算结果,包括:

4.根据权利要求1所述的方法,其特征在于,从所述分布式配置中心中获取与所述多源异构数据流对应的目标特征提取规则,包括:

5.根据权利要求1所述的方法,其特征在于,各所述预设计算策略分别包括一个预设标识符,从所述分布式配置中心中获取与所述标准化特征数据流对应的目标计算策略,包括:

6.根据权利要求1所述的方法,其特征在于,

7.根据权利...

【专利技术属性】
技术研发人员:邱娇娇吴文娟孙庆贺路承纬张琦
申请(专利权)人:中国邮政储蓄银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1