一种实时数据的打宽方法及相关设备技术

技术编号:41472827 阅读:36 留言:0更新日期:2024-05-30 14:25
本申请提供的一种实时数据的打宽方法及相关设备,应用于互联网数据处理技术领域,目标实时流应用获取实时数据和实时数据的标识信息,并根据标识信息从配置中心获取目标打宽数据消费系统中带有标识信息的打宽任务,再根据预设数据结构模板和打宽任务对实时数据进行结构转换,进而根据转换后的实时数据中的主题从配置中心获取目标打宽数据消费系统所要消费的打宽数据,最后将打宽数据和转换后的实时数据进行组合,得到与目标打宽数据消费系统对应的宽表。使得一个实时流应用针对一个打宽数据消费系统生成一个该打宽数据消费系统自己的宽表。避免了在获得全部打宽数据消费系统所要消费的打宽数据后才生成公共宽表而导致的长时间占用系统的问题。

【技术实现步骤摘要】

本专利技术属于互联网数据处理,尤其涉及一种实时数据的打宽方法及相关设备


技术介绍

1、随着互联网技术的普及和迅猛发展,应用产生的数据量出现海量增长。为了能够从海量数据中提取出有价值的信息,大数据技术应运而生。利用大数据技术对海量数据信息进行有效挖掘,往往需要从不同维度进行数据的分析与对比。为了能够支持多维度的数据挖掘分析,在大数据存储中出现了通过打宽得到的宽表,宽表中除实时数据外,往往存在与实时数据相关的打宽数据,用以支撑各种维度的数据分析。因此,实时数据的打宽显得尤为重要。

2、当前,现有的实时数据的打宽方案是基于打宽任务进行打宽,每个打宽任务可能会涉及多个对打宽数据进行消费的外部系统(即打宽数据消费系统)。在现有的实时数据的打宽方案获得涉及的全部打宽数据消费系统所要消费的打宽数据后,可以根据打宽数据和实时数据生成一个公共宽表。

3、本申请专利技术人研究发现:现有的实时数据的打宽方案存在长时间占用系统的问题。


技术实现思路

1、鉴于上述问题,本申请提出一种实时数据的打宽方法及相关设本文档来自技高网...

【技术保护点】

1.一种实时数据的打宽方法,其特征在于,包括:

2.根据权利要求1所述的实时数据的打宽方法,其特征在于,所述预设数据结构模板包括公共子域、数据子域和扩展子域,所述转换后的实时数据包括公共子域数据、数据子域数据和扩展子域数据;

3.根据权利要求2所述的实时数据的打宽方法,其特征在于,所述目标实时流应用包括目标包装实时流应用,由所述目标包装实时流应用对所述实时数据进行结构转换,所述配置中心存储有包装实时流配置;

4.根据权利要求3所述的实时数据的打宽方法,其特征在于,所述目标实时流应用还包括目标打宽实时流应用,所述配置中心还存储有打宽实时流配置;

<...

【技术特征摘要】

1.一种实时数据的打宽方法,其特征在于,包括:

2.根据权利要求1所述的实时数据的打宽方法,其特征在于,所述预设数据结构模板包括公共子域、数据子域和扩展子域,所述转换后的实时数据包括公共子域数据、数据子域数据和扩展子域数据;

3.根据权利要求2所述的实时数据的打宽方法,其特征在于,所述目标实时流应用包括目标包装实时流应用,由所述目标包装实时流应用对所述实时数据进行结构转换,所述配置中心存储有包装实时流配置;

4.根据权利要求3所述的实时数据的打宽方法,其特征在于,所述目标实时流应用还包括目标打宽实时流应用,所述配置中心还存储有打宽实时流配置;

5.根据权利要求4所述的实时数据的打宽方法,其特征在于,所述扩展子域数据包括已完成打宽的主题列表、待完成打宽的主题列表和主题异常信息列表;<...

【专利技术属性】
技术研发人员:陈绍猛
申请(专利权)人:中国农业银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1