【技术实现步骤摘要】
业务数据处理方法、装置、电子设备及存储介质
[0001]本公开涉及大数据处理
,尤其涉及一种业务数据处理方法、装置、电子设备及存储介质。
技术介绍
[0002]在大数据处理
,联机分析处理(On Line Analytic Processing,OLAP)在各行各业的业务数据处理任务中扮演着重要角色,随着实时数据处理方法的普及,基于实时数据处理引擎Flink的OLAP处理方法,也成为各行业的业务数据处理工作中必要的一环。
[0003]相关技术中,通常基于Flink的窗口函数实现对业务数据的OLAP处理,即可以预先设置时窗,而后,获取该时窗内所包含全部数据,并对该时窗所包含全部数据进行OLAP处理。
[0004]这种方式下,在获取时窗内所包含全部数据的过程中,会存在等待数据的现象,因而,导致数据对资源的占用率过高。
技术实现思路
[0005]本公开提出了一种业务数据处理方法、装置、电子设备及存储介质,旨在至少在一定程度上解决相关技术中的技术问题之一。
[0006]本公开第一方 ...
【技术保护点】
【技术特征摘要】
1.一种业务数据处理方法,其特征在于,被实时数据处理引擎执行,所述方法包括:获取第一业务数据;根据所述第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,所述数据获取消息参考数据处理周期生成,所述数据处理周期由所述数据类型确定;接收所述目标数据库发送的第二业务数据,其中,所述第二业务数据是所述目标数据库基于所述数据处理周期查询得到;以及聚合所述第一业务数据和所述第二业务数据,得到目标业务数据。2.如权利要求1所述的方法,其特征在于,所述方法还包括:确定所述第一业务数据的获取时间信息;根据所述数据处理周期和所述获取时间信息,生成数据存储消息,其中,所述数据存储消息用于将所述目标业务数据存储至所述目标数据库;以及向所述目标数据库发送所述数据存储消息和所述目标业务数据。3.如权利要求2所述的方法,其特征在于,所述根据所述数据处理周期和所述获取时间信息,生成数据存储消息,包括:获取所述第一业务数据所属数据源的源标识;根据所述源标识、所述数据处理周期,以及所述获取时间信息,生成所述目标业务数据的索引项;以及根据所述目标业务数据和所述索引项,生成所述数据存储消息,其中,所述数据存储消息用于基于所述索引项将所述目标业务数据存储至所述目标数据库。4.如权利要求3所述的方法,其特征在于,所述根据所述源标识、所述数据处理周期,以及所述获取时间信息,生成所述目标业务数据的索引项,包括:获取所述数据处理周期对应的周期标识;根据所述获取时间信息和所述周期标识,生成处理时间标识;以及对所述源标识、所述周期标识,以及所述处理时间标识进行拼接,并将拼接所得结果作为所述目标业务数据的索引项。5.如权利要求4所述的方法,其特征在于,所述根据第一业务数据的数据类型,向目标数据库发送数据获取消息,其中,所述数据获取消息参考数据处理周期生成,所述数据处理周期由所述数据类型确定,包括:根据所述获取时间信息和所述数据处理周期,生成获取时间标识;根据所述获取时间标识,生成所述数据获取消息,其中,所述获取时间标识用于使所述目标数据库查询得到所述第二业务数据;向所述目标数据库发送所述数据获取消息。6.如权利要求2所述的方法,其特征在于,所述方法还包括:根据所述目标业务数据,生成数据更新消息,其中,所述数据更新消息用于更新所述目标数据库中的所述第二业务数据;向所述目标数据库发送所述数据更新消息。7.如权利要求2所述的方法,其特征在于,所述方法还包括:根据所述第一业务数据的数据类型,确定数据存储的时长阈值;确定所述目标业务数据在所述目标数据库中的存储时长;
如果所述存储时长达到所述时长阈值,则生成数据释放消息,其中,所述数据释放消息用于释放所述目标数据库中的所述目标业务数据;向所述目标数据库发送所述数据释放消息。8.如权利要求1
‑
7任一项所述的方法,其特征在于,所述方法还包括:接收数据查询请求,其中,所述数据查询请求包括:源标识、数据类型,以及获取时间信息;根据所述数据类型,确定所述数据处理周期;根据所述源标识、所述获取时间信息,以及所述数据处理周期,生成数据查询消息,其中,所述数据查询消息用于从所述目标数据库中查询所述目标业务数据;向所述目标数据库发送所述数据查询消息。9.一种业务数据处理方法,其特征在于,被目标数据库执行,所述方法包括:接收实时数据处理引擎发送的数据获...
【专利技术属性】
技术研发人员:刘增文,覃鹏,陈大平,李威,王泽龙,周建,康伟洲,吴晓文,
申请(专利权)人:建信金融科技有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。