数据处理方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:41618903 阅读:15 留言:0更新日期:2024-06-13 02:21
本申请涉及一种数据处理方法、装置、计算机设备及存储介质,应用于计算机技术领域,可用于金融科技领域或其他相关领域。方法包括:获取数据处理节点对应的各数据库,并确定各数据库对应的数据源;将各数据源加载至动态数据源配置程序中,并将各数据库与各数据源之间的对应关系,添加至动态数据源配置程序的配置文件中,其中,动态数据源配置程序用于在数据库调用动态数据源配置程序时,根据配置文件确定数据库对应的目标数据源,并将目标数据源设置为动态数据源配置程序的当前数据源;向各数据库下发作业执行指令,以使得各数据库通过调用动态数据源配置程序,从当前数据源中读取数据。采用本方法能够节省数据处理节点资源。

【技术实现步骤摘要】

本申请涉及计算机,特别是涉及一种数据处理方法、装置、计算机设备及存储介质


技术介绍

1、随着it技术的飞速发展,分布式数据存储方式成为分布式体系下的主流数据存储方式。但数据库上游应用可能并未使用分布式体系,导致上游应用向分布式数据库输送的是未经分片的批量数据文件。

2、现有技术中,通常为每一个分布式数据库设置一个用于导入数据的数据处理节点,数据处理节点根据分片规则确定本节点对应的数据库需要储存的子文件,将子文件导入至数据处理节点对应的数据库中。

3、然而,这种方式存在设置数据处理节点过多,导致资源浪费的问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种数据处理方法、装置、计算机设备及存储介质。

2、第一方面,本申请提供了一种数据处理方法,其特征在于,应用于数据处理节点,所述方法包括:

3、获取所述数据处理节点对应的各数据库,并确定各所述数据库对应的数据源;

4、将各所述数据源加载至动态数据源配置程序中,并将各所述数据库与各所述数据源本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,应用于数据处理节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将各所述数据库与各所述数据源之间的对应关系,添加至所述动态数据源配置程序的配置文件中,包括:

3.根据权利要求1所述的方法,其特征在于,所述向各所述数据库下发作业执行指令之前,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述根据各所述数据库的所述数据读取结果执行目标操作,包括:

5.根据权利要求1所述的方法,其特征在于,所述数据处理节点对应的各数据库是控制节点根据所述数据处理节点的位置、所述数据处理节点的负载、...

【技术特征摘要】

1.一种数据处理方法,其特征在于,应用于数据处理节点,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将各所述数据库与各所述数据源之间的对应关系,添加至所述动态数据源配置程序的配置文件中,包括:

3.根据权利要求1所述的方法,其特征在于,所述向各所述数据库下发作业执行指令之前,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述根据各所述数据库的所述数据读取结果执行目标操作,包括:

5.根据权利要求1所述的方法,其特征在于,所述数据处理节点对应的各数据库是控制节点根据所述数据处理节点的位置、所述数据处理节点的负载、所述数据处理节点的网络参数中的至少一项确定的。

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在...

【专利技术属性】
技术研发人员:李秋爽张宏根
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1