数据导入方法、装置、计算机设备、可读存储介质和程序产品制造方法及图纸

技术编号:43870998 阅读:33 留言:0更新日期:2024-12-31 18:55
本申请涉及大数据处理技术领域,具体公开了一种数据导入方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。所述方法包括:对待导入数据集合进行划分,得到多种业务类型各自的业务数据集合;基于多种业务类型各自的业务数据之间的数据依赖关系,确定多种业务类型各自的业务数据集合的导入优先级,并根据导入优先级,将多种业务类型各自的业务数据集合依次作为目标数据集合执行数据导入;针对每次数据导入,当目标数据集合的数据量满足拆分导入条件,对目标数据集合进行拆分,得到多个目标数据子集;对多个目标数据子集分别执行数据导入,得到目标数据集合的数据导入结果。采用本方法能够提高数据导入效率。

【技术实现步骤摘要】

本申请涉及大数据处理,特别是涉及一种数据导入方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。


技术介绍

1、随着大数据处理技术的发展,出现了数据导入技术。数据导入技术是指将外部数据源的数据迁移到目标系统或数据库的过程,这个过程通常涉及数据的清洗、转换和加载,以确保数据的准确性和可用性。数据导入技术在多个领域都有广泛的应用,包括但不限于精准推荐、知识图谱等。传统技术中,数据导入的方式为,将所有数据项的导入以及计算在同一个执行任务中顺序完成。

2、然而,传统方法,虽然数据导入时的运行逻辑较为简单,但是对执行数据导入的设备的资源使用效率较为低下,整个导入作业耗时非常大,存在数据导入效率低的问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高数据导入效率的数据导入方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面,本申请提供了一种数据导入方法,包括:

3、当接收到数据导入请求,获取所述数据导入请求对应的待导入数据集合,对所述本文档来自技高网...

【技术保护点】

1.一种数据导入方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述多个目标数据子集分别执行数据导入,得到所述目标数据集合的数据导入结果包括:

3.根据权利要求2所述的方法,其特征在于,所述通过所述第一子线程执行对所述目标数据子集的数据导入,得到所述目标数据子集的数据导入结果包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1至4任意一项所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1至4任意一项所述的方法,其特征在于,所述对所述待导入数据集合进行划...

【技术特征摘要】

1.一种数据导入方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述多个目标数据子集分别执行数据导入,得到所述目标数据集合的数据导入结果包括:

3.根据权利要求2所述的方法,其特征在于,所述通过所述第一子线程执行对所述目标数据子集的数据导入,得到所述目标数据子集的数据导入结果包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1至4任意一项所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1至4任意一项所述的方法,其特征在于,所述对所述待导入数据集合进行划分,得到多种业务类型各自的业务数据集合包括:

7.一种数据导入装置,其特征在于,所述装置包括:

8.根据权利要求7所述的装置,其特征在于,所述导入模块包括:

9.根据权利要求8所述的装置,其特征在于,所述子线程单元,具体用于:

10.根据权利要求7所述的装置,其...

【专利技术属性】
技术研发人员:张鸿谢缘
申请(专利权)人:中国建设银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1