【技术实现步骤摘要】
一种数据导入方法、装置、服务平台及存储介质
[0001]本申请实施例涉及数据存储
,尤其涉及一种数据导入方法、装置、服务平台及存储介质。
技术介绍
[0002]信息业务的发展带来了数据量的与日俱增,数据库在信息业务系统中承担着不可或缺的数据桥梁作用。分布式数据库是用计算机网络将物理上分散的多个数据库单元连接起来组成的一个逻辑上统一的数据库,有着存储量大、业务并发量高、可扩展性好的特点,其应用日益广泛。在分布式数据库的应用场景中,数据的备份、恢复和迁移等是常见操作,这就要求数据库提供完备可靠的数据导入功能。
[0003]目前数据库的导入功能基本是通过业务数据插入的方式实现,也就是在数据库代理节点执行插入语句队列,由数据库代理节点完成业务数据的导入。这种导入技术成熟但性能低,尤其是在大数据量导入的情况下会对数据库代理节点造成较大的压力,而且耗时较长,效率低。
[0004]申请内容
[0005]本申请实施例提供一种数据导入方法、装置、服务平台及存储介质,在大数据文件导入数据库时提升导入效率。
...
【技术保护点】
【技术特征摘要】
1.一种数据导入方法,其特征在于,包括:确定待导入数据文件的目标存储节点;拆分所述待导入数据文件,得到预设数量的数据子文件导入所述目标存储节点,直至所述待导入数据文件拆分且导入完毕。2.根据权利要求1所述的方法,其特征在于,在拆分所述待导入数据文件之前,还包括:校验所述待导入数据文件。3.根据权利要求2所述的方法,其特征在于,所述确定待导入数据文件的目标存储节点,包括:获取数据导入请求,所述数据导入请求包括地址信息、库信息和表信息;根据所述地址信息,获取所述待导入数据文件;根据所述库信息和表信息,确定目标数据库,并将所述目标数据库记为所述待导入数据文件的目标存储节点。4.根据权利要求2所述的方法,其特征在于,所述拆分所述待导入数据文件,得到预设数量的数据子文件导入所述目标存储节点,直至所述待导入数据文件拆分且导入完毕,包括:如果校验成功,根据配置文件中拆分文件的参数信息拆分所述待导入数据文件,得到数据子文件;当所述数据子文件的数量达到预设数量时,将预设数量的数据子文件导入所述目标存储节点,直至所述待导入数据文件拆分且导入完毕。5.根据权利要求3所述的方法,其特征在于,所述校验所述待导入数据文件,包括:根据所述表...
【专利技术属性】
技术研发人员:王晋花,朱柯见,卢家顺,刘志文,付裕,吕达,
申请(专利权)人:中兴通讯股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。