System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据库的迁移方法、装置及电子设备制造方法及图纸_技高网

数据库的迁移方法、装置及电子设备制造方法及图纸

技术编号:42865266 阅读:18 留言:0更新日期:2024-09-27 17:27
本申请公开了一种数据库的迁移方法、装置及电子设备。涉及大数据领域,该方法包括:通过函数计算平台从目标客户端获取迁移配置信息,其中,迁移配置信息中包括源数据库的第一描述信息和目标数据库的第二描述信息;在根据第一描述信息和第二描述信息确定源数据库和目标数据库各自对应的数据类型存在差异的情况下,在函数计算平台中,将从源数据库获取的第一数据类型的第一数据映射为第二数据类型的第二数据;将第二数据类型的第二数据导入目标数据库;向目标客户端返回用于指示第二数据的导入结果的指示信息。通过本申请,解决了相关技术中数据库迁移效率低、不支持增量数据比对的问题。

【技术实现步骤摘要】

本申请涉及大数据领域,具体而言,涉及一种数据库的迁移方法、装置及电子设备


技术介绍

1、数据库迁移是一项复杂而常见的任务,企业和组织需要将数据从一个数据库系统转移到另一个。现有的数据库迁移方案一般包含sql脚本迁移、etl工具迁移以及云数据库服务迁移等;

2、sql脚本迁移在手动编写sql脚本的过程中可能出错,尤其是对于大型数据库,且无法实现实时数据同步,迁移期间可能会丧失数据一致性。etl工具通常比较昂贵,并且需要专业的培训,因此不适用于小型项目。云数据库服务迁移需要数据库本身是云数据库,这样需要持续的云服务费用。

3、此外,这些数据库迁移方案在原有数据库数据导入新数据库,调用新接口生成数据、核对数据等步骤都需要开发人员手工操作,无疑增加了人工学习和工作成本。且现有方案不支持增量数据比对;针对相关技术中数据库迁移效率低、不支持增量数据比对的技术问题,目前尚未提出有效的解决方案。


技术实现思路

1、本申请的主要目的在于提供一种数据库的迁移方法、装置及电子设备,以解决相关技术中数据库的迁移方法存在迁移效率低、不支持增量数据比对的技术问题。

2、为了实现上述目的,根据本申请的一个方面,提供了一种数据库的迁移方法。该方法包括:通过函数计算平台从目标客户端获取迁移配置信息,其中,上述迁移配置信息中包括源数据库的第一描述信息和目标数据库的第二描述信息;在根据上述第一描述信息和上述第二描述信息确定上述源数据库和上述目标数据库各自对应的数据类型存在差异的情况下,在上述函数计算平台中,将从上述源数据库获取的第一数据类型的第一数据映射为第二数据类型的第二数据;将上述第二数据类型的上述第二数据导入上述目标数据库;向上述目标客户端返回用于指示上述第二数据的导入结果的指示信息。

3、为了实现上述目的,根据本申请的另一方面,提供了一种数据库的迁移装置。该装置包括:获取单元,通过函数计算平台从目标客户端获取迁移配置信息,其中,上述迁移配置信息中包括源数据库的第一描述信息和目标数据库的第二描述信息;确定单元,在根据上述第一描述信息和上述第二描述信息确定上述源数据库和上述目标数据库各自对应的数据类型存在差异的情况下,在上述函数计算平台中,将从上述源数据库获取的第一数据类型的第一数据映射为第二数据类型的第二数据;导入单元,将上述第二数据类型的上述第二数据导入上述目标数据库;提示单元,向上述目标客户端返回用于指示上述第二数据的导入结果的指示信息。

4、可选地,上述数据库的迁移装置还包括:第一导入单元,用于在上述第二数据为有效数据的情况下,将上述第二数据类型的上述第二数据导入上述目标数据库,并向上述目标客户端返回第一指示信息,其中,上述第一指示信息用于指示上述第二数据已导入上述目标数据库;在上述第二数据为无效数据的情况下,获取上述第二数据的异常描述信息;根据上述异常描述信息生成第二指示信息,其中,上述第二指示信息用于指示上述第二数据导入上述目标数据库失败。

5、可选地,上述第一导入单元包括:第一获取单元,用于获取上述目标数据库中的第二数据集合,以及上述源数据库中与上述第二数据集合匹配的第一数据集合;根据上述第二数据集合和上述第一数据集合确定上述目标数据库与上述源数据库之间的核对结果,其中,上述核对结果用于指示上述第二数据集合与上述第一数据集合之间的一致性;根据上述核对结果向上述目标客户端返回第三指示信息。

6、可选地,上述确定单元包括:第二获取单元,用于通过数据接口从上述源数据库中获取第一数据集合;获取上述第一数据集合的数据过滤结果,其中,过滤后的上述第一数据集合中包括上述第一数据类型的上述第一数据。

7、可选地,上述导入单元包括:处理单元,用于根据当前待执行的数据处理任务确定数据处理进程的进程数量,其中,上述数据处理任务包括数据过滤任务,数据映射任务和一致性校验任务,上述数据过滤任务用于过滤上述源数据库中的上述第一数据集合中的冗余数据,上述数据映射任务用于将上述第一数据类型的上述第一数据映射为上述第二数据类型的上述第二数据,上述一致性校验任务用于确定上述目标数据库中的第二数据集合与上述源数据库中与上述第二数据集合匹配的第一数据集合之间的一致性;根据上述进程数量创建多个上述数据处理进程;根据多个上述数据处理进程并行执行上述数据处理任务。

8、可选地,上述处理确定单元包括:检测单元,用于在检测到上述源数据库中新增了第一参考数据集,且上述目标数据库中新增了第二参考数据集的情况下,获取上述第一参考数据集和上述第二参考数据集的参考核对结果;在上述参考核对结果指示上述第一参考数据集和上述第二参考数据集之间的一致性满足目标条件的情况下,向上述目标客户端返回上述第三指示信息;在上述参考核对结果指示上述第一参考数据集和上述第二参考数据集之间的一致性不满足目标条件的情况下,向上述目标客户端返回第四指示信息,其中,上述第四指示信息用于指示上述第一参考数据集和上述第二参考数据集之间的数据差异。

9、可选地,上述处理包括:查询单元,用于获取多个上述数据处理进程并行执行上述数据处理任务的执行结果;将多个上述数据处理任务各自的上述执行结果存储在数据库迁移日志中;响应于上述目标客户端发送的结果查询请求,从上述数据库迁移日志中获取与上述结果查询请求匹配的执行结果。

10、为了实现上述目的,根据本申请的又一方面,提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述数据库的迁移方法。

11、为了实现上述目的,根据本申请的又一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述数据库的迁移方法。

12、为了实现上述目的,根据本申请的又一方面,提供了一种处理器,用于运行程序,其中,上述程序运行时执行上述数据库的迁移方法。

13、为了实现上述目的,根据本申请的又一方面,提供了一种电子设备,包括一个或多个处理器和存储器,上述存储器用于存储一个或多个程序,其中,当上述一个或多个程序被一个或多个处理器运行时,使得上述一个或多个处理器执行上述数据库的迁移方法。

14、通过本申请,采用以下步骤:通过函数计算平台从目标客户端获取迁移配置信息,其中,迁移配置信息中包括源数据库的第一描述信息和目标数据库的第二描述信息;在根据第一描述信息和第二描述信息确定源数据库和目标数据库各自对应的数据类型存在差异的情况下,在函数计算平台中,将从源数据库获取的第一数据类型的第一数据映射为第二数据类型的第二数据;将第二数据类型的第二数据导入目标数据库;向目标客户端返回用于指示第二数据的导入结果的指示信息,解决了相关技术中数据库的迁移效率低的技术问题,实现了提高数据迁移效率的效果。

本文档来自技高网...

【技术保护点】

1.一种数据库的迁移方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述在所述函数计算平台中,将从所述源数据库获取的第一数据类型的第一数据映射为第二数据类型的第二数据之后,包括:

3.根据权利要求2所述的方法,其特征在于,所述将所述第二数据类型的所述第二数据导入所述目标数据库之后,还包括:

4.根据权利要求1所述的方法,其特征在于,所述将从所述源数据库获取的第一数据类型的第一数据映射为第二数据类型的第二数据之前,还包括:

5.根据权利要求1-3任一项所述的方法,其特征在于,还包括:

6.根据权利要求5所述的方法,其特征在于,所述将所述第二数据类型的所述第二数据导入所述目标数据库之后,还包括:

7.根据权利要求5所述的方法,其特征在于,所述根据多个所述数据处理进程并行执行所述数据处理任务之后,还包括:

8.一种数据库的迁移装置,其特征在于,包括:

9.一种计算机可读的存储介质,其特征在于,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行所述权利要求1至7任一项中所述的方法。

10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的方法。

11.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任意一项所述方法的步骤。

...

【技术特征摘要】

1.一种数据库的迁移方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述在所述函数计算平台中,将从所述源数据库获取的第一数据类型的第一数据映射为第二数据类型的第二数据之后,包括:

3.根据权利要求2所述的方法,其特征在于,所述将所述第二数据类型的所述第二数据导入所述目标数据库之后,还包括:

4.根据权利要求1所述的方法,其特征在于,所述将从所述源数据库获取的第一数据类型的第一数据映射为第二数据类型的第二数据之前,还包括:

5.根据权利要求1-3任一项所述的方法,其特征在于,还包括:

6.根据权利要求5所述的方法,其特征在于,所述将所述第二数据类型的所述第二数据导入所述目标数据库之后,还包括:

7...

【专利技术属性】
技术研发人员:董建杭沈树茂
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1