一种基于迁移链表的异构数据库迁移管理方法及系统技术方案

本发明专利技术公开了一种基于迁移链表的异构数据库信息迁移的管理方法及系统。根据迁移信息的种类，展开第一数据库的多个关系节点，读取关系节点的存储信息，生成第一映射表，展开第二数据库的多个数据节点，读取数据节点的存储信息，生成第二映射表，建立第一数据关系节点与第二数据库数据节点的连接，生成多条迁移链表，基于迁移链表实现异构数据库的信息迁移。另外，本发明专利技术还通过服务器内虚拟机监测迁移链表数据节点的资源负载，切断资源负载过高的迁移链路，并将负载过高迁移链路的数据节点重新匹配最优化的关系节点，建立新的迁移路径，减轻数据节点的负载。轻数据节点的负载。轻数据节点的负载。

【技术实现步骤摘要】
一种基于迁移链表的异构数据库迁移管理方法及系统


[0001]本专利技术涉及异构数据迁移技术，尤其涉及一种基于迁移链表的异构数据库迁移管理方法及系统。

技术介绍

[0002]随着企业信息化建设程度的不断提高，信息系统的更换换代频率不断提高，在部分应用场景下，异构数据库的业务数据转移需要负担额外的工作量，且异构数据库信息迁移的不稳定性更强，节点与节点之间的数据流传输可能会出现负载过高、传输效率低下等现实问题。现有技术中，CN109101627B公开了一种异构数据库同步方法及装置，能够避免与源端应用争抢数据库资源的基础上，有效实现异构数据库数据的同步传输，相对而言提升了异构数据库信息传输的效率。此外，CN111984621B公开了一种异构数据库迁移方法、装置及存储介质，结合底层数据库源表之间的依赖关系进行分组，针对不同迁移任务采用不同的源数据库的数据传输方法。上述公开的技术方案没有考虑到数据库迁移后数据的无序性以及数据丢失的实际问题，且对于大规模、高负载条件下的异构数据库信息迁移没有提出有效的技术手段解决这一技术问题。因此，现有技术有必要进一步改进。

技术实现思路

[0003]针对上述问题，本专利技术提供了一种基于迁移链表的异构数据库迁移管理方法。该管理方法用于关系型数据库与文档型数据库之间的大规模信息迁移，通过确定迁移信息的种类，建立第一数据库关系节点与第二数据库数据节点之间的连接，并通过在服务器内配置虚拟机监测关系节点与数据节点迁移链表的资源负载，匹配最优化的关系节点与数据节点迁移路径。进一步的，本专利技术还提供了一种基于迁移链表的用于异构数据库迁移管理方法的管理系统。
[0004]本申请的专利技术目的可通过以下技术手段实现：一种基于迁移链表的异构数据库迁移管理方法，包括以下步骤：步骤1：服务器内配置有多个虚拟机，虚拟机接收来自用户端的迁移指令，生成至少一个的配置信息表，并发送至多个备查模块；步骤2：第一备查模块K1关闭第一数据库的传输通道，基于配置信息表生成多个第一标签，第一数据库接入服务器；步骤3：第一数据库读取第一标签，并展开第一标签中的n个关系节点，读取n个关系节点的存储信息，生成第一映射表，发送至迁移模块；步骤4：迁移模块遍历除第一备查模块K1以外的备查模块，选定至少一个的第二备查模块K2为迁移对象；步骤5：第二备查模块K2关闭第二数据库的传输通道，基于配置信息表生成多个第二标签，第二数据库接入服务器；步骤6：第二数据库读取第二标签，并展开m个数据节点，读取数据节点的存储信
息，生成第二映射表，发送至迁移模块；步骤7：迁移模块建立第一映射表与第二映射表的连接，其中，n个关系节点与m个数据节点基于配置信息表相互匹配，n≤m，建立第一迁移链表V
i
，i=1,2,
…
,n，未完成配置信息表匹配的m
‑
n个数据节点进入空闲状态，进入第一迁移期；步骤8：虚拟机基于迁移链表迁移数据，虚拟机周期性遍历n条迁移链表，获取已经匹配的数据节点的资源负载，若第一迁移链表V
i
的资源负载G满足G＜T，则维持该迁移链表不变，进入步骤10，反之，进入步骤9，T为预设的负载阈值；步骤9：虚拟机切断第一迁移链表V
i
，第一迁移链表V
i
对应的关系节点P
i
进入迁移等待池，迁移链表V
i
对应的数据节点R
i
进入空闲状态，虚拟机生成一日志文件至迁移模块；步骤10：若第一迁移期结束，进入步骤11，否则返回至步骤8；步骤11：迁移等待池内包含k个关系节点，k≤n，迁移模块基于日志文件和配置信息表匹配关系节点P
i
与数据节点R
i
，i=1,2,
…
,k，建立第二迁移链表V
i
＇，进入第二迁移期，完成数据传输。
[0005]在本专利技术中，迁移模块根据未完成配置信息表匹配的m
‑
n个数据节点，生成m
‑
n个数据需求表，并将数据需求表发送至用户端。
[0006]在本专利技术中，迁移指令通过迁移模块选取第二数据库，配置信息表包括所属服务器、所属数据库、所属文档、迁移文档上限、缓存信息。
[0007]在本专利技术中，第一映射表为群组工作平台发文表单，群组工作平台发文表单按读取顺序依次包括拟稿人、标题、正文、附件、审批记录，第二映射表为EKP发文表单，EKP发文表单按照读取顺序依次包括标题、拟稿人、正文、附件、审批记录。
[0008]在本专利技术中，服务器中生成多个文档对象，所述多个文档对象为第一标签。
[0009]在本专利技术中，服务器中生成多个模型类代码，绑定来自模型中至少一个的属性值，该属性值为第二标签。
[0010]在本专利技术中，虚拟机计算n条迁移链表的资源占用率，获取资源负载G包括I/O负荷g1、存储负荷g2、网络负荷g3，G=(w1g1+w2g2+w3g3)/(w1+w2+w3)，其中，w1为I/O负荷g1的权值，w2为存储负荷g2的权值，w3为网络负荷g3的权值。
[0011]在本专利技术中，I/O负荷g1=F
in
/(1
‑
F)，存储负荷g2=L
in
/(1
‑
L)，网络负荷g2=B
in
/(1
‑
B)，其中，i=1,2,
…
,n，F
in
为数据节点i的I/O占用率，F为第二数据库的I/O占用率，L
in
为数据节点i的空间占用率，L为第二数据库的空间占用率，B
in
为数据节点i的网络占用率，B为第二数据库的网络占用率。
[0012]本专利技术中，步骤7中，n个关系节点读取配置信息表，生成一索引符，m个数据节点读取配置信息表，生成一标识符，索引符与标识符配对，建立n个关系节点传输数据流至m个数据节点。
[0013]一种基于迁移链表的异构数据库迁移管理方法的管理系统，包括：第一数据库、第二数据库、服务器、迁移模块、多个备查模块、用户端，第一数据库为待传输数据库，应用于群组工作平台的数据库组件；第二数据库为待接收数据库，应用于Java Spring框架下的任意数据库组件；服务器与第一数据库、第二数据库相连接，服务器包括多个虚拟机，虚拟机对第一数据库中n个关系节点以及第二数据中m个数据节点的资源参数进行监控，计算n个关系节
点与m个数据节点的资源负载G；迁移模块用于接收第一数据库与第二数据库的第一映射表与第二映射表，建立第一数据库n个关系节点与第二数据库m个数据节点的配对，其中包含迁移等待池，所述迁移等待池中存储有资源负载G＜T的迁移链表所对应的关系节点信息；多个备查模块分别对应唯一一个数据库，其中包括第一备查模块K1、第二备查模块K2，第一备查模块K1具有可调用第一数据库的所有权限，第二备查模块K2具有可调用第二数据的所有权限；用户端为计算机平台上基于.net构建的数据迁移平本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于迁移链表的异构数据库迁移管理方法，其特征在于，包括以下步骤：步骤1：服务器内配置有多个虚拟机，虚拟机接收来自用户端的迁移指令，生成至少一个配置信息表，并发送至多个备查模块；步骤2：第一备查模块K1关闭第一数据库的传输通道，基于配置信息表生成多个第一标签，第一数据库接入服务器；步骤3：第一数据库读取第一标签，并展开第一标签中的n个关系节点，读取n个关系节点的存储信息，生成第一映射表，发送至迁移模块；步骤4：迁移模块遍历除第一备查模块K1以外的备查模块，选定至少一个第二备查模块K2为迁移对象；步骤5：第二备查模块K2关闭第二数据库的传输通道，基于配置信息表生成多个第二标签，第二数据库接入服务器；步骤6：第二数据库读取第二标签，并展开m个数据节点，读取数据节点的存储信息，生成第二映射表，发送至迁移模块；步骤7：迁移模块建立第一映射表与第二映射表的连接，其中，n个关系节点与m个数据节点基于配置信息表相互匹配，n≤m，建立第一迁移链表V
i
，i=1,2,
…
,n，未完成配置信息表匹配的m
‑
n个数据节点进入空闲状态，进入第一迁移期；步骤8：虚拟机基于迁移链表迁移数据，虚拟机周期性遍历n条迁移链表，获取已经匹配的数据节点的资源负载，若第一迁移链表V
i
的资源负载G满足G＜T，则维持该迁移链表不变，进入步骤10，反之，进入步骤9，T为预设的负载阈值；步骤9：虚拟机切断第一迁移链表V
i
，第一迁移链表V
i
对应的关系节点P
i
进入迁移等待池，迁移链表V
i
对应的数据节点R
i
进入空闲状态，虚拟机生成一日志文件至迁移模块；步骤10：若第一迁移期结束，进入步骤11，否则返回至步骤8；步骤11：迁移等待池内包含k个关系节点，k≤n，迁移模块基于日志文件和配置信息表匹配关系节点P
i
与数据节点R
i
，i=1,2,
…
,k，建立第二迁移链表V
i
＇，进入第二迁移期，完成数据传输。2.根据权利要求1所述的基于迁移链表的异构数据库迁移管理方法，其特征在于，迁移模块根据未完成配置信息表匹配的m
‑
n个数据节点，生成m
‑
n个数据需求表，并将数据需求表发送至用户端。3.根据权利要求1所述的基于迁移链表的异构数据库迁移管理方法，其特征在于，迁移指令通过迁移模块选取第二数据库，配置信息表包括所属服务器、所属数据库、所属文档、迁移文档上限、缓存信息。4.根据权利要求1所述的基于迁移链表的异构数据库迁移管理方法，其特征在于，第一映射表为群组工作平台发文表单，群组工作平台发文表单按读取顺序依次包括拟稿人、标题、正文、附件、审批记录，第二映射表为EKP发文表单...

【专利技术属性】
技术研发人员：邱春新，张佳，梁高恒，
申请(专利权)人：江西师范大学，
类型：发明
国别省市：