数据迁移方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:26342390 阅读:30 留言:0更新日期:2020-11-13 20:33
本申请涉及一种数据迁移方法、装置、计算机设备和存储介质,涉及云计算领域。所述方法包括:接收数据迁移请求,数据迁移请求包括源端服务器地址和目标端服务器地址;根据源端服务器地址获取源端数据信息,源端数据信息中包括逻辑数据库;统计源端数据信息中逻辑数据库的数量,得到第一数值;启动与第一数值相同数量的同步节点,每个同步节点对应一个逻辑数据库;各个同步节点根据目标端服务器地址,同步对应的逻辑数据库中的数据。通过在服务器上设置与源端服务器中的逻辑数据库相同数量的同步节点,且各个同步节点分布多个服务器上,在单个服务器磁盘空间有限的情况依旧可以启动多个同步节点,加快数据迁移速率。

Data migration methods, devices, computer devices, and storage media

【技术实现步骤摘要】
数据迁移方法、装置、计算机设备和存储介质
本申请涉及计算机
,尤其涉及一种数据迁移方法、装置、计算机设备和存储介质。
技术介绍
随着时间的积累,存储在MongoDB的数据不断增加,当需要对MongoDB内核进行升级操作,需要对MongoDB的数据进行数据迁移。目前数据迁移的方式主要包括物理迁移和逻辑迁移。物理迁移依赖服务器的存储空间,而服务器(源端服务器)的磁盘空间较为有限,当存量数据量级较高时,在执行数据迁移时,受到源端服务器磁盘空间的限制,数据迁移速度慢。
技术实现思路
为了解决上述技术问题,本申请提供了一种数据迁移方法、装置、计算机设备和存储介质。第一方面,本申请提供了一种数据迁移方法,包括:接收数据迁移请求,所述数据迁移请求包括源端服务器地址和目标端服务器地址;根据所述源端服务器地址获取源端数据信息,所述源端数据信息中包括逻辑数据库;统计所述源端数据信息中所述逻辑数据库的数量,得到第一数值;启动与所述第一数值相同数量的同步节点,每个所述同步节点对应一个所述逻辑数据库;...

【技术保护点】
1.一种数据迁移方法,其特征在于,所述方法包括:/n接收数据迁移请求,所述数据迁移请求包括源端服务器地址和目标端服务器地址;/n根据所述源端服务器地址获取源端数据信息,所述源端数据信息中包括逻辑数据库;/n统计所述源端数据信息中所述逻辑数据库的数量,得到第一数值;/n启动与所述第一数值相同数量的同步节点,每个所述同步节点对应一个所述逻辑数据库;/n各个所述同步节点根据所述目标端服务器地址,同步对应的所述逻辑数据库中的数据。/n

【技术特征摘要】
1.一种数据迁移方法,其特征在于,所述方法包括:
接收数据迁移请求,所述数据迁移请求包括源端服务器地址和目标端服务器地址;
根据所述源端服务器地址获取源端数据信息,所述源端数据信息中包括逻辑数据库;
统计所述源端数据信息中所述逻辑数据库的数量,得到第一数值;
启动与所述第一数值相同数量的同步节点,每个所述同步节点对应一个所述逻辑数据库;
各个所述同步节点根据所述目标端服务器地址,同步对应的所述逻辑数据库中的数据。


2.根据权利要求1所述的方法,其特征在于,所述逻辑数据库中包括逻辑数据表,所述各个所述同步节点根据所述目标端服务器地址,同步所述逻辑数据库中的数据,包括:
当前同步节点的线程根据所述目标端服务器地址,同步所述逻辑数据表,其中,每个所述逻辑数据表对应一个所述线程。


3.根据权利要求2所述的方法,其特征在于,所述逻辑数据表中包括文档数据和索引数据,所述当前同步节点的线程根据所述目标端服务器地址,同步所述逻辑数据表,包括:
所述当前同步节点的当前线程根据所述目标端服务器地址,同步所述逻辑数据表的文档数据;
在所述当前同步节点的当前线程同步完成所述逻辑数据表的文档数据之后,通过所述当前同步节点的当前线程同步所述逻辑数据表中的所述索引数据。


4.根据权利要求3所述的方法,其特征在于,所述采用所述当前同步节点的当前线程同步所述逻辑数据表中的所述索引数据,包括:
通过所述当前同步节点的当前线程,采用前台建立索引的方式同步所述逻辑数据表中的所述索引数据。


5.根据权利要求3所述的方法,其特征在于,所述当前同步节点的当前线程根据目标端服务器地址,同步所述逻辑数据表的文档数据,包括:
通过所述当前同步节点的当前线程,根据所述源端服务器的驱动从所述源端获取数据表的文档数据;
通过所述当前同步节点的当前线程,所述驱动将所述数据表的文档数据写入所述目标端服务器地址对应的目标端服务器。


6.根据权利要求3所述的方法,其特征在于,所述方法还包括:
在所述当前同步节点的当前线程同步完所述逻辑数据表中的所述索引数据之后,将所述当前同步节点的当前线程的任务完成的信息上报至所述当前同步节点,生成用于停止所述当前同步节点的当前线程的停止指令,执行所述停止指令。


7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在所述当前同步节点的每个线程同步完所述逻辑数据表中的所述索引数据之后,将所述当前节点的任务完成的信息上报至控制节点,生成用于关闭所述当前同步节点的关闭指令,执行所述关闭指令。


8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
当所述控制节点接收到全部的所述同步节点上报的任务完成的信息时,将所述数据迁移请求的任务状态修改为已完成。


9.一种数据迁移装置,其特征在于,所述装置包括:
请求接收模块,用于接收数据迁移请求,所述...

【专利技术属性】
技术研发人员:陈青松
申请(专利权)人:北京金山云网络技术有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1