数据迁移系统和方法技术方案

本发明专利技术公开了一种数据迁移系统和方法,用于在数据服务器集群之间进行数据迁移，数据为与要迁移的业务相关的目标数据，该方法包括将第一数据服务器集群中存储的在第一时间点及该第一时间点之前写入的目标数据导入第二数据服务器集群；获得与在第一时间点之后写入第一数据服务器集群的目标数据相关联的操作日志；根据获得的操作日志更新第二数据服务器集群中的目标数据；检测第一数据服务器集群和第二数据服务器集群的目标数据是否已同步；以及在第一数据服务器集群和第二数据服务器集群的目标数据已同步之后，将连接数据服务器的入口地址由第一数据服务器集群的入口地址变更为第二数据服务器集群的入口地址。

【技术实现步骤摘要】
数据迁移系统和方法
本专利技术涉及数据存储
，具体涉及一种数据迁移系统和方法。
技术介绍
MongoDB（DataBase，数据库）是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，因此可以存储比较复杂的数据类型。由于MongoDB本身性能较好，因此在业务发展的早期，开发人员会将多个小的业务部署在一个少量服务器构成的小的Mongodb集群上。当业务逐渐发展，访问量越来越大，比如原有的某个或某几个业务的访问量增长迅速，形成大规模的业务，进而导致少量服务器构成的小集群已经无法满足业务需求了，此时就需要考虑如何增加系统容量，来解决性能问题。目前的第一种解决方案是，基于Mongodb本身支持的动态扩展，可以简单的通过增加数据服务器来提高性能，因此可以通过直接向目前由少量数据服务器构成的Mongodb集群中添加Mongod服务器，来解决性能问题。通过增加新的Mongod服务器，变为更多台数据服务器的集群，mongodb的性能会基本线性提升。但是，这种解决方案也会带来副作用。因为现有的数据服务器集群是为多个业务服务的，而本文档来自技高网...

【技术保护点】
一种数据迁移系统，用于在数据服务器集群之间进行数据迁移，所述系统至少包括所述第一数据服务器集群和所述第二数据服务器集群，以及迁移设备，其中，所述数据为与要迁移的业务相关的目标数据；所述迁移设备包括：初始数据导入模块，被配置为将第一数据服务器集群中存储的在第一时间点及该第一时间点之前写入的目标数据导入第二数据服务器集群；同步模块，被配置为获得与在所述第一时间点之后写入所述第一数据服务器集群的目标数据相关联的操作日志，所述操作日志至少包括写入所述第一数据服务器集群中的目标数据的内容；以及更新模块，被配置为根据所述同步模块获得的操作日志更新所述第二数据服务器集群中的目标数据。

【技术特征摘要】
1.一种数据迁移系统，用于在数据服务器集群之间进行数据迁移，所述系统至少包括第一数据服务器集群和第二数据服务器集群，以及迁移设备，其中，所述数据为与要迁移的业务相关的目标数据；所述迁移设备包括：初始数据导入模块，被配置为将第一数据服务器集群中存储的在第一时间点及该第一时间点之前写入的目标数据导入第二数据服务器集群，所述将第一数据服务器集群中存储的在第一时间点及该第一时间点之前写入的目标数据导入第二数据服务器集群包括将所述第一数据服务器集群中第一从数据服务器中存储的第一时间点及该第一时间点之前写入的目标数据导入所述第二数据服务器集群，其中，所述第一数据服务器集群中包括主数据服务器和若干从数据服务器；同步模块，被配置为获得与在所述第一时间点之后写入所述第一数据服务器集群的目标数据相关联的操作日志，所述操作日志至少包括应用服务器在所述第一时间点之后每次写入所述第一数据服务器集群中的目标数据的内容；以及更新模块，被配置为根据所述同步模块获得的操作日志更新所述第二数据服务器集群中的目标数据；同步检测模块，被配置为基于所述第一数据服务器集群中的目标数据和所述第二数据服务器集群中的目标数据，和/或，基于与目标数据相关联的操作日志中的写入目标数据的时间戳、目标数据更新前、后的值，检测所述第一数据服务器集群和所述第二数据服务器集群的目标数据是否已同步；地址更新模块，被配置为在所述同步检测模块检测到所述第一数据服务器集群和所述第二数据服务器集群的目标数据已同步之后，将连接数据服务器的入口地址由所述第一数据服务器集群的入口地址变更为所述第二数据服务器集群的入口地址。2.根据权利要求1的数据迁移系统，所述初始数据导入模块包括：第一初始数据导入子模块，被配置为将所述第一数据服务器集群中存储的所述第一时间点及该第一时间点之前写入的目标数据导入一存储介质；第二初始数据导入子模块，被配置为将所述导入至存储介质中的目标数据导入所述第二数据服务器集群。3.根据权利要求2的数据迁移系统，其中，所述第一初始数据导入子模块被配置为通过mongodump将所述第一数据服务器集群中存储的所述第一时间点及该第一时间点之前写入的目标数据备份至一存储介质；以及第二初始数据导入子模块被配置为通过mongorestore将备份至所述存储介质中的目标数据导入所述第二数据服务器集群。4.根据权利要求1至3中任一项的数据迁移系统，所述迁移设备还包括：停用处理模块，被配置为在第一时间点之后停止所述第一数据服务器集群中的第一从数据服务器的写入操作。5.根据权利要求1至3中任一项的数据迁移系统，所述操作日志还包括如下信息中的一种或多种：写入数据的时间戳；以及当写入的数据是对原有数据的更新时，数据更新前的旧值。6.根据权利要求1至...

【专利技术属性】
技术研发人员：桂勇哲，陈超，代兵，朱超，王超，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：