【技术实现步骤摘要】
实时同步数据库迁移装置及方法
本专利技术涉及一种实时同步数据库迁移装置及方法。
技术介绍
分布式系统设计中，数据之间的异构/迁移需求非常多；例如，系统从1.0版本升级到2.0，数据库中的表结构发生了巨大变更。此时，无法通过修改表结构来实现，只能通过将源库中的数据迁移到目标数据库中，并且在迁移的过程中，使用一些技术进行异构。常用的技术方案一般先停止源数据库的运行，防止复制过程中，新数据插入到源数据库中，导致漏掉数据。写一个SQL脚本，或者能执行SQL的程序，从源数据库慢慢遍历出所有的数据，将数据根据某些规则进行清洗或者异构，最后将数据插入到目标数据库中。现有技术的缺陷在于：停止源数据库这对于一些高可用的系统来说是不可接受的。SQL脚本或者SQL程序过于简单，只能进行简单的数据异构，无法进行RPC(RemotingProcessCall，远程方法调用)执行数据异构。同时也无法复用，每次都要重新实现所有逻辑。不支持增量数据同步。
技术实现思路
本专利技术提供了一种实时同步数据库迁移装置及...
【技术保护点】
1.一种实时同步数据库迁移装置，其特征在于，包含：/n配置组件，用于接收用户设置的数据迁移配置信息，所述数据迁移配置信息包括源数据库地址和目标数据库地址；/n全量迁移组件，用于在接收到所述数据迁移配置信息后对源数据库生成一个数据节点并将从所述源数据库中获取到的所述数据节点前的全量数据进行数据异构后转移至目标数据库；/n增量迁移组件，用于当所述全量迁移组件完成全量数据迁移时进行增量数据迁移；/nzookeeper组件，用于协调所述全量迁移组件和所述增量迁移组件，所述zookeeper组件包含处于第一状态的第一参考量；/n所述全量迁移组件在完成全量数据迁移时将所述第一参考量修改...
【技术特征摘要】
1.一种实时同步数据库迁移装置，其特征在于，包含：
配置组件，用于接收用户设置的数据迁移配置信息，所述数据迁移配置信息包括源数据库地址和目标数据库地址；
全量迁移组件，用于在接收到所述数据迁移配置信息后对源数据库生成一个数据节点并将从所述源数据库中获取到的所述数据节点前的全量数据进行数据异构后转移至目标数据库；
增量迁移组件，用于当所述全量迁移组件完成全量数据迁移时进行增量数据迁移；
zookeeper组件，用于协调所述全量迁移组件和所述增量迁移组件，所述zookeeper组件包含处于第一状态的第一参考量；
所述全量迁移组件在完成全量数据迁移时将所述第一参考量修改成第二状态；
所述增量迁移组件在所述zookeeper组件的所述第一参考量处于第二状态时读取并解析所述源数据库在全量数据迁移期间的binlog得到增量数据并将所述增量数据进行数据异构后转移至目标数据库；
所述配置组件、所述全量迁移组件、所述增量迁移组件和所述zookeeper组件通过TCP协议进行网络通信。
2.根据权利要求1所述的实时同步数据库迁移装置，其特征在于，
所述zookeeper组件还包含处于第一状态的第二参考量；
所述增量迁移组件在所述目标数据库与源数据库之间的差异小于阈值时将所述第二参考量修改成第二状态；
所述增量迁移组件在所述目标数据库与源数据库完全相同时将所述第二参考量修改成第三状态；
所述实时同步数据库迁移装置还包括：
切换组件，用于在所述第二参考量为第二状态时切断连接至所述源数据库的应用程序和所述源数据库之间的连接关系并在所述第二参考量为第三状态时将所述应用程序连接至所述目标数据库。
3.根据权利要求2所述的实时同步数据库迁移装置，其特征在于，
所述增量迁移组件在读取所述binlog时计算每条操作记录的时间戳与当前时间的时间差；
当所述时间差小于第一时间时所述增量迁移组件将所述第二参考量修改成第二状态；
当所述增量迁移组件在读取完所述binlog中的所有的操作记录时将所述第二参考量修改成第三状态。
4.根据权利要求3所述的实时同步数据库迁移装置，其特征在于，
所述第一时间为大于等于3秒且小于等于7秒。
5...
【专利技术属性】
技术研发人员：曹先胜，郭峰，阳鹤翔，金宏洲，程亮，
申请(专利权)人：杭州天谷信息科技有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。