【技术实现步骤摘要】
一种基于日志解析的数据库添加列同步方法和装置
本专利技术涉及数据库
，特别是涉及一种基于日志解析的数据库添加列同步方法和装置。
技术介绍
在基于日志解析架构的数据库实时同步系统(支持异构)中，表修改的添加列操作同步往往会拖慢同步的性能。主要是在实际的应用系统中有些表的数据量过于庞大，如果在这种记录数很大的表上对表结构进行修改，比如删除某个列，会造成数据库对表的重构，由于这些表记录数庞大，数据库在重构时会消耗大量的时间并且产生大量的数据库日志。传统的同步方法源端日志解析服务需要捕获到源端数据库表修改操作的提交日志以后再开始解析并同步该表修改操作，并在捕获到该操作提交日志之前，该操作产生的大量日志都要进行收集并缓存，缓存操作会产生大量的IO从而影响源端数据库的性能，并且表修改操作发送到目的端，目的端的数据库在执行该修改操作时，也同样需要消耗大量的时间才能完成，期间数据同步服务在同步该表的后续操作时，只能等待目的端数据库完成表修改以后才能进行，造成很大的同步延时。例如对源端数据库拥有1亿行记录的A表添...
【技术保护点】
1.一种基于日志解析的数据库添加列同步方法，其特征在于，包括：/n源端数据库的同步系统判断日志中待同步的操作为DDL事务，则根据该事务号收集后续属于所述DDL事务的日志；/n当收集到上述DDL事务相关的用户表INSERT操作日志时，则判断DDL事务中否为添加列的操作，如果是，则提取INSERT操作中新列的值构造出默认值常量表达式为EXP_NEW；/n使用默认值常量表达式EXP_NEW作为目的端数据库中添加列的定义表达式，然后把添加列操作发送到目标端同步服务执行；/n源端数据库同步系统继续捕获日志，直到捕获到所述DDL事务的提交日志；则根据前面收集的系统表操作日志还原出原始的...
【技术特征摘要】
1.一种基于日志解析的数据库添加列同步方法，其特征在于，包括：
源端数据库的同步系统判断日志中待同步的操作为DDL事务，则根据该事务号收集后续属于所述DDL事务的日志；
当收集到上述DDL事务相关的用户表INSERT操作日志时，则判断DDL事务中否为添加列的操作，如果是，则提取INSERT操作中新列的值构造出默认值常量表达式为EXP_NEW；
使用默认值常量表达式EXP_NEW作为目的端数据库中添加列的定义表达式，然后把添加列操作发送到目标端同步服务执行；
源端数据库同步系统继续捕获日志，直到捕获到所述DDL事务的提交日志；则根据前面收集的系统表操作日志还原出原始的添加列操作，并提取出源端数据库中添加列的定义表达式为EXP_OLD；
当捕获取该添加列的提交日志时，判断目的端的定义表达式EXP_NEW和源端数据库中添加列的定义表达式EXP_OLD是否等价，如果等价则完成该事务同步，否则，使用表达式EXP_OLD构造一个修改列默认值的操作发送到目标库执行，完成该事务同步。
2.根据权利要求1所述的基于日志解析的数据库添加列同步方法，其特征在于，所述源端数据库的同步系统判断日志中待同步的操作为DDL事务，则根据该事务号收集后续属于所述DDL事务的日志，还包括：
当首先收集到对应所述DDL事务的日志内容不是用户表INSERT操作，而是提交日志时，判断DDL事务为添加列的操作，则使用EXP_OLD表达式作为默认值向目的端同步系统发送添加列操作。
3.根据权利要求2所述的基于日志解析的数据库添加列同步方法，其特征在于，目的端数据库的同步系统在接收到源端数据库的同步系统的添加列操作后，直接在目的端数据库上对该表执行添加列操作，完成所述DDL事务同步。
4.根据权利要求2所述的基于日志解析的数据库添加列同步方法，其特征在于，目的端数据库在所述DD...
【专利技术属性】
技术研发人员：付铨，孙峰，彭青松，余院兰，
申请(专利权)人：武汉达梦数据库有限公司，
类型：发明
国别省市：湖北;42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。