一种针对数据同步的优化方法技术

本发明专利技术涉及计算机领域，具体提供了一种针对数据同步的优化方法，具有以下步骤：S1、全量同步翻页问题的定位；S2、功能接口全局认识；S3、接口代码变更。与现有技术相比，本发明专利技术的一种针对数据同步的优化方法，避免慢sql，以及根据多线程及区间id加快数据同步速度。

【技术实现步骤摘要】
一种针对数据同步的优化方法
本专利技术涉及计算机领域，具体提供一种针对数据同步的优化方法。
技术介绍
Canal是阿里巴巴旗下的一款开源项目,Java开发。基于数据库增量日志解析，提供增量数据订阅和消费，目前主要支持MySQL和mariaDB。早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅和消费业务，从此开启了一段新纪元。目前内部使用的同步，已经支持mysql5.x和oracle部分版本的日志解析。现在互联网技术的快速发展，针对不同端的数据量也是日趋增多，很多查询都是从关系型数据库查询，nosql的出现实现大数据量的快速搜索，提高用户对产品的使用体验。举例订单，订单数据量对于一家电商性质互联网公司是一很大的板块，类似出现根据筛选条件在nosql下查询对应的id，然后再根据对应的id从关系型数据库中查询，这种方案随着订单量的增加本文档来自技高网...

【技术保护点】
1.一种针对数据同步的优化方法，其特征在于,具有以下步骤：/nS1、全量同步翻页问题的定位；/nS2、功能接口全局认识；/nS3、接口代码变更。/n

【技术特征摘要】
1.一种针对数据同步的优化方法，其特征在于,具有以下步骤：
S1、全量同步翻页问题的定位；
S2、功能接口全局认识；
S3、接口代码变更。


2.根据权利要求1所述的一种针对数据同步的优化方法，其特征在于，在步骤S1中，通过sql进行查询，按照offset方式进行翻页，位于com.alibaba.otter.canal.client.adapter.support.AbstractEtlService的importData方法中可自行定位。


3.根据权利要求2所述的一种针对数据同步的优化方法，其特征在于，Mysql的limitm,n是先根据where条件查询出符合的m+n条数据，此后再把前m条数据筛去，将后面所需的n条返回，使得在小数据量的时候，只要保证索引即可。


4.根据权利要求3所述的一种针对数据同步的优化方法，其特征在于，在大数据量时，则按照id区间查询。


5.根据权利要求1所述的一种针对数据同步的优化方法，其特征在于，在步骤S2中，Canal的instance模块，每个instance模块都模拟成一个mysql的slave，instance模块的核心就是数据源的接入，伪装slave协议，根据协议解析，sink和store模块用来对数据的过滤和存贮，meta模块记录canal消费binlog的实际位置。


6.根据权利要求5所述的一种针对数据同步的优化方法，其特征在于，在步骤S2中的具体步骤为：

【专利技术属性】
技术研发人员：郎永贺，王庆明，李国涛，胡清，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：山东;37