【技术实现步骤摘要】
本公开实施例涉及计算机与网络通信，尤其涉及一种数据库同步方法、设备及存储介质。
技术介绍
1、cdc(change-data-capture，捕获增量数据)是实时拉取数据库已提交的增量日志流(或称为变更日志流)，并且将增量应用到下游数据库，保证上下游数据库数据最终一致的技术。在大部分数据库增量日志流的保留时间是有限的，增量日志流并不包含全量历史数据，要想获取上游数据所有的数据，需要执行全量数据扫描和增量日志流回放才能实现这一目的。因此全量增量一体化的cdc技术应运而生。
2、现有的全量增量一体化的cdc技术存在增量日志流的处理性能问题。
技术实现思路
1、本公开实施例提供一种数据库同步方法、设备及存储介质，以提高全量增量一体化cdc的性能。
2、第一方面，本公开实施例提供一种数据库同步方法，包括：
3、读取第一数据库的增量日志流并缓存到内存中；
4、在任一轮迭代过程中，从内存中缓存的增量日志流中的第一位置处开始依次将增量日志流中的增量日志数据...
【技术保护点】
1.一种数据库同步方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置和所述第二位置之间的增量日志数据以及预设过滤规则，过滤掉所述待读取数据块中的旧版本数据，包括：
3.根据权利要求1所述的方法，其特征在于，所述将经过过滤后的数据发送给所述第二数据库，包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1-3任一项所述的方法，其特征在于，所述在任一轮迭代过程中，从...
【技术特征摘要】
1.一种数据库同步方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置和所述第二位置之间的增量日志数据以及预设过滤规则，过滤掉所述待读取数据块中的旧版本数据，包括：
3.根据权利要求1所述的方法，其特征在于，所述将经过过滤后的数据发送给所述第二数据库，包括：
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1-3任一项所述的方法，其特征在于，所述在任一轮迭代过程中，从所述增量日志流中的第一位置处开始依次将增...
【专利技术属性】
技术研发人员：邓云，何磊，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。