【技术实现步骤摘要】
增量数据获取方法、发送方法、装置及其计算机存储介质
本专利技术涉及数据库
，尤其涉及增量数据获取方法、发送方法、装置及其计算机存储介质。
技术介绍
增量数据捕获（ChangeDataCapture，CDC）是指捕获数据源中产生的增量数据，并提供给其他下游业务的过程。CDC是数据集成过程中所要解决的主要问题之一。CDC用于捕获业务数据库中数据插入、删除、更新操作，为联机分析处理（OnLineAnalyticalProcessing，OLAP）数据库、报表数据库、数据仓库、商业智能数据库等企业应用数据库数据的同步提供增量数据捕获服务。分布式数据库同步系统例如DataBus，可以提供可靠的数据捕获、流转和数据处理功能，其主要应用场景是跨部门之间或者跨机房之间进行数据库的数据订阅。分布式数据库同步系统主要是基于数据库日志例如Binlog进行增量数据捕获。但是由于在分库分表和复杂的业务场景中数据库中的数据会频繁地发生变化，仅通过数据库日志的方式无法区分数据变化的先后顺序，因此难以保持业务数据的最终一致性。...
【技术保护点】
1.一种增量数据获取方法，其特征在于,包括：/n确定当前业务对应的有向无环图，所述有向无环图为当前业务在数据库中相关的目标数据表通过外键连接形成的层级关系图；/n读取数据库更新记录表，获取未被处理的数据更新记录，所述数据更新记录包括所述数据库中数据更新的位置信息；/n根据所述数据更新的位置信息确定所述数据库中的第一更新数据以及所述第一更新数据所在的第一数据表；/n从所述第一数据表开始遍历所述有向无环图中的目标数据表，获取各个所述目标数据表中与所述第一更新数据关联的第一数据，根据所述第一更新数据和所述第一数据得到第一增量数据。/n
【技术特征摘要】
1.一种增量数据获取方法，其特征在于,包括：
确定当前业务对应的有向无环图，所述有向无环图为当前业务在数据库中相关的目标数据表通过外键连接形成的层级关系图；
读取数据库更新记录表，获取未被处理的数据更新记录，所述数据更新记录包括所述数据库中数据更新的位置信息；
根据所述数据更新的位置信息确定所述数据库中的第一更新数据以及所述第一更新数据所在的第一数据表；
从所述第一数据表开始遍历所述有向无环图中的目标数据表，获取各个所述目标数据表中与所述第一更新数据关联的第一数据，根据所述第一更新数据和所述第一数据得到第一增量数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一更新数据和所述第一数据得到第一增量数据，包括：
判断所述第一更新数据和所述第一数据是否符合第一预设条件，将符合所述预设条件的所述第一更新数据和所述第一数据整合为所述第一增量数据。
3.根据权利要求2所述的方法，其特征在于，所述判断所述第一更新数据和所述第一数据是否符合所述第一预设条件，包括：
判断所述第一更新数据和所述第一数据的逻辑运算结果是否符合所述第一预设条件。
4.根据权利要求1所述的方法，其特征在于，所述从所述第一数据表开始遍历所述有向无环图中的目标数据表，获取各个所述目标数据表中与所述第一更新数据关联的第一数据，包括：
从所述第一数据表开始依据所述有向无环图的层级关系逐层遍历各个所述目标数据表，并依次获取各个目标数据表中与所述第一更新数据关联的第一数据；
若当前遍历的所述目标数据表中的所述第一数据符合第二预设条件，则执行如下至少之一的步骤：
将当前遍历的所述目标数据表从所述有向无环图中删除；
或者，停止遍历当前所述目标数据表及其下层的目标数据表。
5.根据权利要求4所述的方法，其特征在于，所述第二预设条件为所述第一数据决定所述第一更新数据和所述第一数据的逻辑运算结果不符合第一预设条件。
6.根据权利要求1所述的方法，其特征在于，所述有向无环图中粒度最小的目标数据表为第二数据表，在所述有向无环图中所述第二数据表所在的路径为第一路径；所述从所述第一数据表开始遍历所述有向无环图中的目标数据表包括：
从所述第一数据表开始遍历所述有向无环图中所述第一路径的目标数据表。
7.根据权利要求2或3所述的方法，其特征在于，所述有向无环图中参与判断是否符合第一预设条件的目标数据表为第三数据表，从所述第一数据表开始经过所有第三数据表的路径为第二路径；
所述从所述第一数据表开始遍历所述有向无环图中的目标数据表，包括：
从所述第一数据表开始优先遍历所述有向无环图中所述第二路径上的目标数据表。
8.根据权利要求1所述的方法，其特征在于，所述从所述第一数据表开始遍历所述有向无环图中的目标数据表，包括：...
【专利技术属性】
技术研发人员：郑杰，孔庆峰，易杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。