【技术实现步骤摘要】
一种TiDB数据库的存量和增量数据融合捕获的方法及装置
[0001]本专利技术实施例涉及数据库
，尤其涉及一种TiDB数据库的存量和增量数据融合捕获的方法及装置。
技术介绍
[0002]数据捕获技术是数据库领域的一项重要技术。常见的数据捕获方式包括存量数据捕获和增量数据捕获，存量和增量数据融合捕获对于实现实时数据仓库具有重要意义。
[0003]而TiDB数据库作为新兴的分布式数据库，其数据捕获技术仍处于发展阶段。现有的面向TiDB数据库的数据捕获组件如：TiDB Binlog、TiCDC，仅支持增量数据捕获，并不支持存量数据捕获。而通用的存量数据备份组件如mydumper、dumpling，仅支持存量数据按原表结构进行备份，无法完成增量数据捕获。进一步地，如果增量数据捕获组件想要对全量数据进行捕获，需要在表中不存在数据时，就开启针对该表的增量数据捕获，增加了额外的限制和使用成本，尤其是针对当前已经存在的历史数据，无法完成存量数据的捕获。而存量数据捕获组件无法实时捕获增量数据的变更，如果采用定时按时间字段模拟增量...
【技术保护点】
【技术特征摘要】
1.一种TiDB数据库的存量和增量数据融合捕获的方法，其特征在于，所述方法包括：获取用户发起的数据融合捕获请求；其中，所述数据融合捕获请求用于指示对待捕获的数据库表中的存量数据和增量数据进行融合捕获；根据所述数据融合捕获请求，执行存量数据捕获任务后，再执行增量数据捕获任务；其中，所述执行存量数据捕获任务包括：记录获取到所述数据融合捕获请求的第一时间点；将所述第一时间点转换为第一时间戳；其中，所述TiDB数据库中，存储有时间点和时间戳的对应关系；以所述第一时间戳为快照时间，以所述待捕获的数据库表为待处理任务，调用SQL客户端；基于所述SQL客户端，获取所述待捕获的数据库表的存量数据；并解析所述存量数据；将解析后的存量数据的数据格式转换为目标数据格式后，进行存储；所述执行增量数据捕获任务包括：将所述第一时间点确定为所述增量数据捕获任务的起始时间点；从所述起始时间点开始，实时获取更新日志KV Change Log数据；其中，在所述待捕获的数据库表的增量数据产生时，对应生成所述更新日志KV Change Log数据；解析所述更新日志KV Change Log数据；将解析后的所述更新日志KV Change Log数据的数据格式转换为所述目标数据格式后，进行存储。2.根据权利要求1所述的方法，其特征在于，以所述第一时间戳为起始时间，以所述待捕获的数据库表为待处理任务，调用SQL客户端之前，所述方法还包括：将TiKV GC TTL参数调至无限大，以关闭过期数据删除功能，以保障在所述第一时间戳时，能够获取到所述待捕获的数据库表的全部存量数据。3.根据权利要求1所述的方法，其特征在于，基于所述SQL客户端，查询所述待捕获的数据库表的存量数据包括：利用SELECT语句查询所述待捕获的数据库表的主键的最大值和最小值；以所述最大值和所述最小值为区间端点，构造所述主键的区间；以预设阈值为分段长度，对所述区间进行分段；对分段后的区间执行SELECT语句，以查询所述待捕获的数据库表的存量数据。4.根据权利要求3所述的方法，其特征在于，解析所述存量数据包括：查询information.schema系统表，以获取所述待捕获的数据库表的表结构；基于所述表结构，对所述存量数据进行解析。5.根据权利要求1所述的方法，其特征在于，获取用户发起的数据融合捕获请求之后，所述方法还包括：验证所述数据融合捕获请求是否合法；根据所述数据融合捕获请求，执行存量数据捕获任务后，再执行增量数据捕获任务包括：根据合法的数据融合捕获请求，执行存量数据捕获任务后，再执行增量数据捕获任务；其中，验证所述数据库融合捕获请求是否合法包括...
【专利技术属性】
技术研发人员：曹东瑜，周世杰，臧超，
申请(专利权)人：云账户技术天津有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。