数据投递方法、数据处理方法及对应的设备、系统、介质技术方案

本申请提供了一种数据投递方法、数据处理方法及对应的设备、系统、介质。数据投递方法包括：获取数据库的预写日志系统WAL日志中的实时消费点位和数据库的实时变更数据；实时变更数据为对数据库进行变更的变更数据中与实时消费点位对应的变更数据；向消息系统同步发送实时消费点位和实时变更数据。依据本申请实施例，可以实现精确一次投递和精确一次处理，提高流计算的准确性。高流计算的准确性。高流计算的准确性。

【技术实现步骤摘要】
数据投递方法、数据处理方法及对应的设备、系统、介质


[0001]本申请涉及计算机
，尤其涉及一种数据投递方法、数据处理方法及对应的设备、系统、介质。

技术介绍

[0002]在数据库领域，往往会对数据库进行变更的变更数据投递到消息系统中，下游的流计算系统会订阅消息系统中的变更数据并根据实际需要进行实时计算，消息系统中的变更数据往往存在重复，流计算系统在对消息系统中的变更数据进行计算时会对同一条变更数据重复计算，导致流计算结果的准确度较低。

技术实现思路

[0003]本申请实施例提供一种数据投递方法、数据处理方法及对应的设备、系统、介质，以解决现有技术存在的问题。
[0004]第一方面，本申请实施例提供了一种数据投递方法，可以应用于数据订阅系统，该方法包括：
[0005]获取数据库的WAL(Write
‑
Ahead Logging，预写日志系统)日志中的实时消费点位和数据库的实时变更数据；数据库的实时变更数据为对数据库进行变更的变更数据中与实时消费点位对应的变更数据；/>[0006]向消本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据投递方法，其特征在于，应用于数据订阅系统，所述方法包括：获取数据库的预写日志系统WAL日志中的实时消费点位和所述数据库的实时变更数据；所述实时变更数据为对所述数据库进行变更的变更数据中与所述实时消费点位对应的变更数据；向消息系统同步发送所述实时消费点位和所述实时变更数据。2.根据权利要求1所述的数据投递方法，其特征在于，所述向消息系统同步发送所述实时消费点位和实时变更数据，包括：向所述消息系统提交事务；所述事务携带有所述实时消费点位和所述实时变更数据。3.根据权利要求1或2所述的数据投递方法，其特征在于，所述数据订阅系统包括主节点和工作节点；所述获取数据库的WAL日志中的实时消费点位和所述数据库的实时变更数据，包括：所述主节点向所述工作节点分配所述WAL日志的消费任务；所述工作节点响应于所述消费任务，从所述主节点中读取所述WAL日志的当前偏移量；所述工作节点根据所述当前偏移量，周期性地确定所述实时消费点位，并周期性地从数据库存储系统中读取所述实时变更数据；所述向消息系统同步发送所述实时消费点位和所述实时变更数据，包括：所述工作节点周期性地向所述消息系统同步发送所述实时消费点位和所述实时变更数据。4.根据权利要求3所述的数据投递方法，其特征在于，所述工作节点的数量为多个；所述工作节点响应于所述消费任务，从所述主节点中读取所述WAL日志的当前偏移量，包括：所述工作节点响应于所述消费任务，执行隔离流程，从所述主节点中读取WAL日志的当前偏移量；所述隔离流程用于阻止其它工作节点向所述消息系统发送消费点位和变更数据。5.根据权利要求3所述的数据投递方法，其特征在于，还包括：所述主节点读取所述消息系统中存储的所述WAL日志的消费点位，对所述消费点位进行回放，在回放过程中不断更新所述主节点中存储的所述WAL日志的日志元数据中的消费点位。6.根据权利要求5所述的数据投递方法，其特征在于，还包括：所述从所述主节点中读取当前时刻对应的WAL日志的起始偏移量，包括：所述工作节点向所述主节点发送任务初始化请求；所述主节点响应于所述任务初始化请求，确定对所述消费点位进行回放的回放位置是否到达指定位置；所述指定位置是基于对所述任务初始化请求的请求时刻确定出的；在所述回放位置到达所述指定位置的情况下，所述主节点向所述工作节点返回所述指定位置对应的WAL日志的起始偏移量。7.根据权利要求5所述的数据投递方法，其特征在于，还包括：定期将所述日志元数据和主节点对消费点位进行回放的回放位置持久化到协调服务系统中。8.根据权利要求7所述的...

【专利技术属性】
技术研发人员：邓雅卿，孟庆义，熊嘉男，沈春辉，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：