一种保障数据一致性的处理方法、装置及服务器制造方法及图纸

本说明书实施例公开了一种保障数据一致性的处理方法、装置及服务器。所述方法包括：记录数据源的每个队列中数据处理的事件时间。当出现异常时，数据源的所有队列可以回滚到最近一次处理成功的状态，可以通过事件时间将数据源的各队列回退并对齐到一个一致的处理成功的监控计算窗口时间节点。

【技术实现步骤摘要】
一种保障数据一致性的处理方法、装置及服务器
本说明书实施例属于计算机数据处理
，尤其涉及一种保障数据一致性的处理方法、装置及服务器。
技术介绍
随着互联网的发展，许多互联网系统所涉及的业务也越来越多，系统处理的业务数据量剧增。目前，一些业务系统通常会相应的配置有业务监控系统，可以实时监控业务系统的异常情况。业务监控系统可以监控业务数据异常，例如交易下跌等，作为一种告警、分析系统的底层基础数据处理，任何的数据丢失或者数据重复都会给告警，分析产生影响，所以数据的一致性十分重要，对数据一致性要求非常高。为保障实时监控系统中数据的一致性，常用的一种方式包括Flink的分布式快照算法，该算法采用检查点机制+可部分重发的数据源的方式达到一致性功能。Flink的分布式快照算法通过批次的方式保障数据一致性，这种算法需要高可用的状态存储引擎(例如hbase或者hdfs，hbase和hdfs为一种数据存储服务)存储快照数据，在异常时，源头会回滚到上一次状态，要保证全局一致性，merger(状态数据节点)的存储也要回滚到上一次一致性状态，这里的存储状态必须是高可用的，需要较高的技术和硬件实现成本，并本文档来自技高网...

【技术保护点】
一种保障数据一致性的处理方法，所述方法包括：记录数据源节点的队列的事件时间，所述事件时间包括队列从所述数据源节点读取数据的时间；若接收到数据处理失败的触发消息，则基于所述事件时间确定所述数据源节点的队列上一次数据处理成功的监控计算窗口时间节点；以所述监控计算窗口时间节点作为数据源节点的队列的统一回退时间点重新读取数据源的数据。

【技术特征摘要】
1.一种保障数据一致性的处理方法，所述方法包括：记录数据源节点的队列的事件时间，所述事件时间包括队列从所述数据源节点读取数据的时间；若接收到数据处理失败的触发消息，则基于所述事件时间确定所述数据源节点的队列上一次数据处理成功的监控计算窗口时间节点；以所述监控计算窗口时间节点作为数据源节点的队列的统一回退时间点重新读取数据源的数据。2.如权利要求1所述的一种保障数据一致性的处理方法，重新读取所述数据源的数据之后，所述方法还包括：以所述统一回退时间点对所述重新读取数据源节点的数据进行过滤，删除所述统一回退时间点之前的数据。3.如权利要求1或2中任意一项所述的一种保障数据一致性的处理方法，所述基于所述事件时间确定所述数据源节点的队列上一次数据处理成功的监控计算窗口时间节点包括：获取所述数据源中队列上一次数据处理成功的时间点，根据所述时间点中队列消费的偏移量确定上一个监控计算窗口的时间节点。4.如权利要求1或2中任意一项所述的一种保障数据一致性的处理方法，所述基于所述事件时间确定所述队列在上一次数据处理成功的监控计算窗口时间节点包括：获取所述数据源中队列上一次数据处理成功的时间点，对所述时间点中时间最早的时间点进行所述监控计算窗口时间单位级别的格式化，得到所述上一次数据处理成功的监控计算窗口时间节点。5.如权利要求2中所述的一种保障数据一致性的处理方法，所述方法还包括：本地持久化当前监控计算窗口内处理成功的数据的状态数据；以及，在重新读取所述数据源的数据之后，删除本地持久化的状态数据，并本地持久化所述重新读取数据源的数据被处理的状态数据。6.如权利要求5中所述的一种保障数据一致性的处理方法，使用磁盘或内存数据存储所述状态数据。7.一种保障数据一致性的处理装置，所述装置包括：事件时间记录模块，用于记录数据源节点的队列的事件时间，所述事件时间包括队列从所述数据源节点读取数据的时间；重读取时间确定模块，用于在接收到数据处理失败的触发消息时，基于所述事件时间确定所述队列在上一次数据处理成功的监控计算窗口时间节点；数据读取模块，用于以所述监控计算窗口时间节点作为数据源节点的队列的统一回退时间点重新...

【专利技术属性】
技术研发人员：许溢天，庞磊，王安红，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY