一种数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：响应于达到预设检查点触发条件，创建当前检查点，确定待写入的数据的写入模式；确定与写入模式对应的数据写入策略和目标表，通过数据写入策略将数据写入目标表，得到执行结果；在执行结果为异常的情况下，响应于符合重新写入条件，重新通过数据写入策略将数据写入目标表中；响应于不符合重新写入条件，取消本次写入操作，通过与写入模式对应的回滚策略处理已写入目标表的数据，触发重新启动任务操作，以从上一个检查点恢复任务。该实施方式出现异常时，根据预设的条件自动进行重新写入或回滚操作，从而减少数据损失和错误，提升系统的可靠性和恢复能力。

【技术实现步骤摘要】

本专利技术涉及计算机，尤其涉及一种数据处理方法和装置。

技术介绍

1、flink与clickhouse结合使用时，尽管两者都具备强大的分布式处理能力和容错机制，但在大数据处理场景中面临一些挑战，主要包括重启引起的数据不一致问题和异常导致的数据系统不可用。当数据流通过flink任务写入clickhouse时，大多数现有场景没有实现对写入过程的整体容错，主要依赖两个系统各自默认的容错能力，可能导致部分节点写入成功而其他节点失败，从而引发数据重复或系统停滞问题。

技术实现思路

1、有鉴于此，本专利技术实施例提供一种数据处理方法和装置，至少能够解决现有技术中flink与clickhouse结合存在的数据重复或系统停滞的现象。

2、为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据处理方法，包括：响应于达到预设检查点触发条件，创建当前检查点，通过当前检查点确定待写入的数据的写入模式；确定与写入模式对应的数据写入策略和目标表，通过数据写入策略将数据写入目标表中，得到执行结果；在执行结果为异常的情况本文档来自技高网...

【技术保护点】

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，判断是否符合重新写入条件，包括：

3.根据权利要求1或2所述的方法，其特征在于，在写入模式为写入分布式表的情况下，所述确定与写入模式对应的数据写入策略和目标表，通过数据写入策略将数据写入目标表中，包括：通过Flink节点集群，将数据写入Clickhouse的分布式表中；

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：将数据同步到Clickhouse分片的本地表中。

5.根据权利要求1或2所述的方法，其特征在于，在写入模式为写入本地表的情况下，所述...

【技术特征摘要】

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，判断是否符合重新写入条件，包括：

3.根据权利要求1或2所述的方法，其特征在于，在写入模式为写入分布式表的情况下，所述确定与写入模式对应的数据写入策略和目标表，通过数据写入策略将数据写入目标表中，包括：通过flink节点集群，将数据写入clickhouse的分布式表中；

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：将数据同步到clickhouse分片的本地表中。

5.根据权利要求1或2所述的方法，其特征在于，在写入模式为写入本地表的情况下，所述确定与写入模式对应的数据写入策略和目标表，通过数据写入策略将数据写入目标表中，包括：

6.根据权利要求1所述的方法，其特征在于，所述创建当前检查点，包括：...

【专利技术属性】
技术研发人员：陆超，刘传耀，季健，洪帅，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：