一种基于检查点机制的数据集成任务断点续跑方法技术

本发明专利技术涉及一种基于检查点机制的数据集成任务断点续跑方法。本方法包括：预先设置三种类型的检查点策略；创建集成任务，配置任务参数和数据抽取范围；触发集成任务，解析配置参数，根据数据抽取范围和并行参数将集成任务拆分成多个子任务；执行子任务，按照预设的检查点策略生成检查点数据，并将检查点数据发送到Redis进行存储；当子任务执行过程中发生异常中断时，读取Redis中距离任务中断点最近的检查点数据，然后根据该检查点数据对子任务进行重新构建和分发。本方法通过引入基于Redis的检查点机制，实现了数据集成任务的断点续跑，避免了从头开始重新执行整个任务的资源浪费和时间成本增加，且能够有效减少任务恢复时重复抽取和计算的数据量。

【技术实现步骤摘要】

本专利技术涉及数据集成任务执行方法，尤其涉及一种基于检查点机制的数据集成任务断点续跑方法及装置。

技术介绍

1、在现有的数据集成技术中，当数据集成任务在执行过程中遇到故障或中断时(比如，由于系统故障、网络中断或其他不可预测因素导致的任务中断问题)，通常需要从头开始重新执行整个任务，这会导致大量的计算资源浪费和时间成本增加。

技术实现思路

1、为了克服现有方法存在的上述缺陷，本专利技术提出了一种新的基于检查点机制的数据集成任务断点续跑方法。本方法通过引入检查点机制，能够在任务执行过程中设置检查点，并在任务中断时从最近的检查点恢复执行，从而实现任务的断点续跑，达到提高数据集成任务的稳定性和可靠性的目的。

2、术语解释

3、数据集成：数据集成是指将来自不同源、格式或性质的数据合并成一个统一的数据视图或存储库的过程。这个过程通常涉及数据的抽取、转换和加载(etl，extract,transform,load)等步骤，旨在实现数据的整合、共享和一致性。数据集成是构建企业级数据仓库、实现业务智能(本文档来自技高网...

【技术保护点】

1.一种基于检查点机制的数据集成任务断点续跑方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于检查点机制的数据集成任务断点续跑方法，其特征在于，步骤S1中所述的检查点策略包括以下三种类型：

3.根据权利要求1所述的基于检查点机制的数据集成任务断点续跑方法，其特征在于，步骤S2中所述的集成任务的参数包括：源表、目标表、并行参数、检查点策略、以及定时参数；

4.根据权利要求1所述的基于检查点机制的数据集成任务断点续跑方法，其特征在于，步骤S3中将集成任务拆分成多个子任务，所有子任务除了数据抽取范围不同外，其他的配置参数完全相同。

5...

【技术特征摘要】

1.一种基于检查点机制的数据集成任务断点续跑方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于检查点机制的数据集成任务断点续跑方法，其特征在于，步骤s1中所述的检查点策略包括以下三种类型：

3.根据权利要求1所述的基于检查点机制的数据集成任务断点续跑方法，其特征在于，步骤s2中所述的集成任务的参数包括：源表、目标表、并行参数、检查点策略、以及定时参数；

4.根据权利要求1所述的基于检查点机制的数据集成任务断点续跑方法，其特征在于，步骤s3中将集成任务拆分成多个子任务，所有子任务除了数据抽取范围不同外，其他的配置参数完全相同。

5.根据权利要求1所述的基于检查点机制的数据集成任务断点续跑方法，其特征在于，步骤s4中生成的检查点数据包括：所在执行器ip、子任务数据抽取范围、已经成功抽取的数据范围和正在抽取的数据范围。

6.根据权利要求1所述的基于检查点机制的数据集成任务断点...

【专利技术属性】
技术研发人员：周旺，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：