任务的数据保存及恢复方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术实施例提供一种任务的数据保存及恢复方法、装置、服务器及存储介质，将任务两个相邻检查点之间的变化数据进行存储，也即进行增量存储，相对相关技术中的全量存储方式，可在很大程度上减少所需存储的数据量大小以及降低存储的数据之间的重复度，可在很大程度上提升资源利用率和存储效率；其次，本发明专利技术实施例通过将变化数据存入具有快照功能的存储系统，而不是内存中，消除了内存空间大小的局限性，可适用于各种大数据流计算领域；并可通过存储系统自身的快照功能执行快照操作，改动小，易实现且实现成本低。

【技术实现步骤摘要】
任务的数据保存及恢复方法、装置、服务器及存储介质
本专利技术涉及大数据流式计算领域，尤其涉及一种任务的数据保存及恢复方法、装置、服务器及存储介质。
技术介绍
大数据领域对数据的处理模式根据时效性分为两类：批处理、流处理。其中流处理模式以假设数据的潜在价值是数据的新鲜度，因此流式处理方式应尽可能快地处理数据并得到结果。在这种方式下，数据以流的方式到达。批处理方式中，数据首先被存储，随后被分析，因此不适合对处理时延要求较高的场合。根据处理模式不同，相应地存在两种大数据处理系统：批处理系统、流处理系统。随着商业智能和计算广告等领域的发展，更强调实时性的流式处理得到更广泛的关注。流式处理系统中，数据经常从多种数据源流入系统，并且以一种近实时的方式进行处理。由于近实时处理可以尽早的提供有价值的信息，目前很多商业公司更加青睐于实时处理系统而不是传统的批处理系统。流处理系统的框架也称流计算框架，流计算作业的输入是连续不断的数据流(也可称之为事件流)。流计算框架一般都有容错机制，一旦作业失败，需要重启作业，从之前处理到的流的位置继续处理。这需要本文档来自技高网...

【技术保护点】
1.一种任务的数据保存方法，包括：/n获取任务当前检查点的任务执行数据；/n根据所述当前检查点的任务执行数据和所述任务上一检查点的任务执行数据，确定所述任务在所述两个检查点之间的变化数据；/n将所述变化数据存入具有快照功能的存储系统，以及控制所述存储系统执行快照操作，并在所述存储系统中维护所述任务的任务执行数据的存储位置。/n

【技术特征摘要】
1.一种任务的数据保存方法，包括：
获取任务当前检查点的任务执行数据；
根据所述当前检查点的任务执行数据和所述任务上一检查点的任务执行数据，确定所述任务在所述两个检查点之间的变化数据；
将所述变化数据存入具有快照功能的存储系统，以及控制所述存储系统执行快照操作，并在所述存储系统中维护所述任务的任务执行数据的存储位置。


2.如权利要求1所述的任务的数据保存方法，其特征在于，所述控制将所述变化数据存入具有快照功能的存储系统，以及控制所述存储系统执行快照操作包括：
在所述变化数据不为空时，控制所述存储系统执行快照操作后，将所述变化数据存入所述存储系统；或，将所述变化数据存入所述存储系统后，控制所述存储系统执行快照操作；
在所述变化数据为空时，控制所述存储系统执行快照操作。


3.如权利要求2所述的任务的数据保存方法，其特征在于，在所述变化数据不为空时，所述将所述变化数据存入所述存储系统包括：
在所述变化数据中包括新增的数据时，由所述存储系统分配新的存储空间，将所述新增的数据存入由所述存储系统分配的新的存储空间内；
在所述变化数据中包括与上一检查点的任务执行数据相比存在修改后的数据时，控制所述存储系统利用写时拷贝机制，将所述存储系统中存储的所述修改后的数据所对应的原数据拷贝一份并设置为只读，再将所述存储系统中存储的所述修改后的数据所对应的原数据，更新为所述修改后的数据。


4.如权利要求1-3任一项所述的任务的数据保存方法，其特征在于，所述任务执行数据包括当前缓存的数据流，与数据流相关的状态信息，以及中间结果数据中的至少一种。


5.如权利要求1-3任一项所述的任务的数据保存方法，其特征在于，所述存储系统为分布式块存储系统、分布式文件存储系统或分布式对象存储系统。


6.如权利要求1-3任一项所述的任务的数据保存方法，其特征在于，所述根据所述当前检查点的任务执行数据与所述任务上一检查点的任务执行数据，确定所述任务在所述两个检查点之间的变化数据包括：
从内存中获取所述任务上一检查点的任务执行数据，并将所述当前检查点的任务执行数据与所述任务上一检...

【专利技术属性】
技术研发人员：宋亚东，杨长江，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44