一种面向数据并行计算的容错方法技术

技术编号:8271328 阅读:213 留言:0更新日期:2013-01-31 03:31
本发明专利技术公开了一种面向数据并行计算的容错处理方法,属于并行系统容错的技术领域,是一种基于出错任务对应的数据块进行二次划分及二次调度的错误恢复策略与方法。该方法包括:对关键计算任务进行二次冗余或三次冗余计算及结果判定;基于内存页调度策略的数据组成结构的构造方法;基于空闲节点个数以及最小数据块的容错数据块的二次划分。本发明专利技术完全可应用于大规模海量数据的并行数字地形分析的高性能计算的容错处理场合,例如,规则格网并行插值、坡度坡向并行计算、洼地填平并行计算等地形因子提取;可以应用于地理信息处理的高性能计算;也可以应用于基于地理信息的空间决策分析和数据挖掘等应用场合,提高处理效率。

【技术实现步骤摘要】
本专利技术属于并行系统容错的
,涉及利用冗余计算对关键计算任务进行检错和恢复,特别提出一种基于容错数据块二次划分及二次调度的故障恢复策略。
技术介绍
计算机系统的容错处理是一个不容忽视的问题。一个系统是容错的,指的是它的程序在出现逻辑故障的情况下仍然能够正确的运行。近年来,随着系统结构的复杂性增加,半导体制造工艺的发展,线宽的降低以及集成度的提高,从用户桌面系统到分布式计算环境,乃至大规模并行计算机系统,功耗和可靠性问题都日渐突出。计算机系统的可靠性反映了系统为用户提供预定服务的能力,可靠性的高低与系统故障率紧密相关。容错技术的目的在于降低计算机系统的故障率,或者在一 定故障率的如提下,提闻系统能正确提供服务的概率。容错技术虽然多样,但具有一个共同的本质,就是进行一定程度的冗余计算。所谓冗余计算是指在对关键任务进行多副本的同步计算。最基本的冗余包括时间冗余和空间冗余。时间冗余直观地讲就是复算(recompute),包括重复进行的计算和重复进行的通信,以及对多次计算结果的比较。空间冗余又可以细分为软件冗余、硬件冗余和信息冗余。软件冗余就是设置冗余的软件模块;硬件冗余就是设置冗余的硬件部件;而信息冗余就是通过使用附加的数据来描述某些内部状态,通过对这些附加数据的考察就可以实现检错和容错。通过对现有的研究工作分析研究发现,目前国内外已有的并行系统的成果主要基于硬件冗余和软件冗余机制,且主要用于故障检测,而针对故障恢复机制的研究还很少。当前主流的软件容错策略面向时间冗余的方法,导致计算失败的节点需要重新进行任务恢复,由于其恢复时间大于前一个检查点和故障发生时刻之间的时间间隔,从而导致大量剩余的计算资源处于闲置的状态,而这些问题导致了并行效率降低以及计算资源的浪费。
技术实现思路
本专利技术针对上述问题,提出了基于冗余计算的故障检测方法以及基于二次调度的故障恢复方法,能够提高并行效率。本专利技术一种面向数据并行计算的容错处理方法采用的技术方案如下a)对关键计算任务进行二次冗余或三次冗余计算策略及错误判定(I)容错调度策略采用二次调度方法,包括冗余计算策略和调度方法。冗余计算策略分为二次冗余和三次冗余。二次冗余计算开销小,但只能判断任务是否出错,不能确定采用哪个结果;而三次冗余可确定正确结果,但开销大。冗余策略RI可以根据集群计算节点空闲数和任务数确定如下本文档来自技高网
...

【技术保护点】
一种面向数据并行计算的容错处理方法,其特征在于,所述方法包括:a)对关键计算任务进行二次冗余或三次冗余计算策略及错误判定;b)基于内存页调度策略的容错数据块的理论层次结构;c)基于空闲节点个数以及最小数据块的容错数据块的二次划分。

【技术特征摘要】
1.一种面向数据并行计算的容错处理方法,其特征在于,所述方法包括a)对关键计算任务进行二次冗余或三次冗余计算策略及错误判定山)基于内存页调度策略的容错数据块的理论层次结构;c)基于空闲节点个数以及最小数据块的容错数据块的二次划分。2.根据权利要求I所述的一种面向数据并行计算的容错处理方法,其特征在于,所述冗余计算策略的确定方法为结合集群计算节点空闲数和任务数,依据冗余策略RI确定合适的计算策略;其中,冗余策略RI为3.根据权利要求I所述的一种面向数据并行计算的容错处理方法,其特征在于,所述对关键计算任务进行二次冗余计算的方法包括 步骤201,具有相同功能的两个模块共同执行同一个任务; 步骤202,错误检测裁决器对两个节点的计算结果进行比较判定,若求得的值大于阈值ε,则执行步骤203 ;若不大于阈值ε,则执行步骤204 ; 其中,裁决器判定公式为4.根据权利要求I所述的一种面向数据并行计算的容错处理方法,其特征在于,所述对关键计算任务进行...

【专利技术属性】
技术研发人员:窦万峰杨坤许敏宋效东汤国安
申请(专利权)人:南京师范大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1