一种面向数据并行计算的容错方法技术

本发明专利技术公开了一种面向数据并行计算的容错处理方法，属于并行系统容错的技术领域，是一种基于出错任务对应的数据块进行二次划分及二次调度的错误恢复策略与方法。该方法包括：对关键计算任务进行二次冗余或三次冗余计算及结果判定；基于内存页调度策略的数据组成结构的构造方法；基于空闲节点个数以及最小数据块的容错数据块的二次划分。本发明专利技术完全可应用于大规模海量数据的并行数字地形分析的高性能计算的容错处理场合，例如，规则格网并行插值、坡度坡向并行计算、洼地填平并行计算等地形因子提取；可以应用于地理信息处理的高性能计算；也可以应用于基于地理信息的空间决策分析和数据挖掘等应用场合，提高处理效率。

【技术实现步骤摘要】
本专利技术属于并行系统容错的
，涉及利用冗余计算对关键计算任务进行检错和恢复，特别提出一种基于容错数据块二次划分及二次调度的故障恢复策略。
技术介绍
计算机系统的容错处理是一个不容忽视的问题。一个系统是容错的，指的是它的程序在出现逻辑故障的情况下仍然能够正确的运行。近年来，随着系统结构的复杂性增加，半导体制造工艺的发展，线宽的降低以及集成度的提高，从用户桌面系统到分布式计算环境，乃至大规模并行计算机系统，功耗和可靠性问题都日渐突出。计算机系统的可靠性反映了系统为用户提供预定服务的能力，可靠性的高低与系统故障率紧密相关。容错技术的目的在于降低计算机系统的故障率，或者在一 定故障率的如提下，提闻系统能正确提供服务的概率。容错技术虽然多样，但具有一个共同的本质，就是进行一定程度的冗余计算。所谓冗余计算是指在对关键任务进行多副本的同步计算。最基本的冗余包括时间冗余和空间冗余。时间冗余直观地讲就是复算(recompute)，包括重复进行的计算和重复进行的通信，以及对多次计算结果的比较。空间冗余又可以细分为软件冗余、硬件冗余和信息冗余。软件冗余就是设置冗余的软件模块；硬件冗余就是设置冗余的硬件部本文档来自技高网...

【技术保护点】
一种面向数据并行计算的容错处理方法，其特征在于，所述方法包括：a)对关键计算任务进行二次冗余或三次冗余计算策略及错误判定；b)基于内存页调度策略的容错数据块的理论层次结构；c)基于空闲节点个数以及最小数据块的容错数据块的二次划分。

【技术特征摘要】
1.一种面向数据并行计算的容错处理方法，其特征在于，所述方法包括a)对关键计算任务进行二次冗余或三次冗余计算策略及错误判定山)基于内存页调度策略的容错数据块的理论层次结构；c)基于空闲节点个数以及最小数据块的容错数据块的二次划分。2.根据权利要求I所述的一种面向数据并行计算的容错处理方法，其特征在于，所述冗余计算策略的确定方法为结合集群计算节点空闲数和任务数，依据冗余策略RI确定合适的计算策略；其中，冗余策略RI为3.根据权利要求I所述的一种面向数据并行计算的容错处理方法，其特征在于，所述对关键计算任务进行二次冗余计算的方法包括 步骤201，具有相同功能的两个模块共同执行同一个任务； 步骤202，错误检测裁决器对两个节点的计算结果进行比较判定，若求得的值大于阈值ε，则执行步骤203 ;若不大于阈值ε，则执行步骤204 ； 其中，裁决器判定公式为4.根据权利要求I所述的一种面向数据并行计算的容错处理方法，其特征在于，所述对关键计算任务进行...

【专利技术属性】
技术研发人员：窦万峰，杨坤，许敏，宋效东，汤国安，
申请(专利权)人：南京师范大学，
类型：发明
国别省市：