分散存储型多处理机系统及故障恢复方法技术方案

在经由通信开关１０连接节点１，２，…，Ｎ，经由通信开关１０进行节点间通信的系统中，节点具有为了使故障发生时的再执行成为可能。在某时刻取得关于自节点的检查点，在故障发生时从前面取得的检查点再次开始数据处理的功能，抑制对于经由通信开关１０的其它节点的数据发送，在通信开关１０中不存在发送中的数据的状态下，和其它所有节点同步地进行开始基于该功能的检查点的获取。（*该技术在2017年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及大规模科学技术计算和数据库处理等中所用的分散存储型多处理机系统，特别地，涉及系统总体高可靠化的分散存储型多处理机系统。作为使计算机高度可靠的技术之一，有检查点/重新运行方式，例如，作为使计算机网络中使用的服务计算机高可靠化的技术而采用。图26是示出检查点/重新运行方式的计算机的动作基本原理的概念图。检查点/重新运行方式的计算机中，在通常的数据处理的空闲时间，一般定期地取得检查点。在这里所说的检查点是能够再起动状态的点。而且，如果硬件(HW)发生故障时，例如，在复位发生故障的HW机器等除去故障原因的基础上，在最终取得的检查点上重新运行系统，然后使系统再次起动。这就是检查点/重新运行方式的计算机的基本原理。与把计算机完全初始化相比，具有几乎不存在服务中断的优点。但是，用高速信道连接众多节点，使得在各计算机中分散进行大规模科学技术计算和数据库处理的分散存储型多处理机系统正在普及。这种系统中，节点数可有几百-几千个，如果在某个节点发生故障，就需要停止整个系统从系统的初始化开始修复，或者暂时不能使用例如故障节点担负的功能。分散存储型多处理机系统总体的可靠性(运转率)若假定某节点的故障不对其它节点的可靠性带来影响。则以各节点的可靠性(运转率)之积表示。例如，取各节点的运转率为99.99％，节点数为1024，则系统的运转率为90.27％，若增加节点数，则总体的可靠性(运转率)的恶化将不可忽视。于是，作为使分散存储型多处理机系统的可靠性(运转率)提高的方法之一，考虑作为各节点使用检查点/重新运行方式的计算机，提高各节点的可靠性(运转率)。例如，若取各节点的运转率为99.999％，节点数为1024，则系统的运转率为98.98％。这样，作为分散存储型多处理机系统中的各节点采用检查点/重新运行方式的计算机时，存在使用了信道的节点间的数据通信(以后称为“节点间通信”)迟缓的问题。即，因为在检查点/重新运行方式的计算机中，一般关于对计算机外部的输出请求，要把实际输出该请求延迟到取得下一个检查点之后。图27示出了在以往的检查点/重新运行方式的分散存储型多处理机系统中的2个节点(计算机A、计算机B)之间进行数据通信时的处理过程。如图示那样，检查点/重新运行方式计算机A在时刻T1取得了检查点CKP1后，接收另一个计算机B发出的处理请求(a)，立即进行对于请求(a)的处理，在把应答(b)返回到计算机B后的时刻T2发生了故障时，计算机A返回到快到时刻T1前面的检查点CKP1。另一方面，尽管计算机A返回到不接收来自计算机B的处理请求(a)的状态，但由于计算机B已经接收了来自计算机A的对于处理请求(a)的应答(b)，因此，两者之间产生了矛盾。以往的检查点/重新运行方式的计算机中，为避免这种不理想状态，对于通信输出等对外部带来影响的处理，不是立即输出那样的处理应答，而是写到下一个检查点的获取结束后才开始通信输出处理。即，如图28所示，计算机A进行对于来自计算机B的处理请求(a)的处理，作成用于返回计算机B的应答的请求块，但使通信输出处理延迟。计算机A如图29所示，在时刻T3，在下一个检查点的获取结束的时刻对于计算机B实际上返回应答。其后，即使HW发生故障，也由于从在时刻T3取得的检查点CKP2开始的再起劝，因此，对于计算机B的应答(b′)确实地传递给计算机B。另外，如图30所示，计算机A在成为时刻T3之前，在时刻T2中发生了HW的故障FLT1的情况下，成为从在时刻T1取得的检查点CKP1开始的再起动。这时，计算机A与消除接收了来自计算机B的处理请求(a)的情况相反，存储着计算机B发送出计算机A接收了处理请求(a)的信息。然而，这时从计算机B即使经过某个固定时时仍未从计算机A返回对于处理请求(a)的应答中，就能够检测出计算机A的异常。即，依据计算机B再次发送处理请求(a)等的处理，能够恢复到正常的状态。从而，若在分散存储型多处理机系统的各节点上采用以往的检查点/重新运行方式的计算机，则对于节点通信，不得不平均延迟检查点获取间隔的一半时间左右。检查点获取间隔因系统而多种多样，而由于检查点获取自身就需要某种程度的时间，故即使再短实际也不短于几毫秒。从而，一般即使保守的估计，节点间通信平均也将伴有1毫秒以上的延迟时间。另一方面，分散存储型多处理机系统中节点通信的时间，在应用程序直接控制硬件时是几十微秒左右。从而，若作为节点单纯地采用检查点/重新运行方式的计算机，则在原本几十微秒左右的数据通信中伴有1毫秒以上的延迟时间，在节点间频繁发生数据通信的情况下，将招致系统总体性能的显著下降。本专利技术是考虑了以上情况而完成的，目的在于提供能够把在节点上使用了检查点/重新运行方式的计算机时的节点间通信高速化的分散存储型多处理机系统。本专利技术在经由信道连接了2个以上的至少包含处理器和主存储器的节点并且在经过上述信道进行节点间通信的分散存储型多处理器系统中，具有下述的特征，上述节点具有为了能够进行故障时的再执行，在某时刻点取得关于自节点的检查点，在故障发生时从前面获取的检查点再次开始数据处理的功能，抑制对于经过上述信道的其它节点的数据发送，完成经由上述信道发送来的数据的接收，在上述信道中不存在发送中的数据的状态下，和其它所有的节点同步地进行开始基于上述功能的检查点获取。由此，取得检查点时，在不存在经由信道正在传送的数据的状态下，对于构成分散存储型多处理器系统的所有节点，同步地获取检查点。而且，在发生了某种故障时，对于信道再现不存在正在传送的数据的状态，对于各节点，在前面取得的检查点上重新运行后再次起动数据处理。即，在分散存储型多处理器系统总体取得检查点期间，通过不进行经由信道的节点间的通信，能够不必保存信道的状态。另外，上述节点是这样的节点，保持和所有其它节点同步取得的检查点直到在所有的节点完成下一个检查点的获取为止，在某节点发生故障时在得到下个检查点之前与其它所有节点同步地被通知发生了故障，上述节点的特征在于不是把通常的数据处理所伴有的节点间数据发送延迟到下个检查点获取之后，而是立即实行。由此，各节点进行节点间的数据传送而不延迟到下个检查点，而由于除此之外的数据发送延迟到下个检查点获取之后，因此，节点间被传送的数据即使故障发生前的数据处理时和伴随使故障发生进行了重新运行后的数据处理时不相同，其影响在未结束获取下一个检查点期间也仅停留在构成分散存储型多处理器系统的节点内。从而，能够不延迟地进行经由信道的节点间的通信。还有，特征还在于在上述的节点的处理器中设置可写回的超高速缓冲存储器，在上述主存储器上取得上述检查点，上述节点在和所有其它节点同步地进行的检查点获取之前，与通常的数据处理并行，和所有其它的节点同步地把存在于上述超高速缓冲存储器中的涂改数据的一部分强制地写回到上述主存储器中。一般在具有可写回的高速缓冲存储器的处理器中，在主存储器上取得检查点的方式的检查点/重新运行方式的分散存储型多处理器系统的情况下，检查点时间的大半部分消耗在把存在于超高速缓冲存储器中的涂改数据写回主存储器的处理中。为缩短这一时间，通过强制地把通常的数据处理中存在于超高速缓冲存储器中涂改数据写回主存储器中，则在进行检查点获取之前，能够减少存在于超高速缓冲存储少器中本文档来自技高网...

【技术保护点】
一种分散存储型多处理器系统，在经由信道连接了２个以上至少包含处理器和主存储含器的节点并且经由上述信道进行节点间通信的分散存储型多处理器系统中，特征在于：上述节点为了能够在故障发生时进行再次执行，具有在某时刻取得对于自节点的检查点，在发生 故障时从前面取得的检查点再次开始数据处理的功能；上述节点的每一个都对应于树构造的某个节点，对于具有基于该对应的关系的节点，进行用于取得开始检查点获取的同步的数据发送；检测出应该开始检查点获取的节点向母节点发送上述检查点获取开始请求； 从子节点接收到上述检查点获取开始请求的节点向母节点发送上述检查点获取开始请求，由此，依次地发送上述检查点获取开始请求，直到根节点；从子节点接收到上述检查点获取开始请求的根节点对所有子节点发送检查点获取指令。从母节点接收到上述检查 点获取指令的节点向子节点发送上述检查点获取指令，由此，对所有节点传送了检查点获取指令，在所有的节点取得开始检查点获取的同步。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：平山秀昭，酒井浩，
申请(专利权)人：株式会社东芝，
类型：发明
国别省市：JP[日本]