一种确定异常节点的方法、节点及计算机可读存储介质技术

本发明专利技术提出了一种确定异常节点的方法，包括：当检测到数据处理时延大于设定阈值时，在向命名空间节点NameNode发送的心跳信息中设置节点异常信息，以供所述NameNode基于所述节点异常信息，定位所述DataNode。本发明专利技术还公开了一种节点及计算机可读存储介质，通过实施上述方案，通过DataNode检测自身的数据处理时延，实现了对HDFS集群异常节点的精确检测，有效提高了HDFS集群异常节点的检测精度；同时通过DataNode在向NameNode发送的心跳信息中设置节点异常信息，有效的提高了NameNode基于节点异常信息对HDFS集群异常节点的定位精度。

【技术实现步骤摘要】
一种确定异常节点的方法、节点及计算机可读存储介质
本专利技术涉及数据处理
，尤其涉及一种确定异常节点的方法、节点及计算机可读存储介质。
技术介绍
随着HDFS(HadoopDistributedFileSystem，海杜普分布式文件系统)集群规模日益变大，HDFS集群中的节点出现故障的概率也随之增加。节点的故障通常并不是指检测到的硬件故障，而更多的原因可能是机器的老化或者是机器负载不均衡，一旦出现这种情况机器会表现出一些异常现象，例如磁盘读写慢和/或网络数据传输慢等异常现象。这类异常现象有些可以通过心跳检测初步判断，有些现象可能会引发心跳丢失，所以要在众多的HDFS集群中的节点中找到有异常现象的节点是非常困难的。目前一般常用的方法是通过心跳时间来判断HDFS集群中是否出现异常节点，但并不能定位哪个节点出现异常。
技术实现思路
本专利技术要解决的技术问题是，现有技术中无法对HDFS集群中的异常节点进行准确检测及定位。本专利技术采用的技术方案是提供一种确定异常节点的方法，应用于数据节点DataNode，所述方法包括：当检测到数据处理时延大于设定阈值时，在向命名空间节点NameNode发本文档来自技高网...

【技术保护点】
1.一种确定异常节点的方法，其特征在于，应用于数据节点DataNode，所述方法包括：当检测到数据处理时延大于设定阈值时，在向命名空间节点NameNode发送的心跳信息中设置节点异常信息。

【技术特征摘要】
1.一种确定异常节点的方法，其特征在于，应用于数据节点DataNode，所述方法包括：当检测到数据处理时延大于设定阈值时，在向命名空间节点NameNode发送的心跳信息中设置节点异常信息。2.根据权利要求1所述的方法，其特征在于，所述节点异常信息包括：所述DataNode的标识信息；或者，所述数据处理时延和所述DataNode的标识信息。3.根据权利要求1或2所述的方法，其特征在于，所述数据处理时延至少包括以下之一：从接收到报文开始至将所述报文传输至下一DataNode的报文传输时延、从接收到磁盘访问指令开始至完成所述磁盘访问指令对应访问操作的磁盘访问时延；所述检测到数据处理时延大于设定阈值，包括：检测到所述数据处理时延中所包含的任一时延大于设定阈值。4.根据权利要求3所述的方法，其特征在于，所述磁盘访问指令包括：磁盘写入指令和/或磁盘读取指令。5.一种确定异常节点的方法，其特征在于，应用于NameNode，所述方法包括：接收DataNode发送的心跳信息；在检测到所述心跳信息中携带节点异常信息的情况下，对发出所述心跳信息的所述DataNode进行定位。6.根据权利要求5所述的方法，其特征在于，所述节点异常信息包括：所述DataNode的标识信息；或者，所述数据处理时延和所述DataNode的标识信息。7.一种数据节点DataNode，其特征在于，所述DataNode包括处理器和存储器；所述处理器用于执行存储器中存储的确定HDFS集群异常节点的程序，以实现以下步骤：当检测到数据处理时延大于设定阈值时，在向命名空间节点NameNode发送的心跳信息中设置节点异常...

【专利技术属性】
技术研发人员：吴刚，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44