The invention relates to a real-time monitoring method for abnormal nodes of Hadoop cluster, which belongs to the Hadoop cluster anomaly detection technology field. By collecting the log of Hadoop real-time output, the invention then analyzes and classifies the log and statistics its data information, transforms the information according to its information and obtains the Z score, and determines whether the score is greater than the threshold to determine the abnormal state of the node. The invention fully considers the characteristics of the large coupling between the map task and the reduce task in the Hadoop task, considers and transforms the two tasks in a comprehensive way to make the accuracy higher; the invention uses the map task completion as a time measure, and more flexible to measure the real-time performance of the method.
【技术实现步骤摘要】
一种针对Hadoop集群异常节点实时监测方法
本专利技术涉及一种针对Hadoop集群异常节点实时监测方法，属于Hadoop集群异常检测
技术介绍
科学技术发展必然给社会带来相当大的变化，大数据时代便随着科技的发展应运而生，在此环境下，海量数据计算与存储框架也层出不穷，Hadoop是apache公司根据Google发表的MapReduce思想开发的并行分布式框架，可以有效地将大数据平均分割成很小的部分，分配给集群中单个节点运行。作为MapReducee框架技术的实现之一，hadoop已经被包括百度、华为、yahoo、facebook等多个研究机构和公司使用，这些企业部署的hadoop集群节点数大多成千上万。随着集群规模的不断增大，各种问题接踵而至，节点维护便是其中之一。当集群出现性能问题时，及时定位到问题节点并确定导致该问题的原因是异常困难的，且某类问题不会导致节点直接崩溃却只会使运行速度变缓慢、效率显著降低。
技术实现思路
本专利技术要解决的技术问题是提出一种针对Hadoop集群的异常节点实时检测诊断方法，用以实时检测hadoop运行任务时节点的异常状态。本...
【技术保护点】
1.一种针对Hadoop集群异常节点实时监测方法，其特征在于：首先收集hadoop实时输出的日志，继而分析和归类该日志并统计其数据信息，根据其信息进行转换并求得z分数，判断该分数是否大于阈值来确定节点的异常状态。
【技术特征摘要】
1.一种针对Hadoop集群异常节点实时监测方法，其特征在于：首先收集hadoop实时输出的日志，继而分析和归类该日志并统计其数据信息，根据其信息进行转换并求得z分数，判断该分数是否大于阈值来确定节点的异常状态。2.根据权利要求1所述的针对Hadoop集群异常节点实时监测方法，其特征在于所述方法的具体步骤如下：Step1、实时收集hadoop任务输出的状态日志，提取相关信息，包括：正在工作的节点编号，每个节点正在运行的map任务、reduce任务数；并统计出每个节点已经运行了多少个maptask数和reducetask数，每个任务的运行时间和未完成任务已经运行多少时间；Step2、计算每个节点的逻辑完成数：定义逻辑转换值为节点当前状态下，reduce任务运行时间可转换成多少个map任务的值，具体为计算单个节点reduce任务总运行时长，包括已经运行完成和正在运行的任务；用该时长除以该节...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。