【技术实现步骤摘要】
一种检测慢节点的方法、装置及计算机可读存储介质
本公开涉及分布式存储系统
，尤其涉及检测慢节点方法、装置及计算机可读存储介质。
技术介绍
分布式系统基本框架(Hadoop)具有存储和分析海量数据的功能，多个Hadoop组成Hadoop集群。在Hadoop集群中包括存放文件元数据信息的服务器(NameNode)及实际存放数据的服务器(DataNode)。由于Hadoop集群处于不间断工作状态，因此经常出现Hadoop集群中网络传输数据变慢或磁盘读写数据变慢的DataNode，而每一DataNode对应一个数据存储节点，因此称Hadoop集群中网络传输数据变慢或磁盘读写数据变慢的DataNode对应的数据存储节点为慢节点。在Hadoop集群中，慢节点不易被发现，且会降低分布式系统基本框架的读写大数据的性能，因此检测Hadoop集群中的慢节点是十分必要的。但是目前检测Hadoop集群中数据存储节点检测慢节点的准确率相对较低。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种检测慢节点的方法、检测慢...
【技术保护点】
1.一种检测慢节点的方法，其特征在于，包括：/n针对第一存储节点，获取已生成记录，所述已生成记录中包括：存储节点生成时刻、向除所述第一存储节点外的其他第二存储节点传输数据的次数及耗时；/n从所述已生成记录中获取有效记录，所述有效记录包括预设时间段内的记录，所述预设时间段位于所述生成时刻与当前时刻之间的时间段内；/n基于所述有效记录包括的次数及耗时，确定所述第一存储节点向每个所述第二存储节点传输数据的平均耗时；/n基于所述平均耗时，在所述第二存储节点中检测慢节点。/n
【技术特征摘要】
1.一种检测慢节点的方法，其特征在于，包括：
针对第一存储节点，获取已生成记录，所述已生成记录中包括：存储节点生成时刻、向除所述第一存储节点外的其他第二存储节点传输数据的次数及耗时；
从所述已生成记录中获取有效记录，所述有效记录包括预设时间段内的记录，所述预设时间段位于所述生成时刻与当前时刻之间的时间段内；
基于所述有效记录包括的次数及耗时，确定所述第一存储节点向每个所述第二存储节点传输数据的平均耗时；
基于所述平均耗时，在所述第二存储节点中检测慢节点。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于检测到所述慢节点，获取慢节点报告，所述慢节点报告包括：所述慢节点的节点地址、向每个所述第二存储节点传输数据的耗时及所述慢节点报告的生成时间；
在管理页面显示所述慢节点报告。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在到达预定时刻时，基于所述节点地址在已存在的慢节点中检测新增慢节点；
响应于检测到所述新增慢节点，向管理地址对应的管理终端发送报警信息，所述管理地址包括以下至少一项：邮箱地址、指定终端地址。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于所述慢节点报告生成慢节点列表，所述慢节点列表中包括所述慢节点的节点地址和所述慢节点的过期时间；
在到达预定时刻时，根据所述过期时间和所述生成时间确定已过期慢节点；
从所述慢节点列表中移除所述已过期慢节点。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
若所述第二存储节点为慢节点，则为所述第一存储节点重新分配第二存储节点；
若所述第二存储节点为非慢节点，则通过所述第一存储节点向被分配的所述第二存储节点写数据。
6.一种检测慢节点的装置，其特征在于，包括：
获取单元，被配置为针对第一存储节点，获取已生成记录，并从所述已生成记录中获取有效记录，所述已生成记录中包括：存储节点生成时刻、向除所述第一存储节点外的其他第二存储节点传输数据的次数及耗时，所述有效记录包括预设时间段内的记录，所述预设时间段位于所述生成时刻与当前时...
【专利技术属性】
技术研发人员：黄海滨，孙立晟，张晨，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。