【技术实现步骤摘要】
一种基于深度学习的集群链路检测方法和系统
本专利技术属于分布式集群检测
,特别涉及一种基于深度学习的集群链路检测方法和系统。
技术介绍
分布式集群已经成为当今高性能计算的关键技术,在很多领域,分布式集群都起到了非常重要的作用,通过搭建高性能集群,能够解决单机计算量小,运算周期长的问题。但是,在集群系统处理计算请求时,经常会遇到链路丢包或者数据传送过慢的问题,所以,链路的状态检测显得尤为重要。链路问题存在随机性,在现有技术中,对于链路检测的方法无法通过既有的通用手段去检测,只能根据具体集群系统的经验知识作为检测的依据。
技术实现思路
为了解决上述技术问题,本专利技术提出了一种基于深度学习的集群链路检测方法和系统。利用了卷积神经网络自动调优的特性,对不通集群的特性进行特定的处理。通过训练得到的检测模型,能够最大程度地利用集群系统内每个节点资源,从而提升集群系统的自动化和计算性能。为实现上述目的,本专利技术采用以下技术方案:一种基于深度学习的集群链路检测方法,该方法包括以下步骤:将 ...
【技术保护点】
1.一种基于深度学习的集群链路检测方法,其特征在于,包括以下步骤:/n将集群链路状态值作为卷积神经网络的输入特征值;所述卷积神经网络对集群链路状态值的海量数据进行训练,在训练模型收敛后,停止训练;/n根据收敛后的模型,对符合阈值的链路进行链路保留,对不符合阈值的链路进行链路合并。/n
【技术特征摘要】
1.一种基于深度学习的集群链路检测方法,其特征在于,包括以下步骤:
将集群链路状态值作为卷积神经网络的输入特征值;所述卷积神经网络对集群链路状态值的海量数据进行训练,在训练模型收敛后,停止训练;
根据收敛后的模型,对符合阈值的链路进行链路保留,对不符合阈值的链路进行链路合并。
2.根据权利要求1所述的一种基于深度学习的集群链路检测方法,其特征在于,所述集群链路状态值包括链路带宽、链路吞吐量和链路传输时延。
3.根据权利要求2所述的一种基于深度学习的集群链路检测方法,其特征在于,所述将集群链路状态值作为卷积神经网络的输入特征值包括:
定量采集所述集群链路状态值,并保存在CSV文件中;所述卷积神经网络对集群链路状态值的海量数据进行训练时,首先读取所述CSV文件。
4.根据权利要求1所述的一种基于深度学习的集群链路检测方法,其特征在于,判断训练模型收敛的依据为:根据误差函数或者给定阈值,通过交叉熵函数进行计算,在小于误差函数或者满足给定阈值的条件后,停止训练,则判断模型收敛。
5.根据权利要求1所述的一种基于深度学习的集群链路检测方法,其特征在于,所述根据收敛后的模块,对符合阈值的链路进行链...
【专利技术属性】
技术研发人员:葛晨,
申请(专利权)人:苏州浪潮智能科技有限公司,
类型:发明
国别省市:江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。