集群故障监测方法及装置制造方法及图纸

技术编号:13679747 阅读:72 留言:0更新日期:2016-09-08 07:30
本发明专利技术实施例提供一种集群故障监测方法及装置。根据服务器集群的结构获取集群中每一服务器的接入路径;在同一接入交换机下,按照预设策略选取第一服务器和第二服务器组成测试对;根据所述第一服务器以及所述第二服务器的所述接入路径对所述测试对进行数据收发测试;获取所述数据收发测试的结果并根据所述数据收发测试结果获取第一服务器和第二服务器之间的收发带宽;当判断所述收发带宽大于预设的带宽阈值,判定所述第一服务器和所述第二服务器无故障。实现了服务器集群故障的实时监测以及故障快速发现。

【技术实现步骤摘要】

本专利技术实施例涉及大数据处理
,尤其涉及一种集群故障监测方法及装置
技术介绍
服务器集群就是指将很多服务器集中起来一起进行同一种服务,在客户端看来服务器集群就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能正常运行。一旦在服务器上安装并运行了群集服务,该服务器即可加入群集。群集化操作可以减少单点故障数量,并且实现了群集化资源的高可用性。通常在分布式服务器集群中,一个大的作业被拆分为多个任务,并将这多个任务分发给集群中的多个服务器并行处理的,从而能够实现高效率的数据处理。但是,若这个服务器集群中,某一服务器出现运行缓慢的状况,则其对整个服务器集群的影响是相当大的,它会拖慢整个集群对作业的处理速度。集群中某一服务器的挂机是很容易检测出来的,然而运行缓慢这种故障不同于服务器挂机,很难直观地检测到这种故障。因此,如何找到出现故障的服务器是一个很关键的步骤,这一步骤关系着整个服务器集群是否能够正常运行。
技术实现思路
本专利技术实施例提供一种集群故障监测方法及装置,用以解决现有技术中
的集群中服务器出现故障从而拖慢整个集群运行状态的缺陷,实现集群故障的高效监测。本专利技术实施例提供一种集群故障监测方法,包括:根据服务器集群的结构获取集群中每一服务器的接入路径;在同一接入交换机下,按照预设策略选取第一服务器和第二服务器组成测试对;根据所述第一服务器以及所述第二服务器的所述接入路径对所述测试对进行数据收发测试;获取所述数据收发测试的结果并根据所述数据收发测试结果获取第一服务器和第二服务器之间的收发带宽;当判断所述收发带宽大于预设的带宽阈值,判定所述第一服务器和所述第二服务器无故障。本专利技术实施例提供一种集群故障监测装置,包括:信息获取模块,用于根据服务器集群的结构获取集群中每一服务器的接入路径;测试模块,用于在同一接入交换机下,按照预设策略选取第一服务器和第二服务器组成测试对;根据所述第一服务器以及所述第二服务器的所述接入路径对所述测试对进行数据收发测试;分析模块,用于获取所述数据收发测试的结果并根据所述数据收发测试结果获取第一服务器和第二服务器之间的收发带宽;当判断所述收发带宽大于预设的带宽阈值,判定所述第一服务器和所述第二服务器无故障。本专利技术实施例提供的集群故障监测方法及装置,根据服务器集群中每一服务器的接入路径构建测试对并对所述测试对进行数据的收发测试,从而判断两台服务器之间的带宽是否出现异常,并以此进行服务器集群故障的判断,
实现了服务器集群故障的实时监测以及故障快速发现。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本申请实施例一的技术流程图;图2为本申请实施例二的技术流程图;图3为本申请实施例三的装置实施例结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。图1是本申请实施例一的技术流程图,结合图1,本申请实施例一种集群故障监测方法,可由如下的步骤实现:步骤S110:根据服务器集群的结构获取集群中每一服务器的接入路径;步骤S120:在同一接入交换机下,按照预设策略选取第一服务器和第二服务器组成测试对;步骤S130:根据所述第一服务器以及所述第二服务器的所述接入路径对所述测试对进行数据收发测试;步骤S140:获取所述数据收发测试的结果并根据所述数据收发测试结果
获取第一服务器和第二服务器之间的收发带宽;步骤S150:当判断所述收发带宽大于预设的带宽阈值,判定所述第一服务器和所述第二服务器无故障。具体的,在步骤S110中,所述获取集群中每一服务器的接入路径,即获取每一所述服务器接入的接入交换机以及核心交换机是哪一个。通常,基于大数据分布式集群结构如下:服务器连接接入交换机,接入交换机连接核心交换机。接入交换机有48个下行端口,最多可以连接48台服务器,带宽为10Gbits/s。接入交换机有2个上行端口,分别连接两个核心交换机,以防止单个核心交换机故障导致整个集群不可用,每个上行端口带宽为40Gbits/s,共80Gbits/s。核心交换机有48个下行口。这样一套核心交换机下最多有48*48=2304台服务器。这一套两台核心交换机的流量最大为3840Gbits/s。根据上述集群的结构,连接在核心交换机1的接入交换机1下的服务器的接入路径可能有一下的描述结果:/机房/核心交换机1/接入交换机1/1/机房/核心交换机1/接入交换机1/2/机房/核心交换机1/接入交换机1/3........../机房/核心交换机1/接入交换机1/48连接在核心交换机2的接入交换机2下的服务器可由如下的接入路径:/机房/核心交换机2/接入交换机2/1/机房/核心交换机2/接入交换机2/2/机房/核心交换机2/接入交换机2/3........../机房/核心交换机2/接入交换机2/48本步骤中,获取到每一服务器的接入路径后,需将每一服务器的IP地址与所述接入路径进行匹配,所述IP地址用于后续步骤的数据收发测试。例如,将服务器的IP写入节点可得到如下的结果;/机房/核心交换机1/接入交换机1/1/192.0.x.1/机房/核心交换机1/接入交换机1/2/192.0.x.2/机房/核心交换机1/接入交换机1/3/192.0.x.3........../机房/核心交换机n/接入交换机1/服务器48/192.0.x.48需要说明的是,本申请实施例中,采用zookeeper为每一服务器写路径。由于zookeeper是成熟的分布式系统的可靠协调系统,本实施例中不再赘述。具体的,在步骤S120中,所述预设策略是预先设定好的测试对选取策略,可以包括如下的方式:其一:对所述同一交换机下的每一所述服务器进行编号,按所述编号依次选取两个所述服务器组成所述测试对;这一选取策略中,假设同一接入交换机下,有48台按照顺序编号的服务器,则可直接按照顺序,编号为1的服务器和编号为2的服务器组成测试对,编号为3的服务器和编号为4的服务器组成测试对等等,直至编号为47的服务器与编号为48的服务器组成测试对。其二:对所述编号为奇数的所述服务器进行列表得到奇数服务器列表,对所述编号为偶数的服务器进行列表得到偶数服务器列表;按照所述奇数服务器列表以及所述偶数服务器列表的顺序依次选择一个所述编号为基数的服务器以及一个所述编号为偶数的服务器组成所述测试对。具体的,步骤S130中,对所述测试对进行数据收发测试,所述数据收发测试具体包括如下的步骤:S131本文档来自技高网
...

【技术保护点】
一种集群故障监测方法,其特征在于,包括如下的步骤:根据服务器集群的结构获取集群中每一服务器的接入路径;在同一接入交换机下,按照预设策略选取第一服务器和第二服务器组成测试对;根据所述第一服务器以及所述第二服务器的所述接入路径对所述测试对进行数据收发测试;获取所述数据收发测试的结果并根据所述数据收发测试结果获取第一服务器和第二服务器之间的收发带宽;当判断所述收发带宽大于预设的带宽阈值,判定所述第一服务器和所述第二服务器无故障。

【技术特征摘要】
1.一种集群故障监测方法,其特征在于,包括如下的步骤:根据服务器集群的结构获取集群中每一服务器的接入路径;在同一接入交换机下,按照预设策略选取第一服务器和第二服务器组成测试对;根据所述第一服务器以及所述第二服务器的所述接入路径对所述测试对进行数据收发测试;获取所述数据收发测试的结果并根据所述数据收发测试结果获取第一服务器和第二服务器之间的收发带宽;当判断所述收发带宽大于预设的带宽阈值,判定所述第一服务器和所述第二服务器无故障。2.根据权利要求1所述的方法,其特征在于,所述预设的策略包括:对所述同一接入交换机下的每一所述服务器进行编号,按所述编号依次选取两个所述服务器组成所述测试对;或,获取所述编号为奇数的所述服务器对应的奇数服务器列表,获取所述编号为偶数的所述服务器对应的偶数服务器列表;按照所述奇数服务器列表以及所述偶数服务器列表的顺序依次选择一个所述编号为基数的服务器以及一个所述编号为偶数的服务器组成所述测试对。3.根据权利要求2所述的方法,其特征在于,按照预设策略选取第一服务器和第二服务器组成测试对,还包括:当所述接入交换机下存在奇数个所述服务器时,将所述接入交换机下的剩余服务器按照所述接入交换机在核心交换机下的接入顺序注册在所述核心交换
\t机的剩余服务器列表中;在所述核心交换机的剩余服务器列表中,按照所述预设策略选取两个服务器组成所述测试对。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:当所述核心交换机的剩余服务器列表中包含奇数个所述服务器时,将剩余未配对的所述服务器按照所述核心交换机在机房下的接入顺序注册在所述机房的剩余服务器列表中;在所述机房的剩余服务器列表中,按照所述预设策略选取两个服务器组成所述测试对。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:当所述机房的剩余服务器列表中包含奇数个所述服务器时,将未配对的所述服务器与预留的桩服务器组成所述测试对。6.根据权利要求5所述的方法,其特征在于,对所述测试对进行数据收发测试,具体包括:所述第二服务器通过预设协议向预设端口发送数据包并记录当前发送时刻的第一时间戳,其中,所述预设端口由所述第一服务器监听;第一服务器通过所述预设端口接收所述数据包并向第二服务器发送回复数据;第二服务器接收所述回复数据并记录当前接收时刻的第二时间戳;根据所述第一时间戳和所述第二时间戳,获取所述第一服务器和所述第二服务器之间的带宽。7.根据权利要求1所述的方法,其特征在于,所述方法还包括:当判断所述收发带宽小于或等于预设的带宽阈值,选取第三服务器以及第
\t四服务器分别与所述第一服务器和所述第二服务器组成两个所述测试对;其中,所述第三服务器和所述第四服务器为传输无故障的所述测试对;当判定两个所述测试对中所述第一服务器所在的所述测试对的所述收发带宽小于所述预设的收发带宽,则判定所述第一服务器存在故障;或,当判定两个所述测试对中所述第二服务器所在的所述测试对的所述收发带宽小于所述预设的收发带宽,则判定所述第二服务器存在故...

【专利技术属性】
技术研发人员:侯志贞
申请(专利权)人:乐视控股北京有限公司乐视网信息技术北京股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1