虚拟化集群中进行节点调度的方法及装置制造方法及图纸

技术编号:12822001 阅读:96 留言:0更新日期:2016-02-07 12:42
本发明专利技术公开了虚拟化集群中进行节点调度的方法及装置,其中,该方法包括:设置调度条件,所述调度条件包含定制参数及对应各定制参数的调度阈值范围;从虚拟化集群的各数据节点获取与定制参数对应的数据;判断获取的定制参数对应的数据是否满足调度阈值范围,如果是,则进行数据节点的调度。本发明专利技术方案能够实现在虚拟化集群中自动进行节点调度。

【技术实现步骤摘要】

本专利技术涉及虚拟化集群技术,尤其涉及虚拟化集群中进行节点调度的方法及装置
技术介绍
虚拟化,指计算元件在虚拟的基础上而不是真实的基础上运行,把有限的固定的资源根据不同需求进行重新规划以达到最大利用率。常见的支持该技术的平台如:VmWare、HyperVisor、Kvm等。虚拟化集群,指在多个主机的大型集群环境中,部署运行多个虚拟机的环境,一个主机上至少运行一个虚拟机。一个集群一般由多个数据节点(Datanode)组成,每个数据节点即一个虚拟机。下面以虚拟化平台上运行的hadoop集群为例,对虚拟化集群中进行节点调度的方法进行具体说明。Hadoop,是一个分布式文件系统基础架构,由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。随着大数据的时代来临和开源平台hadoop的流行,越来越多的系统使用hadoop来存储和分析企业的海量数据。在此环境下,为了更有效的利用现有主机的资源,发挥计算机集群的威力,hadoop平台通常会部署到集群式的虚拟化平台中。但随着计算请求越来越多,虚拟机的cpu、内存、磁盘存储等资源会不断耗尽,虚拟机会高负荷运转,运转效率越来越低。该环境下,需要动态的添加数据节点来扩展集群下的系统资源。目前,采用的是由系统维护人员,对虚拟机资源进行监控,在发现资源耗尽的情况下,手动添加新的虚拟机资源到现有的集群中。这将大量的消耗人力、物力,运维人员也要小心的修改,对系统的稳定性有一定的影响。上述是进行数据添加的情况,在某些环境下,也需要系统维护人员进行数据节点的关闭操作。综上,现有采用人为监控、手动进行节点调度的方案,存在操作繁琐、消耗大量人力和物力、且稳定性差、效率低的缺陷。
技术实现思路
本专利技术提供了一种虚拟化集群中进行节点调度的方法,该方法能够实现在虚拟化集群中自动进行节点调度。本专利技术提供了一种虚拟化集群中进行节点调度的装置,该装置能够实现在虚拟化集群中自动进行节点调度。一种虚拟化集群中进行节点调度的方法,该方法包括:设置调度条件,所述调度条件包含定制参数及对应各定制参数的调度阈值范围;从虚拟化集群的各数据节点获取与定制参数对应的数据;判断获取的定制参数对应的数据是否满足调度阈值范围,如果是,则进行数据节点的调度。一种虚拟化集群中进行节点调度的装置,该装置包括定制化模块、采集模块、调度模块和操作模块;所述定制化模块,设置调度条件发送给所述调度模块,所述调度条件包含定制参数及对应各定制参数的调度阈值范围,并将调度条件包含的定制参数发送给所述采集模块;所述采集模块,从虚拟化集群的各数据节点获取与定制参数对应的数据,发送给所述调度模块;所述调度模块,接收来自所述定制化模块的调度条件,以及来自所述采集模块的获取的与定制参数对应的数据,判断获取的定制参数对应的数据是否满足调度阈值范围,如果是,则向所述操作模块发送调度操作命名;所述操作模块,接收来自所述调度模块的调度操作命令,进行数据节点的调度。从上述方案可以看出,本专利技术中,设置调度条件,所述调度条件包含定制参数及对应各定制参数的调度阈值范围;从虚拟化集群的各数据节点获取与定制参数对应的数据;判断获取的定制参数对应的数据是否满足调度阈值范围,如果是,则进行数据节点的调度。采用本专利技术方案,设置调度参数后,便可自动根据定制参数进行数据获取、阈值判断,根据判断结果进一步启动数据节点的调度。这样,无需人为监控、手动进行节点调度,简化了操作,节省了大量人力和物力,具有较高的操作效率,且不会出现因人为误差而引起稳定性差的问题。附图说明图1为本专利技术虚拟化集群中进行节点调度的方法示意性流程图;图2为本专利技术虚拟化集群中进行节点调度的方法流程图实例;图3为本专利技术虚拟化集群中进行节点调度的装置结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本专利技术进一步详细说明。现有虚拟化集群中进行节点调度的方案,采用人为监控、手动调度实现,存在操作繁琐、消耗大量人力和物力、且稳定性差、效率低的缺陷。针对该问题,本申请提出了自动进行节点调度的方案,先设置调度条件,然后基于调度条件自动从虚拟机进行数据获取,并进行数据分析,根据分析结果启动关于数据节点的调度。这样,无需人为监控、手动进行节点调度,简化了操作,节省了大量人力和物力,具有较高的操作效率,且不会出现因人为误差而引起稳定性差的问题。参见图1,为本专利技术虚拟化集群中进行节点调度的方法示意性流程图,其包括以下步骤:步骤101,设置调度条件,所述调度条件包含定制参数及对应各定制参数的调度阈值范围。调度条件包含的内容可根据需要设置,例如包含定制参数以及对应的调度阈值范围。所述定制参数例如为CPU使用量、内存使用量、磁盘使用量、网络输入输出大小等中的至少一项。每项定制参数对应各自的调度阈值范围,调度阈值范围根据需要设定,例如,该调度阈值范围可以只包含大于调度阈值上限的范围,如果超过调度阈值上限,表明负荷过重,则进行数据节点的添加;该调度阈值范围也可以只包含小于调度阈值下限的范围,如果低于调度阈值下限,表明负荷较小,为节省资源,可关闭相应的数据节点;还可以,该调度阈值范围同时包含大于调度阈值上限的范围和小于调度阈值下限的范围。步骤102,从虚拟化集群的各数据节点获取与定制参数对应的数据。步骤103,判断获取的定制参数对应的数据是否满足调度阈值范围,如果是,则进行数据节点的调度。进一步地,所述进行数据节点的调度之后,还可自动根据对数据节点的调度,修改集群内各虚拟机上的集群配置信息,所述集群配置信息包含集群内所有虚拟机的标识信息;所述标识信息可具体为各虚拟机的IP地址和主机名。集群内的虚拟机可根据集群配置信息互相进行访问。本步骤中,如果判断出获取的定制参数对应的数据大于调度阈值上限,则为集群设置新的数据节点;并在集群内原各虚拟机上的集群配置信息中添加新增数据节点的标识信息,并将更新后的集群配置信息写入新设置的数据节点中。如果判断出获取的定制参数对应的数据小于调度阈值下限,则关闭小于调度阈值下限的数据节点;并在集群内各虚拟机上的集群配置信息中删除所关闭的数据节点的标识信息;并将关闭的数据节点上的数据复制到具有空闲资源的数据节点上。进一步地,为了保证关闭数据节点的同时,集群中有足够空闲容量的数据节点本文档来自技高网
...

【技术保护点】
一种虚拟化集群中进行节点调度的方法,其特征在于,该方法包括:设置调度条件,所述调度条件包含定制参数及对应各定制参数的调度阈值范围;从虚拟化集群的各数据节点获取与定制参数对应的数据;判断获取的定制参数对应的数据是否满足调度阈值范围,如果是,则进行数据节点的调度。

【技术特征摘要】
1.一种虚拟化集群中进行节点调度的方法,其特征在于,该方法包括:
设置调度条件,所述调度条件包含定制参数及对应各定制参数的调度阈值范围;
从虚拟化集群的各数据节点获取与定制参数对应的数据;
判断获取的定制参数对应的数据是否满足调度阈值范围,如果是,则进行数据节
点的调度。
2.如权利要求1所述的方法,其特征在于,所述进行数据节点的调度之后,该方
法还包括:
根据对数据节点的调度,修改集群内各虚拟机上的集群配置信息,所述集群配置
信息包含集群内所有虚拟机的标识信息。
3.如权利要求2所述的方法,其特征在于,所述判断获取的定制参数对应的数据
是否满足调度阈值范围,如果是,则进行数据节点的调度包括:判断出获取的定制参
数对应的数据大于调度阈值上限,则为集群设置新的数据节点;
所述修改集群内各虚拟机上的集群配置信息包括:在集群内原各虚拟机上的集群
配置信息中添加新增数据节点的标识信息,并将更新后的集群配置信息写入新设置的
数据节点中。
4.如权利要求2所述的方法,其特征在于,所述判断获取的定制参数对应的数据
是否满足调度阈值范围,如果是,则进行数据节点的调度包括:判断出获取的定制参
数对应的数据小于调度阈值下限,则关闭小于调度阈值下限的数据节点;
所述修改集群内各虚拟机上的集群配置信息包括:在集群内各虚拟机上的集群配
置信息中删除所关闭的数据节点的标识信息;并将关闭的数据节点上的数据复制到具
有空闲资源的数据节点上。
5.如权利要求1或2所述的方法,其特征在于,所述从虚拟化集群的各数据节点
获取与定制参数对应的数据包括:周期性地从虚拟化集群的各数据节点获取与定制参
数对应的数据;
所述调度条件还包含对应各定制参数的持续时间,所述判断获取的定制参数对应
的数据是否满足调度阈值范围包括:判断从当前时刻开始往前的持续时间之内,获取

\t的定制参数对应的数据是否满足调度阈值范围。
6.如权利要求5所述的方法,其特征在于,所述定制参数包括CPU使用量、内
存使用量、磁盘使用量、网络输入输出大小中的至少一项。
7.一种虚拟化集群中进行节点调度的装置,其特征在于,该装置包括定制化模块、
采集模块、调度模块和操作模块;
所述定制化模块,设置调度条...

【专利技术属性】
技术研发人员:彭放方涛
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1