一种虚拟机调度方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种虚拟机调度方法、装置及电子设备，通过获取虚拟机调度请求；通过DQN网络对所述虚拟机调度请求以及预先获取的环境数据进行分析，以对虚拟机调度信息进行特征提取；其中，所述DQN网络利用卷积神经网络进行样本的训练；且根据提取的所述特征以及所述虚拟机资源池，进行虚拟机的调度。可以为虚拟机的调度提供比较优良的调度策略，且卷积神经网络的加入，提高虚拟机调度的准确性和有效性。

【技术实现步骤摘要】
一种虚拟机调度方法、装置及电子设备
本专利技术涉及计算机领域，特别是涉及一种虚拟机调度方法、装置及电子设备。
技术介绍
虚拟机(VirtualMachine)，在计算机科学中的体系结构裏，是指一种特殊的软件，他可以在计算机平台和终端用户之间创建一种环境，而终端用户则是基于这个软件所创建的环境来操作软件。在计算机科学中，虚拟机是指可以像真实机器一样运行程序的计算机的软件实现。现有应用中，用户对虚拟机的调度通常是根据既定的程序进行调度，而不能根据用户的计算机的使用情况以及环境数据获取较优的虚拟机调度方案，且不能对虚拟机的调度进行动态调整，使用不够灵活。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种虚拟机调度方法、装置及电子设备，用于解决现有技术中不能获取较优的虚拟机调度方案且虚拟机调度不够灵活等的问题。为实现上述目的及其他相关目的，本专利技术提供一种虚拟机调度方法，应用于虚拟机调度系统中，所述虚拟机调度系统包括虚拟机资源池，所述方法包括：获取虚拟机调度请求；通过DQN网络对所述虚拟机调度请求以及预先获取的环境数据进行分析，以对虚拟机调度信息进行特征提取；其中，所述DQN网络利用卷积神经网络进行样本的训练；且根据提取的所述特征以及所述虚拟机资源池，进行虚拟机的调度。于本专利技术一具体实施例中，所述DQN网络为双重DQN网络；其中，所述双重DQN网络包括关于当前值的DQN网络和关于目标值的DQN网络。于本专利技术一具体实施例中，利用经验回放技术，实现所述卷积神经网络的样本训练。于本专利技术一具体实施例中，所述卷积神经网络的卷积层采用权重共享的方式进行运行。于本专利技术一具体实施例中，还包括根据用户的使用情况，对调度的所述虚拟机进行调整的步骤；其中，对调度的所述虚拟机进行调整的调整操作至少包括以下中的一种：添加虚拟机、虚拟机保持闲置和删除虚拟机。于本专利技术一具体实施例中，所述方法还包括：当判断进行第一调整操作后的所述虚拟机的处理能力增强，则设置所述第一调整操作为正奖励值；当判断进行第二调整操作后的所述虚拟机的处理能力增强，则设置所述第二调整操作为负奖励值。于本专利技术一具体实施例中，在进行调整操作时，根据各所述调整操作的奖励值的大小，优先选用奖励值最大的调整操作对调用的所述虚拟机进行调整。于本专利技术一具体实施例中，根据用户的负载情况，对调度的所述虚拟机进行调整。为实现上述目的及其他相关目的，本专利技术还提供一种虚拟机调度装置，应用于虚拟机调度系统中，所述虚拟机调度系统包括虚拟机资源池，所述装置包括：请求获取模块，用以获取虚拟机调度请求；特征提取模块，通过DQN网络对所述虚拟机调度请求以及预先获取的环境数据进行分析，以对虚拟机调度信息进行特征提取；其中，所述DQN网络利用卷积神经网络进行样本的训练；调度模块，且根据提取的所述特征以及所述虚拟机资源池，进行虚拟机的调度。为实现上述目的及其他相关目的，本专利技术还提供一种电子设备，包括存储器和处理器，所述存储器存储计算机程序；所述处理器用以执行所述计算机程序，以令所述电子设备执行如上任一项所述虚拟机调度方法。如上所述，本专利技术的一种虚拟机调度方法、装置及电子设备，通过获取虚拟机调度请求；通过DQN网络对所述虚拟机调度请求以及预先获取的环境数据进行分析，以对虚拟机调度信息进行特征提取；其中，所述DQN网络利用卷积神经网络进行样本的训练；且根据提取的所述特征以及所述虚拟机资源池，进行虚拟机的调度。可以为虚拟机的调度提供比较优良的调度策略，且卷积神经网络的加入，提高虚拟机调度的准确性和有效性。附图说明图1显示为本专利技术的虚拟机调度方法在一具体实施例中的流程示意图。图2显示为本专利技术的一具体实施例中应用的虚拟机调度系统结构示意图。图3显示为本专利技术的一具体实施例中基于深度强化Q值网络的DQN训练示意图。图4显示为本专利技术的一具体实施例中基于深度强化Q值网络的卷积神经网络示意图。图5显示为本专利技术的一具体实施例中基于深度强化Q值网络的智能体的控制策略轨迹示意图。图6显示为本专利技术的一具体实施例中基于深度强化Q值网络的智能体的控制策略轨迹示意图。图7显示为本专利技术的虚拟机调度装置法在一具体实施例中的组成示意图。元件标号说明20虚拟机调度装置21请求获取模块22特征提取模块23调度模块S11～S13步骤具体实施方式以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图示中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。请参阅图1，显示为本专利技术的虚拟机调度方法在一具体实施例中的流程示意图。所述虚拟机调度方法应用于虚拟机调度系统中，所述虚拟机调度系统参阅图2，图2显示为本专利技术一具体实施中虚拟机调度系统的结构示意图。所述虚拟机调度系统包括虚拟机资源池、用户端(用户服务器)、监视器和调度器，图2中R代表虚拟机资源池中的虚拟机。所述方法包括以下步骤：S11：获取虚拟机调度请求；S12：通过DQN网络对所述虚拟机调度请求以及预先获取的环境数据进行分析，以对虚拟机调度信息进行特征提取；其中，所述DQN网络利用卷积神经网络进行样本的训练；举例利用经验回放技术，实现所述卷积神经网络的样本训练。且所述卷积神经网络的卷积层可采用权重共享的方式进行运行。S13：且根据提取的所述特征以及所述虚拟机资源池，进行虚拟机的调度。在一些实施例中，所述DQN网络为双重DQN网络；其中，所述双重DQN网络包括关于当前值的DQN网络和关于目标值的DQN网络。即关于当前值的DQN网络用于进行实际训练，关于目标值的DQN网络用于制造学习目标。双重DQN网络将动作的选择和动作的评估分别用不同的值函数来实现，从而解决了目标DQN网络值函数的过估计问题。在一些实施例中，还包括根据用户的使用情况，对调度的所述虚拟机进行调整的步骤；其中，对调度的所述虚拟机进行调整的调整操作至少包括以下中的一种：添加虚拟机、虚拟机保持闲置和删除虚拟机。例如，当判断进行第一调整操作后的所述虚拟机的处理能力增强，则设置所述第一调整操作为正奖励值；当判断进行第二调整操作后的所述虚拟机的处理能力增强，则设置所述第二调整操作为负奖励值。该用户的使用情况可包括用户的负载情况。在一些实施例中，在进行调整操作时，根据各所述调整操作的奖励值的大小，优先选用奖励值最大的调整操作对调用的所述虚拟机进行调整。进一步参阅图2～图6对本申请的虚拟机调度方法进行进一步的的说明。本申请针对具有用户负载动态的云计算虚拟机资源调度问题，设计了一种基于Q值强化学习的云计算虚拟机资源调度方法。该虚拟机调度方法应用于虚拟机调度系统中，该虚拟机调度系统的结构如图2所示，且该虚拟机调度系统构成一个智能体，该智能体对云计算虚拟机资源进行管理，智能体用于通过持续与服务器本文档来自技高网...

【技术保护点】
1.一种虚拟机调度方法，其特征在于，应用于虚拟机调度系统中，所述虚拟机调度系统包括虚拟机资源池，所述方法包括：获取虚拟机调度请求；通过DQN网络对所述虚拟机调度请求以及预先获取的环境数据进行分析，以对虚拟机调度信息进行特征提取；其中，所述DQN网络利用卷积神经网络进行样本的训练；且根据提取的所述特征以及所述虚拟机资源池，进行虚拟机的调度。

【技术特征摘要】
1.一种虚拟机调度方法，其特征在于，应用于虚拟机调度系统中，所述虚拟机调度系统包括虚拟机资源池，所述方法包括：获取虚拟机调度请求；通过DQN网络对所述虚拟机调度请求以及预先获取的环境数据进行分析，以对虚拟机调度信息进行特征提取；其中，所述DQN网络利用卷积神经网络进行样本的训练；且根据提取的所述特征以及所述虚拟机资源池，进行虚拟机的调度。2.根据权利要求1所述的虚拟机调度方法，其特征在于，所述DQN网络为双重DQN网络；其中，所述双重DQN网络包括关于当前值的DQN网络和关于目标值的DQN网络。3.根据权利要求1所述的虚拟机调度方法，其特征在于，利用经验回放技术，实现所述卷积神经网络的样本训练。4.根据权利要求1所述的虚拟机调度方法，其特征在于，所述卷积神经网络的卷积层采用权重共享的方式进行运行。5.根据权利要求1所述的虚拟机调度方法，其特征在于，还包括根据用户的使用情况，对调度的所述虚拟机进行调整的步骤；其中，对调度的所述虚拟机进行调整的调整操作至少包括以下中的一种：添加虚拟机、虚拟机保持闲置和删除虚拟机。6.根据权利要求5所述的虚拟机调度方法，其特征在于，所述方法还包括：...

【专利技术属性】
技术研发人员：刘文意，李天宇，方晓蓉，宋轶慧，钱偲书，
申请(专利权)人：国网上海市电力公司，
类型：发明
国别省市：上海,31