云计算动态资源调度系统和方法技术方案

本发明专利技术涉及云计算领域中的动态资源调度技术，其针对现有技术中的云计算资源分配和调度技术的不足之处，提出一种基于反馈和预测机制的云计算动态资源调度方法，能够在云计算环境中实现均衡使用各种计算机资源，实现在较小的开销下获得满意的负载均衡，提高系统调度的综合效率。本发明专利技术的方案概括为：在虚拟机运行的过程中实时地监测虚拟机的各项性能指标，在任务请求到来时，根据监测到的虚拟机当前的各项性能指标和基于状态反馈的虚拟机状态预测模型预测当前所有虚拟机在接下来的一小段时间内的运行状况，根据预测结果结合请求的任务类型选择出最适合的虚拟机，并分配给请求的任务。此外，本发明专利技术还公开了相应的资源调度系统，适用于动态资源调度。

【技术实现步骤摘要】

本专利技术涉及云计算领域中的动态资源调度技术，特别涉及一种基于反馈和预测机 制的云计算动态资源调度系统和相应的调度方法。
技术介绍
近年来，随着信息技术的高速发展和互联网规模的日渐增大，互联网所要处理的 业务量和数据量也在迅速增长。为了有效地处理这些海量的数据和服务，优化用户使用互 联网服务的体验，云计算技术应运而生。云计算通过分布式计算技术、并行计算技术、虚拟 化技术和负载均衡等计算机和网络技术向用户提供方便、快捷、安全的数据存储和网络服 务，为计算机技术和IT技术的发展带来了新的机遇和挑战。 资源调度是指在特定的资源环境下，根据一定的资源使用规则，在不同的资源使 用者之间进行资源调整的过程。这些资源使用者对应着不同的计算任务（例如一个虚拟解 决方案），每个计算任务在操作系统中对应于一个或者多个进程。通常有两种途径可以实现 计算任务的资源调度：在计算任务所在的机器上调整分配给它的资源使用量，或者将计算 任务转移到其他机器上。虚拟机的出现使得所有的计算任务都被封装在一个虚拟机内部。 由于虚拟机具有隔离特性，因此可以采用虚拟机的动态迁移方案来达到计算任务迁移的目 的。 虽然云计算是在分布式计算技术、并行计算技术等传统的计算技术的基础上发展 起来的，但是相对于传统的分布式计算、并行计算来说，云计算的资源池一般是由一些专门 的服务器事先组成好的，并且云计算面向的用户类型和种类众多，因此，一些传统的资源调 度和管理技术在云计算环境中并不适用。另外，云计算资源调度还具有按需分配、按量计 费、资源流动大、必须对异构环境提供支持、必须降耗节能等新特性，云计算资源调度的这 些新特性给云中的资源调度问题带来了更多新的挑战。如何采用高效的资源调度技术较好 地解决云计算环境中资源调度的问题，提高云计算中的资源利用率是目前研究的重点。 从资源调度的模式上看，传统的分布式计算和并行计算的资源调度主要有三种模 式：集中式、分散式、分级式。分级式和分散式的管理模式比较适用于对分布式系统和并行 系统进行资源调度。现阶段，在云计算环境中主要是通过虚拟资源池的方式来管理云计算 资源，并通过数据中心来实现任务的处理和资源的调度。因此，相对来说，集中式资源管理 和调度模式更适用于云计算。目前，关于云计算资源调度的方法的研究已取得了一定的研 究成果。澳大利亚的Rajkumar Buyya等学者提出的基于经济模型的资源调度方法是当前 资源调度的一个主要的方法，该方法通过将云计算环境下的资源供求关系与市场经济模型 进行类比，资源的买卖双方通过协商来完成交易，通过价格来调节资源的竞争和分配，从而 实现资源的优化分配，并提1?效率。徐向华等人在此基础上提出了 一种基于市场机制的z? 计算资源分配策略，并设计了一个基于遗传算法的价格调节算法以平衡市场的需求和供给 的矛盾，但是其目前提出的方法仅仅考虑了对CPU资源等底层资源的调度问题，还没办法 处理其它类型的资源。此外，在基于经济模型的基础上，还衍生出了基于拍卖机制的调度 算法模型。而李建锋等人通过改进现有遗传算法以适应云计算的编程模型框架，提出了一 种具有双适应度的遗传算法。Zaharia等人在Max-Min公平调度算法的基础上设计了延 迟调度算法，以实现较高的数据本地性，但延迟调度算法在等待开销较大的情况下，会影响 任务的完成时间。为此，Isard等设计了基于最小代价流的调度模型，实现了数据本地性 和作业公平性之间的平衡，并应用在了微软的云服务平台。闰英辉提出了一种根据当前各 个计算节点资源的使用情况和任务当前的运行状态，将当前云计算环境的整体性能与待调 度任务的QoS要求相结合，提出了一种为待调度任务选择合适资源的灵活的调度方法。此 夕卜，Fujimoto N等人还提出了基于信任机制的资源调度策略，通过在资源调度时综合考虑 信任关系指标来提高资源调度的成功率。由于资源调度方法只能在任务到来时根据当时 任务的资源需求状态选择最合适的调度策略，而由于任务在执行的过程中其状态在不断 地发生着变化，因此任务在执行过程中的对任务进行重新调度也是一个核心的问题。法 国的Jean-Marc Menaud和Hien Nguyen Van等人通过将为任务选择恰当的虚拟机和为虚 拟机选择恰当的物理机的问题转化为约束满足问题实现了资源调度的动态优化。Fabien Hermenier等人通过研究如何分配和迁移虚拟机到物理主机的问题，提出了一种综合考虑 重配置计算时间和虚拟机迁移时间的动态资源调度和管理方法Entropy。而魏贵义等人则 提出了一个基于博弈论的资源调度算法，该算法综合考虑了优化和公平两个方面，在实现 上先利用动态规划算法来处理单个参与者的独立优化问题，然后再利用进化算法来处理多 个参与者的综合优化问题，能够较好地解决资源的动态调度问题，但是这种方法在实现上 比较复杂，仅适用于处理一些非常复杂的和动态的问题。 总的来说，虽然近几年研究者在云计算资源调度上已经开展了一些研究工作，但 是从结果上看，现有的部分云计算资源调度方法都是面向底层物理资源的调度，主要是通 过给虚拟资源优化配置物理资源或是通过虚拟机迁移的方法来实现系统负载均衡和提高 资源利用率，而这些方法在实现上都需要停止云应用来实现资源动态调度，有一定应用局 限性。此外，另外一些其它方法所涉及到的大多数调度模型中所有的客户的待调度任务的 类型都是一致的，而实际情况并非如此。由于云计算中业务众多，任务类型也多种多样，如 果将所有用户应用程序的资源调度都置于相同的框架之下，所产生的调度结果对用户来说 通常并不是最优的。因此，需要从任务类型的角度出发，根据待调度任务的任务类型选择不 同的调度策略，从而实现对不同类型任务的高效调度。并且，在现有的云计算资源调度技术 中，已有调度策略的片面性，可能会导致物理资源的盲目流转的出现，需要尽量避免。另外， 在任务执行的过程中，由于任务的执行会改变任务的资源消耗类型，因而任务的类型也会 因此发生变化，这就使得静态的资源分配和调度往往会造成资源的不足或浪费的情况，而 人工的动态资源调整又有着明显的滞后性，因此还需要实时地监控任务的执行状态，并通 过任务的资源消耗类型智能地判断任务的资源消耗类型，如果任务的资源消耗类型与初始 时的任务类型不一致，且在足够长的时间内也将不会一致，并且这种不一致严重地影响到 了虚拟机的健康值，则需要在适当的时机对任务进行动态的重新调度以实现均衡使用各种 资源（CPU、内存、磁盘、I/O、网络），避免出现单一资源瓶颈，提升虚拟机密度，消除热点，提 高业务处理能力，而现有的资源调度方案没有考虑到这一点。
技术实现思路
本专利技术所要解决的技术问题是：针对现有技术中的云计算资源分配和调度技术的 不足之处，提出一种基于反馈和预测机制的云计算动态资源调度系统和相应的调度方法， 能够在云计算环境中实现均衡使用各种计算机资源，实现在较小的开销下获得满意的负载 均衡，提1?系统调度的综合效率。 本专利技术解决上述技术问题所采用的方案是： 云计算动态资源调度系统，包括： 任务请求模块，用于在用户提交任务请求时，验证用户身份的合法性和请求资源 的合本文档来自技高网...

【技术保护点】
云计算动态资源调度系统，其特征在于，包括：任务请求模块，用于在用户提交任务请求时，验证用户身份的合法性和请求资源的合法性，若验证未通过，则拒绝该任务请求；若验证通过，则将该任务请求发送给任务类型判断模块；任务类型判断模块，用于在收到任务请求时，判断请求的任务类型，并将所述请求的任务类型发送给调度决策模块；资源状态监控模块，用于从云计算环境中收集各虚拟机的各项性能指标，并将收集到的信息发送给虚拟机状态预测模块；虚拟机状态预测模块，用于根据各虚拟机的各项性能指标，并基于状态反馈的虚拟机状态预测模型计算各个虚拟机在此后一段时间内的状态值，并将计算出来的各个虚拟机的状态预测结果发送给调度决策模块；调度决策模块，用于比较所有虚拟机的状态预测结果，根据比较情况结合请求的任务类型选取要进行资源调度的虚拟机发送给资源调度模块；资源调度模块，用于将任务调度给调度决策模块选取的虚拟机，实现资源的智能分配。

【技术特征摘要】
1. 云计算动态资源调度系统，其特征在于，包括： 任务请求模块，用于在用户提交任务请求时，验证用户身份的合法性和请求资源的合 法性，若验证未通过，则拒绝该任务请求；若验证通过，则将该任务请求发送给任务类型判 断模块； 任务类型判断模块，用于在收到任务请求时，判断请求的任务类型，并将所述请求的任 务类型发送给调度决策模块； 资源状态监控模块，用于从云计算环境中收集各虚拟机的各项性能指标，并将收集到 的信息发送给虚拟机状态预测模块； 虚拟机状态预测模块，用于根据各虚拟机的各项性能指标，并基于状态反馈的虚拟机 状态预测模型计算各个虚拟机在此后一段时间内的状态值，并将计算出来的各个虚拟机的 状态预测结果发送给调度决策模块； 调度决策模块，用于比较所有虚拟机的状态预测结果，根据比较情况结合请求的任务 类型选取要进行资源调度的虚拟机发送给资源调度模块； 资源调度模块，用于将任务调度给调度决策模块选取的虚拟机，实现资源的智能分配。2. 如权利要求1所述的云计算动态资源调度系统，其特征在于，所述请求的任务类型 包括：计算类、I/O类或复合类；所述计算类任务是指以消耗CPU资源为主的任务；所述I/O 类任务是指以消耗磁盘I/O或者网络带宽为主的任务；所述复合类任务是指同时消耗多种 资源并无法区分哪种资源为该类型任务消耗的主要资源的任务。3. 如权利要求2所述的云计算动态资源调度系统，其特征在于，所述任务类型判断模 块判断请求的任务类型的方法为： 若请求的任务需要的CPU时长比需要的I/O时长大20%以上，则判定该请求的任务为 计算类任务；若请求的任务需要的I/O时长比需要的CPU时长大20%以上，则判定该请求 的任务为I/O类任务；若请求的任务需要的I/O时长与需要的CPU时长之差小于20%，则 判定该请求的任务为复合类任务。4. 如权利要求1所述的云计算动态资源调度系统，其特征在于，所述虚拟机的各项性 能指标包括：CPU利用率、内存利用率、磁盘利用率、磁盘I/O利用率、网络带宽利用率。5. 如权利要求1-4任意一项所述的云计算动态资源调度系统，其特征在于，所述调度 决策模块比较所有虚拟机的状态预测结果，根据比较情况结合请求的任务类型选取要进行 资源调度的虚拟机的的方法是： 比较各个虚拟机的状态预测值，如果只有一个虚拟机的预测值最大，则将其选取为要 进行资源调度的虚拟机；如果有两个或以上的虚拟机的预测值最大，则根据请求的任务类 型计算这些虚拟机的相应负载，在其中选取负载最小的虚拟机作为要进行资源调度的虚...

【专利技术属性】
技术研发人员：罗光春，田玲，秦科，刘贵松，张蛟，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51