一种云计算环境下的服务及资源分层调度方法技术

一种云计算环境下的服务及资源分层调度方法；其包括提交用户请求、划分任务单元、定义计算模型、定义存储模型、定义服务解析过程、服务调度过程、资源调度过程和对调度进行评估等阶段：本发明专利技术定义了服务组合文件的数学模型并将其应用于云环境中；首先对服务组合文件进行解析以确定服务优先级；利用资源池将任务分类，服务可以通过运行特点使用合适的资源分配方法执行；调度方法考虑了数据局部性和相关服务完成率。从模拟实验中可以观察到，本发明专利技术提出的分层调度方法可以提高资源利用率，相较于Hadoop默认的FIFO调度实现更高的服务完成率。本发明专利技术提出的方法通过高效调度和优先级的重新分配满足用户和服务提供者的要求。

【技术实现步骤摘要】
—种云计算环境下的服务及资源分层调度方法
本专利技术属于计算机网络应用与系统结构
，特别是涉及。
技术介绍
云计算改变了传统使用基础设施的方式。其中，有效的资源管理和服务调度可以解决资源过度消耗或利用不足的问题，提高用户满意度。由于用户需求和服务属性的多样性，在云环境中针对不同应用程序和服务模式的调度算法的研究，以及在云环境中执行服务组合，对用户请求实现定制化是非常重要的。在云计算环境中实现服务组合，重要的是服务调度和资源分配并在此基础上满足QoS要求。服务组合是通过组合和连接云计算环境中已有的服务以创建新的服务的过程。服务的调度要符合云计算动态性，分布式和可共享的特点。资源的分配是为了能够让工作流中的所有服务都达到各自的性能指标。此外，在云计算平台中，基于QoS的资源分配机制可以对用户请求进行差异化的调度。云计算服务提供三层架构。整个云架构包括资源提供者，服务提供者和用户三部分。服务提供者租借资源并创建虚拟机实例为用户提供服务；资源提供者负责将虚拟机调度到相应的物理机上；用户提交申请单个服务或服务组合。服务提供者的服务随着时间或成本等因素而发生变化。云计算向着数据密集型和计算密集型发展的特点，很多应用都是基于Map/Reduce模型以提高性能。Map/Reduce是Google提出的分布式并行计算编程模型，用于大规模数据的并行处理。Map/Reduce模型受函数式编程语言的启发，将大规模数据处理作业拆分成若干个可独立运行的Map任务，分配到不同的机器上去执行，生成某种格式的中间文件，再由若干个Reduce任务合并这些中间文件获得最后的输出文件。此前在Map/Reduce模型中对服务调度算法的研究包括:FIF0调度算法会长期占用系统资源，其他作业提交之后由于迟迟得不到系统资源而不能及时处理，从而影响了系统的交互能力和用户的使用体验；公平份额调度算法和计算能力调度算法要进行预先的配置，因此配置的适当与否决定着系统的性能，配置合适时系统有着较好的响应性能，但如果没有配置好，则与配置好时的系统性能有着较大的差距。
技术实现思路
为了解决上述问题，本专利技术的目的在于提供。为了达到上述目的，本专利技术提供的云计算环境下的服务及资源分层调度方法包括按顺序进行的下列步骤:I)提交用户请求的SOl阶段:用户提交请求给服务提供者，包括单个服务或服务组合；2)划分任务单元的S02阶段:服务提供者接收用户请求，划分为更小单元的任务，任务单元在得到优先级后进行调度；3)定义计算模型的S03阶段:从服务级定义负责服务执行的计算资源模型，计算资源模型分为服务层和虚拟层；4)定义存储模型的S04阶段:从任务级定义负责数据的存储资源模型，分为服务层和数据访问层；5)定义服务解析过程的S05阶段:定义服务解析过程，将用户所请求的服务根据定义的调度模型分解成服务组合模式，对服务组合模式中的服务文件进行解析，包括计算服务执行时间，服务权重和数据传输权重，并根据计算结果和服务路径对服务进行排名；6)服务调度过程的S06阶段:预定义三个资源池，资源池根据Map/Consumption比衡量和比较Map/Reduce服务，将排名后的服务分解成任务，计算任务完成率是否大于资源池中任务槽定义的阈值，将大于阈值的任务根据服务所需的资源分解进入三个资源池中，不同资源池中的服务对应不同的资源分配方法，任务在资源池中的分布式任务槽中执行，这是服务调度过程；7)资源调度过程的S07阶段:资源池中有可用任务槽时对任务进行调度部署，预定义三种资源池的分配方法，当Map/Reduce中的TaskTracker有可用任务槽时,根据数据局部性原理从资源池中选合适的任务执行，若排名前三任务数据局部性符合，将排名最高的任务分配进入任务槽中，若不符合，继续等待；最后完成服务调度与资源调度的整体过程;8)对调度进行评估的S08阶段:从服务总完成时间、资源利用率方面对调度进行评估。在S03阶段中，所述的计算资源模型定义了三种任务类型=TM-Map任务，TR-Reduce 任务和非 Map-Reduce 任务。在S03阶段中，计算资源模型中定义的数据块是可复制的。所述的步骤6)中依据Map/Consumption比设置三个数据访问级别:Map数据输入，Map-Reduce中间数据，Reduce数据输出。所述的步骤5)_步骤7)共同构成分层调度模型，从服务调度和资源调度两方面改善服务组合执行率。本专利技术提供的云计算环境下的服务及资源分层调度方法，定义了服务组合文件的数学模型并将其应用于云环境中；首先对服务组合文件进行解析以确定服务优先级；利用资源池将任务分类，服务可以通过运行特点使用合适的资源分配方法执行；调度方法考虑了数据局部性和相关服务完成率。从模拟实验中可以观察到，本专利技术提出的分层调度方法可以提高资源利用率，相较于Hadoop默认的FIFO调度实现更高的服务完成率。另外，为了同时满足用户和服务提供者，需要一个高效的服务调度方法。本专利技术提出的方法通过高效调度和优先级的重新分配满足用户和服务提供者的要求。【附图说明】图1为本专利技术提供的云计算环境下的服务及资源分层调度方法的流程图；图2为负责服务执行的计算资源模型示意图；图3为负责数据的存储资源模型示意图；图4为本专利技术提供的云计算环境下的服务及资源分层调度方法的操作过程框图；图5为本方法与FIFO总服务完成时间对比；图6为本方法与FIFO的资源占用对比；图7为本方法中不同资源池中服务的完成时间；【具体实施方式】下面结合附图和具体实施例对本专利技术提供的云计算环境下的服务及资源分层调度方法进行详细说明。如图1所示，本专利技术提供的云计算环境下的服务及资源分层调度方法包括按顺序进行的下列步骤:I)提交用户请求的SOl阶段:用户提交请求给服务提供者，包括单个服务或服务组合；2)划分任务单元的S02阶段:服务提供者接收用户请求，划分为更小单元的任务，任务单元在得到优先级后进行调度；3)定义计算模型的S03阶段:从服务级定义负责服务执行的计算资源模型，图2所示为计算资源模型，分为服务层和虚拟层；4)定义存储模型的S04阶段:从任务级定义负责数据的存储资源模型，图3所示为存储资源模型，分为服务层和数据访问层；5)定义服务解析过程的S05阶段:定义服务解析过程。将用户所请求的服务根据定义的调度模型分解成服务组合模式(SCP)，对服务组合模式中的服务文件进行解析，包括计算服务执行时间，服务权重和数据传输权重，并根据计算结果和服务路径对服务进行排名；6)服务调度过程的S06阶段:预定义三个资源池，资源池根据Map/Consumption比衡量和比较Map/Reduce服务，将排名后的服务分解成任务，计算任务完成率是否大于资源池中任务槽定义的阈值，将大于阈值的任务根据服务所需的资源分解进入三个资源池中，不同资源池中的服务对应不同的资源分配方法，任务在资源池中的分布式任务槽中执行，这是服务调度过程；7)资源调度过程的S07阶段:资源池中有可用任务槽时对任务进行调度部署，预定义三种资源池的分配方法，当Map/Reduce中的TaskTracker有可用任务槽时,根据数据局部性原理从资源池中选合适的任务执行，若排名前三任务数据局部性符合，将排名最本文档来自技高网...

【技术保护点】
一种云计算环境下的服务及资源分层调度方法，其特征在于：其包括按顺序进行的下列步骤：1）提交用户请求的S01阶段：用户提交请求给服务提供者，包括单个服务或服务组合；2）划分任务单元的S02阶段：服务提供者接收用户请求，划分为更小单元的任务，任务单元在得到优先级后进行调度；3）定义计算模型的S03阶段：从服务级定义负责服务执行的计算资源模型,计算资源模型分为服务层和虚拟层；4）定义存储模型的S04阶段：从任务级定义负责数据的存储资源模型,分为服务层和数据访问层；5）定义服务解析过程的S05阶段：定义服务解析过程，将用户所请求的服务根据定义的调度模型分解成服务组合模式，对服务组合模式中的服务文件进行解析，包括计算服务执行时间，服务权重和数据传输权重，并根据计算结果和服务路径对服务进行排名；6）服务调度过程的S06阶段：预定义三个资源池，资源池根据Map/Consumption比衡量和比较Map/Reduce服务，将排名后的服务分解成任务，计算任务完成率是否大于资源池中任务槽定义的阈值，将大于阈值的任务根据服务所需的资源分解进入三个资源池中，不同资源池中的服务对应不同的资源分配方法，任务在资源池中的分布式任务槽中执行，这是服务调度过程；7）资源调度过程的S07阶段：资源池中有可用任务槽时对任务进行调度部署，预定义三种资源池的分配方法，当Map/Reduce中的TaskTracker有可用任务槽时，根据数据局部性原理从资源池中选合适的任务执行，若排名前三任务数据局部性符合，将排名最 高的任务分配进入任务槽中，若不符合，继续等待；最后完成服务调度与资源调度的整体过程；8）对调度进行评估的S08阶段：从服务总完成时间、资源利用率方面对调度进行评估。...

【技术特征摘要】
1.一种云计算环境下的服务及资源分层调度方法，其特征在于:其包括按顺序进行的下列步骤: 1)提交用户请求的SOl阶段:用户提交请求给服务提供者，包括单个服务或服务组合； 2)划分任务单元的S02阶段:服务提供者接收用户请求，划分为更小单元的任务，任务单元在得到优先级后进行调度； 3)定义计算模型的S03阶段:从服务级定义负责服务执行的计算资源模型，计算资源模型分为服务层和虚拟层； 4)定义存储模型的S04阶段:从任务级定义负责数据的存储资源模型，分为服务层和数据访问层； 5)定义服务解析过程的S05阶段:定义服务解析过程，将用户所请求的服务根据定义的调度模型分解成服务组合模式，对服务组合模式中的服务文件进行解析，包括计算服务执行时间，服务权重和数据传输权重，并根据计算结果和服务路径对服务进行排名； 6)服务调度过程的S06阶段:预定义三个资源池，资源池根据Map/Consumption比衡量和比较Map/Reduce服务，将排名后的服务分解成任务，计算任务完成率是否大于资源池中任务槽定义的阈值，将大于阈值的任务根据服务所需的资源分解进入三个资源池中，不同资源池中的服务对应不同的资源分配方法，任务在资源池中的分布式任务槽中执行，这是服务调度过程； 7)资源调度过程的S07...

【专利技术属性】
技术研发人员：彭勇，谢丰，赵伟，严焱心，杨宏宇，
申请(专利权)人：中国信息安全测评中心，
类型：发明
国别省市：北京;11