一种基于FSM控制的资源调度方法及框架系统技术方案

本发明专利技术提供了一种基于FSM控制的资源调度方法及框架系统，分别实时接收外部发来的调度策略调度事件，并基于预先设定的各调度策略调度事件与有限状态自动机的各FSM状态的对应关系，通过有限状态自动机对应将其当前的FSM状态迁移至其接收到的外部发来的调度策略调度事件对应的各相应FSM状态，且基于预先建立的有限状态自动机的各FSM状态的输出结果与多机制调度器内预先设定的各调度策略的对应关系，通过多机制调度器对应确定出有限状态自动机当前迁移至的相应FSM状态对应的目标调度策略，并通过多机制调度器根据对应确定出的各目标调度策略分别对资源池内的资源进行调度。本发明专利技术能够实时应对企业多种调度场景的需求，增加资源调度的灵活性。

【技术实现步骤摘要】
一种基于FSM控制的资源调度方法及框架系统
本专利技术涉及资源调度领域，具体是一种基于FSM控制的资源调度方法及框架系统，主要用于大数据计算平台的资源调度。
技术介绍
在当今大数据技术爆发的时代，对大量存储和计算资源的管理变得尤其重要。为了实现对资源的有效利用，或说为了实现让时间敏感的计算可以低延迟地执行，现有技术中出现了多种资源调度模式，比如现有技术中常用的YARN资源调度框架、mesos资源调度框架、以及kubernetes资源调度框架，这些调度模式给出了大多数场景下相对优化的解决方案，但这些调度模式或者存在调度器调度模式单一的问题，或者存在调度器可动态变化空间小致使资源调度不灵活的问题。比如，YARN资源调度框架基于Hadoop平台，用于大数据计算平台的资源管理框架，它的基本理念有：资源可以按内存/cpu/硬盘/网卡等硬件划分为一个个的container，或是按标签来划分；然后应用通过申请固定单位的container来获得对资源的使用权，并在应用执行完成后归还资源。为了适合不同的场景，YARN框架提供了以下机制：1)预留机制：为资源需求量大的应用预留container，用于避免对资源需求量大的应用一直得不到资源；2)抢占机制：用于在可用资源不足时，使时间敏感的应用从别的应用中抢占资源；3)相对公平机制：采用一系统的加权算法，用于确保各应用对资源的利用的相对公平。4)共享机制：用于提供闲置资源的调用接口，方便用户调用各闲置资源。可见，YARN资源调度框架实际上提供了一系列的机制来满足不同场景下的需求，通过这些机制及其组合，可以实现多种调度策略，但其仍然存在以下缺点：①抢占机制对于时间敏感的应用是好的，但该种机制模式是全局的，并且只能在系统启动时启动，不能动态切换；②在企业中有多个部门混用资源的情况下，不同的部门之间往往需要不同的调度策略，使用YARN调度的粒度往往要变得特别细，使用灵活性相对弱；③YARN资源调度框架的插件式调度器尽管在一定程度上增加了YARN框架使用的灵活性，但该调度器同样需要在系统启动时启用，不能动态改变。再者，Mesos资源调度框架和Kubernetes资源调度框架，其二者之间是独立的，均可以管理虚拟的资源，且均不提供复杂的调度机制，其二者只是把资源做细粒度的划分，然后对外提供“有多少XX资源可用”这样的一个接口，而对于应用的资源需求，则直接分给应用去管理。可见，Mesos资源调度框架和Kubernetes资源调度框架均具有所提供的调度机制较少、且对于复杂的调度管理基本上要费很大的力气。为此，本专利技术提供一种基于FSM控制的资源调度方法及框架系统，用于解决现有技术中存在的上述技术问题。
技术实现思路
本专利技术所要解决的技术问题是，针对现有技术的不足，提供一种基于FSM控制的资源调度方法及框架系统，用于应对企业多种调度场景的需求，增加资源调度的灵活性。为解决上述技术问题，本专利技术提供了一种基于FSM控制的资源调度方法，包括步骤：S1、实时接收外部发来的调度策略调度事件，并实时将接收到的调度策略调度事件发送给有限状态自动机（即FSM）；S2、通过有限状态自动机，实时存储其自身当前的FSM状态、实时接收步骤S1中发来的各调度策略调度事件，并基于预先设定的各调度策略调度事件与有限状态自动机的各FSM状态的对应关系，对应将其当前的FSM状态迁移至其接收到的步骤S1中发来的调度策略调度事件对应的各相应FSM状态；S3、通过多机制调度器，实时获取步骤S2中有限状态自动机当前迁移至的相应FSM状态对应的输出结果，以及依据预先建立的有限状态自动机的各FSM状态的输出结果与多机制调度器内预先设定的各调度策略的对应关系，对应确定出上述步骤S2中有限状态自动机当前迁移至的相应FSM状态对应的目标调度策略，并根据其确定出的目标调度策略，对资源池内的资源进行调度。其中，步骤S3中所述多机制调度器内预先设定的各调度策略，均由多机制调度器依据其内预先设定的各资源调度机制中的至少一种资源调度机制对应形成；所述的资源调度机制至少包括共享机制、抢占机制、以及预留机制中的任意两种机制。其中，所述的资源调度机制包括共享机制、抢占机制和预留机制。其中，步骤S1中实时接收到的外部发来的各调度策略调度事件均通过xml文件定义。其中，步骤S3中所述的多机制调度器内预先设定的各调度策略，均通过xml文件定义。另外，本专利技术还提供了一种基于FSM控制的资源调度框架系统，包括事件接收器、有限状态自动机和多机制调度器，其中：事件接收器，用于实时接收外部发来的调度策略调度事件，并用于实时将接收到的调度策略调度事件发送给有限状态自动机；有限状态自动机，用于实时存储其自身当前的FSM状态，以及用于实时接收事件接收器发来的各调度策略调度事件，并用于基于其内预先设定的各调度策略调度事件与有限状态自动机的各FSM状态的对应关系，对应将其FSM状态迁移至其接收的调度策略调度事件对应的各相应FSM状态；多机制调度器，与有限状态自动机和资源池相连，用于基于有限状态自动机当前迁移至的相应FSM状态对应的输出结果、以及其内预先建立的有限状态自动机的各FSM状态的输出结果与多机制调度器内预先设定的各调度策略的对应关系，对应确定出上述有限状态自动机当前迁移至的相应FSM状态对应的目标调度策略，并根据确定出的目标调度策略，对资源池内的资源进行调度。其中，所述多机制调度器内预先设定的各调度策略，均由多机制调度器依据其内预先设定的各资源调度机制中的至少一种资源调度机制对应形成；所述的资源调度机制至少包括共享机制、抢占机制、以及预留机制中的任意两种机制。其中，所述的资源调度机制包括共享机制、抢占机制和预留机制。其中，事件接收器接收到的外部发来的各相关调度策略调度事件均通过xml文件定义。其中，多机制调度器内预先设定的各调度策略，均通过xml文件定义。与现有技术相比，本专利技术的优点在于：（1）本专利技术所述的基于FSM控制的资源调度方法及框架系统，分别实时接收外部发来的调度策略调度事件，并基于预先设定的各调度策略调度事件与有限状态自动机的各FSM状态的对应关系，通过有限状态自动机对应将其当前的FSM状态迁移至其接收到的外部发来的调度策略调度事件对应的各相应FSM状态，且基于预先建立的有限状态自动机的各FSM状态的输出结果与多机制调度器内预先设定的各调度策略的对应关系，通过多机制调度器对应确定出有限状态自动机当前迁移至的相应FSM状态对应的目标调度策略，并通过多机制调度器根据对应确定出的各目标调度策略分别对资源池内的资源进行调度，有限状态自动机的使用，可见本专利技术基于有限状态自动机的策略管理，且目标调度策略的改变由调度策略调度事件驱动，不同的调度策略调度事件对应不同的目标调度策略，从而使本专利技术能够实时应对企业多种调度场景的需求，这在一定程度上能够解决现有调度器可动态变化空间小的问题，以及在一定程度上可解决现有调度器调度模式单一的问题，增加了资源调度的灵活性。（2）本专利技术所述的基于FSM控制的资源调度方法及框架系统，多机制调度器内预先设定的各调度策略均通过xml文件定义，便于用户依据实际需要更改调度策略，可见本专利技术能够实时应对企业多种调度场景的需求，在一定程度上能够解决现有调度器可本文档来自技高网...

【技术保护点】
1.一种基于FSM控制的资源调度方法，其特征在于，包括步骤：S1、实时接收外部发来的调度策略调度事件，并实时将接收到的调度策略调度事件发送给有限状态自动机（2）；S2、通过有限状态自动机（2），实时存储其自身当前的FSM状态、实时接收步骤S1中发来的各调度策略调度事件，并基于预先设定的各调度策略调度事件与有限状态自动机（2）的各FSM状态的对应关系，对应将其当前的FSM状态迁移至其接收到的步骤S1中发来的调度策略调度事件对应的各相应FSM状态；S3、通过多机制调度器（3），实时获取步骤S2中有限状态自动机（2）当前迁移至的相应FSM状态对应的输出结果，以及依据预先建立的有限状态自动机（2）的各FSM状态的输出结果与多机制调度器（3）内预先设定的各调度策略的对应关系，对应确定出上述步骤S2中有限状态自动机（2）当前迁移至的相应FSM状态对应的目标调度策略，并根据其确定出的目标调度策略，对资源池（4）内的资源进行调度。

【技术特征摘要】
1.一种基于FSM控制的资源调度方法，其特征在于，包括步骤：S1、实时接收外部发来的调度策略调度事件，并实时将接收到的调度策略调度事件发送给有限状态自动机（2）；S2、通过有限状态自动机（2），实时存储其自身当前的FSM状态、实时接收步骤S1中发来的各调度策略调度事件，并基于预先设定的各调度策略调度事件与有限状态自动机（2）的各FSM状态的对应关系，对应将其当前的FSM状态迁移至其接收到的步骤S1中发来的调度策略调度事件对应的各相应FSM状态；S3、通过多机制调度器（3），实时获取步骤S2中有限状态自动机（2）当前迁移至的相应FSM状态对应的输出结果，以及依据预先建立的有限状态自动机（2）的各FSM状态的输出结果与多机制调度器（3）内预先设定的各调度策略的对应关系，对应确定出上述步骤S2中有限状态自动机（2）当前迁移至的相应FSM状态对应的目标调度策略，并根据其确定出的目标调度策略，对资源池（4）内的资源进行调度。2.根据权利要求1所述的基于FSM控制的资源调度方法，其特征在于，步骤S3中所述多机制调度器（3）内预先设定的各调度策略，均由多机制调度器（3）依据其内预先设定的各资源调度机制中的至少一种资源调度机制对应形成；所述的资源调度机制至少包括共享机制、抢占机制、以及预留机制中的任意两种机制。3.根据权利要求2所述的基于FSM控制的资源调度方法，其特征在于，所述的资源调度机制包括共享机制、抢占机制和预留机制。4.根据权利要求1-3各项权利要求所述的基于FSM控制的资源调度方法，其特征在于，步骤S1中实时接收到的外部发来的各调度策略调度事件均通过xml文件定义。5.根据权利要求4所述的基于FSM控制的资源调度方法，其特征在于，步骤S3中所述的多机制调度器（3）内预先设定的各调度策略，均通过xml文件定义。6.一种基于FSM控制的资源调度框架系统，其特征在...

【专利技术属性】
技术研发人员：孙伟，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41