基于PaaS平台进行资源调度的方法、装置、设备和存储介质制造方法及图纸

本申请实施例提供了一种基于PaaS平台进行资源调度的方法、装置、设备和存储介质，涉及大数据领域。该方法包括：在接收到上层应用基于待处理任务发起的资源调度请求之后，若资源池中存在待处理任务所需调度的目标资源，从资源池中调度目标资源；预设的资源池包括从算力网络中预先申请的备用资源；算力网络包括由分布式集群提供的资源；否则以预设方式从算力网络调度目标资源；基于调度的目标资源处理待处理任务。其中，算力网络集中了多个集群的资源。本申请实施例所提供的方案满足了上层应用对算力资源调度模式的多样化需求。算力资源调度模式的多样化需求。算力资源调度模式的多样化需求。

【技术实现步骤摘要】
基于PaaS平台进行资源调度的方法、装置、设备和存储介质


[0001]本申请涉及大数据
，具体而言，本申请涉及一种基于PaaS平台进行资源调度的方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

技术介绍

[0002]在各种算力需求中，大数据应用是对算力需求较旺盛的领域，原有大数据应用主要针对单一集群下的需求支撑。大数据应用是基于有向无环图或者大规模并行处理迭代的计算模式，是典型的分布式计算模型。当数据量很小时，很少的几台机器或单个集群内就能解决。而随着大数据产业的蓬勃发展，越来越多的企业面临着更大规模、更高增长率、更加多样化的数据处理的挑战。分布式计算模型将由传统的基于单一集群的服务支撑模式，演进到由基于网络连接下的分布式集群的一体化支撑模式，进而有效的支撑越来越广泛的分布式应用。
[0003]受限于当前企业集群部署模式和网络环境等情况限制，当前大数据PaaS结合云原生相关技术是基于单个集群去实现的，资源调度的范围被限制在该单个集群内。虽然企业内部运行多个Kubernetes集群已变得颇为常见，通过Kubernetes联邦集群机制可以更好的实现业务隔离、故障隔离及高可用，但并未解决集群之间资源的横向连接打通。对于用户来说，多集群联邦模式其实并不是刚需，更需要的是针对多集群间资源的横向管理。如，在单个集群内下，在应用运行过程中只能实现基于单个集群下的“有限”的资源动态扩缩容。
[0004]基于算力网络可以将原来算力只能在各自集群进行内部自平衡的“星形模式”，过度到基于网状架构下的算力互联互通模式，实现在整个网络下的自平衡。PaaS也将由传统的基于单一集群的服务支撑模式，演进到由基于网络连接下的针对各个集群进行一体化的支撑模式。因此，如何在当前算力网络基础上通过标准化模式进行资源动态调度，以支撑大数据领域任务处理成为了急需解决的问题。

技术实现思路

[0005]本申请实施例的目的在于提供一种基于PaaS平台进行资源调度的方法、装置、电子设备以及相关产品，以解决上述技术问题之一。为了实现该目的，本申请实施例提供的方案如下所示。
[0006]一方面，本申请实施例提供了一种基于PaaS平台进行资源调度的方法，该方法包括：接收上层应用基于待处理任务发送的资源调度请求；基于资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源；资源池包括从算力网络中预先申请的算力资源；算力网络包括由分布式集群提供的算力资源；基于目标资源处理待处理任务。
[0007]可选的，基于资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源，包括：
根据资源描述信息预估待处理任务所需调度的第一目标资源；若预设的资源池中存在第一目标资源，从资源池中调度第一目标资源；若资源池中不存在第一目标资源，以预设方式向算力网络发起资源调度，得到第二目标资源。
[0008]可选的，确定预设的资源池中存在第一目标资源，包括：根据第一目标资源与资源池中的算力资源进行匹配；将匹配得到的算力资源确定为第一目标资源。
[0009]可选的，资源描述信息包括：计算资源的描述信息、存储资源的描述信息、和资源选择策略中的至少一项；所述资源选择策略包括最优时间策略、最优成本策略和最优路径策略中的至少一项。
[0010]可选的，在PaaS平台的初始化阶段，该方法还包括：创建资源池；从算力网络中获取预设数量的算力资源，并存放至资源池；算力资源包括计算资源和存储资源。
[0011]可选的，在接收上层应用基于待处理任务发送的资源调度请求之前，方法还包括：获取资源池中算力资源的利用率；若利用率在预设范围之外，基于预设的资源管理策略对资源池中的算力资源进行调度管理。
[0012]可选的，预设方式包括以下任一种方式：第一方式；以第一方式调度的目标资源为基础性资源；第二方式；以第二方式调度的目标资源为具备容器化的计算环境的资源，和/或具备文件/对象存储环境的资源；第三方式；以第三方式调度的目标资源为大数据计算服务资源，和/或存储服务资源。
[0013]其中，服务组件为通过基础资源创建的，并用于处理任务。
[0014]另一方面，本申请实施例提供了一种基于PaaS平台进行资源调度的装置，该装置包括：收发模块，用于接收上层应用基于待处理任务发送的资源调度请求。
[0015]调度模块，用于基于资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源；预设的资源池包括从算力网络中预先申请的算力资源；算力网络包括由分布式集群提供的算力资源。
[0016]处理模块，用于基于目标资源处理待处理任务。
[0017]再一方面，本申请提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上的计算机程序，其特征在于，处理器执行计算机程序以实现本申请实施例提供的一种基于PaaS平台进行资源调度的方法的步骤。
[0018]本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请实施例提供的一种基于PaaS平台进行资源调度的方法的步骤。
[0019]本申请实施例还提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本申请实施例提供的一种基于PaaS平台进行资源调度的方法的步骤。
[0020]本申请实施例提供的技术方案带来的有益效果是：本申请实施例提供了一种基于PaaS平台的进行资源调度方法，该方法中，PaaS平台与算力网络相连接，而该算力网络包括由分布式集群提供的算力资源，因此，该方法对PaaS平台可调度的资源进行了扩充。在实施该方法之前，为预设的资源池从算力网络中调
度算力资源，从而实现对资源的批发式调度；在接收到资源调度请求之后，从预设的资源池，和/或算力资源中调度目标资源，并基于目标资源处理待处理任务。而从算力网络中临时调度资源的方式，也实现了对资源的临时申请式调度。本申请实施例提供的一种基于PaaS平台的进行资源调度方案，通过与算力网络相连接的方式实现了对PaaS平台所能调度的算力资源的有效扩容。基于已创建的资源池实现了对资源的批发式调度，所批发的资源可以不完全在一个集群，如对于计算资源，可从北京、浙江等多个区域实施调度；以及基于算力网络进行资源调度的方式实现了对资源的临时申请式调度，则实现了对算力资源调度模式的多样化。
[0021]本申请实施例所提供的方案结合大数据领域针对算力需求特点，基于算力网络与PaaS平台之间打造的标准化数智插座，可以支撑大数据场景下对算网资源的按需调用适配，为大数据应用提供最优的、按需且灵活的算网资源服务。通过PaaS平台与算力网络构建“批发+零售”两种算力调用接口，满足了大数据领域应用对算力资源调度模式的多样化需求。
附图说明
[0022]为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
[0023]图1为本申请实施例提供一种资源管理组本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于PaaS平台进行资源调度的方法，其特征在于，所述方法包括：接收上层应用基于待处理任务发送的资源调度请求；基于所述资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源；所述资源池包括从所述算力网络中预先申请的算力资源；所述算力网络包括由分布式集群提供的算力资源；基于所述目标资源处理所述待处理任务。2.根据权利要求1所述的方法，其特征在于，所述基于所述资源调度请求携带的资源描述信息从预设的资源池，和/或，算力网络中调度目标资源，包括：根据所述资源描述信息预估所述待处理任务所需调度的第一目标资源；若预设的资源池中存在所述第一目标资源，从所述资源池中调度所述第一目标资源；若所述资源池中不存在所述第一目标资源，以预设方式向算力网络发起资源调度，得到第二目标资源。3.根据权利要求2所述的方法，其特征在于，确定预设的资源池中存在所述第一目标资源，包括：根据所述第一目标资源与所述资源池中的算力资源进行匹配；将匹配得到的算力资源确定为所述第一目标资源。4.根据权利要求1所述的方法，其特征在于，所述资源描述信息包括：计算资源的描述信息、存储资源的描述信息、和资源选择策略中的至少一项；所述资源选择策略包括最优时间策略、最优成本策略和最优路径策略中的至少一项。5.根据权利要求1所述的方法，其特征在于，在PaaS平台的初始化阶段，所述方法还包括：创建所述资源池；从所述算力网络中获取预设数量的算力资源，并存放至所述资源池；所述算力资源包括计算资源和存储资源。6.根据权利要求1所述的方法，其特征在于，在接收上层应用基于待处理任务发送的资...

【专利技术属性】
技术研发人员：王立冬，高智芳，刘睿，
申请(专利权)人：亚信科技中国有限公司，
类型：发明
国别省市：