实现计算资源服务化的调度方法、装置、介质、设备及系统制造方法及图纸

本发明专利技术涉及一种实现计算资源服务化的调度方法，包括：利用闲置物理机来申请CPU受限虚拟机，构建计算资源池；接收到任务请求时，使用容器镜像打包封装用户程序代码以及代码所依赖的运行环境和相关库；根据资源池中每个虚拟机的负载情况和任务繁忙程度来调度任务请求；根据实时并发调用量自动增加、减少容器的数量。与现有技术相比，本发明专利技术充分利用闲置资源，并通过容器的按需调度和自动伸缩，实现了计算资源服务化。此外，本发明专利技术还涉及一种实现计算资源服务化的调度装置、介质、设备及系统。

【技术实现步骤摘要】
实现计算资源服务化的调度方法、装置、介质、设备及系统
本专利技术涉及一种实现计算资源服务化的调度方法、装置、介质、设备及系统。
技术介绍
互联网产品运营生命周期中，既需要申请计算资源以应对业务增长，也需要释放计算资源以避免业务低谷期的闲置浪费。传统上，运维人员需要订购物理服务器，选择机房安置机架，调试硬件，然后部署服务端软件程序，最后产品才能如期上线。这种人工运维方式效率低下，重复劳动多，每个环节流程繁琐，产品上线和迭代缓慢。此外，由于物理计算资源通常并不能被充分利用，大量服务器在业务低谷期负载极低，资源严重浪费。虚拟化技术的成熟和IAAS(InfrastructureasaService，基础设施即服务)云平台的兴起让运维人员不再需要关注物理设备的采购和上架，通过在线操作控制台即可进行资源的按需申请和随时释放。而随着Serverless(无服务器)的概念的兴起和计算资源服务化的实践成熟，以AWSLambda为代表的Serverless产品，让开发者只需要关注业务逻辑的代码实现，无需关心资源的扩容，缩容，并且真正实现按代码运行时间付费，杜绝资源浪费。然而，IAAS平台虽然让运维人员从采购安装上架物理设备等繁琐劳动中解放出来，但开发者依然需要为虚拟机安装操作系统和各种软件，运维人员需要手动关注计算，网络，存储资源的扩容和缩容。此外，虚拟机依然存在低负载资源浪费的情况。同时，AWSLambda的使用场景存在严重的局限性，例如，仅支持部分语言编写的代码；任务运行最大时间仅为5分钟，无法支持长时间离线任务程序；不支持持久化服务任务，每个请求都需要创建容器，难以做到低延迟(10ms内)响应等。其他业内类似的产品如阿里云函数计算和腾讯云函数同样存在上述问题。
技术实现思路
本专利技术的目的在于通过使用虚拟化和容器技术，实现计算资源服务化。本专利技术的第一方面提供了一种实现计算资源服务化的调度方法，包括：利用闲置物理机来申请CPU受限虚拟机，构建计算资源池；接收到任务请求时，使用容器镜像打包封装用户程序代码以及代码所依赖的运行环境和相关库；根据资源池中每个虚拟机的负载情况和任务繁忙程度来调度任务请求；根据实时并发调用量自动增加、减少容器的数量。与现有技术相比，本专利技术充分利用闲置资源，并通过容器的按需调度和自动伸缩，实现了计算资源服务化。进一步地，在首次收到镜像的任务请求时选择多个虚拟机预下载容器镜像，并将后续请求优先调度到已存储该容器镜像的虚拟机中，随着镜像容器的调用量的增大，增加预下载容器镜像的虚拟机数量，以提高后续请求的响应速度。进一步地，还包括将常见的通用算法模板封装成常驻服务，并在计算资源池中预先拉起常驻服务容器的步骤。从而避免为每个算法请求创建容器，减少用户调用耗时和系统的资源消耗，满足用户的低延迟场景。进一步地，该方法还包括在容器结束销毁前，统计每个任务容器运行所占用CPU核时的步骤。最精细粒度的按需收费进一步地，每个任务由两个不同的虚拟机同时运行，从而大幅降低节点宕机导致的任务失败的概率。进一步地，在调度任务请求时，采用统一接入层均衡负载，将任务请求跨可用区调度，实现跨可用区(跨地域、跨机房)容灾。本专利技术的第二方面提供了一种实现计算资源服务化的调度装置，包括：资源池构建单元，被配置为利用闲置物理机来申请CPU受限虚拟机，构建计算资源池；封装单元，被配置为在接收到任务请求时，使用容器镜像打包封装用户程序代码以及其所依赖的运行环境和相关库；任务调度单元，被配置为根据资源池中每个虚拟机的负载情况和任务繁忙程度来调度任务请求；和任务容器伸缩单元，被配置为根据实时并发调用量自动增加、减少容器的数量。进一步地，该装置还包括镜像预热单元，被配置为在首次收到镜像的任务请求时选择多个虚拟机预下载容器镜像，并将后续请求优先调度到已存储该容器镜像的虚拟机中，随着镜像容器的调用量的增大，增加预下载容器镜像的虚拟机数量。进一步地，该装置还包括持久化任务调度单元，被配置为将常见的通用算法模板封装成常驻服务，并在计算资源池中预先拉起常驻服务容器。进一步地，该装置还包括统计单元，被配置为在容器结束销毁前，统计每个任务容器运行所占用CPU核时。进一步地，每个任务由两个不同的虚拟机同时运行。进一步地，该装置任务调度单元在调度任务请求时，采用统一接入层均衡负载，将任务请求跨可用区调度。本专利技术的第三方面提供了一种设备，该设备包括处理器、存储器，处理器与存储器建立通信连接；处理器，用于读取存储器中的程序，以执行前述第一方面或第一方面的任一实现方式提供的方法。本专利技术的第四方面提供了一种非易失性存储介质，该非易失性存储介质中存储了程序，该程序被计算设备运行时，计算设备执行前述第一方面或第一方面的任一实现方式提供的方法。本专利技术第五方面提供了一种系统，该系统包括多台物理机和前述第二方面或第二方面的任一实现方式提供的装置。与现有技术相比，本专利技术能够充分利用云平台的大量物理机闲置，通过容器按需调度和销毁算法，让客户通过直接向云服务商提交任务请求即可直接使用云资源，并且无需关心资源的扩容、缩容等问题，实现了计算资源服务化；同时，由于使用容器镜像打包业务算法代码，使得算法的开发语言不受限制；而持久化容器机制，能够轻松支持低延迟任务需求；最大程度地方便用户的同时，有效降低了用户的运维成本。附图说明图1是根据本专利技术的实施例的实现计算资源服务化的调度方法的流程图。图2是根据本专利技术的实施例的实现计算资源服务化的调度装置框图。图3是根据本专利技术的实施例的任务调度流程示意图。具体实施方式下面结合具体实施例和附图对本专利技术做进一步说明。可以理解的是，此处描述的具体实施例仅仅是为了解释本专利技术，而非对本专利技术的限定。此外，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部的结构或过程。本专利技术提出了一种基于容器技术的计算资源服务化的实现方案，使云服务商能够以API的方式实现计算资源的交付和应用程序的部署，自动伸缩以及高可用容灾。如图1所示，根据本专利技术的一个实施例，提供一种计算资源服务化系统，该系统可以包括由多台物理机组成的物理机群200和实现计算资源服务化的调度装置100。其中，装置100可以包括：资源池构建单元101、封装单元102、任务调度单元103和任务容器伸缩单元104。其中，资源池构建单元101被配置为充分利用云平台上的闲置资源，利用闲置物理机来申请CPU受限虚拟机，构建计算海量廉价的资源池。封装单元102被配置为在接收到任务请求时，使用容器镜像打包封装用户程序代码以及其所依赖的运行环境和相关库。使用容器镜像来打包业务算法代码，可以使算法开发不限制编程语言，克服了现有的Lambda等对编程语言的限制缺陷。任务调度单元103被配置为根据资源池中每个虚拟机的负载情况和任务繁忙程度来调度任务请求，实现容器的按需调度。任务容器伸缩单元104能够根据实时并发调用量自动增加、减少容器的数量实现弹性扩容，无需人工干预，使用户能够进一步提高效率。与现有技术相比，该系统能够充分利用物理机的闲置资源，通过容器的按需调度和自动伸缩，实现计算资源服务化。利用上述系统来实现计算资源服务化的详细工作过程将在后文描述。可选择地，在一些实施方式中，除以上单元外，装置100还可以包括镜像预热单元、持久化任本文档来自技高网...

【技术保护点】
1.一种实现计算资源服务化的调度方法，其特征在于，包括：利用闲置物理机来申请CPU受限虚拟机，构建计算资源池；接收到任务请求时，使用容器镜像打包封装用户程序代码以及代码所依赖的运行环境和相关库；根据所述资源池中每个虚拟机的负载情况和任务繁忙程度来调度任务请求；根据实时并发调用量自动增加、减少所述容器的数量。

【技术特征摘要】
1.一种实现计算资源服务化的调度方法，其特征在于，包括：利用闲置物理机来申请CPU受限虚拟机，构建计算资源池；接收到任务请求时，使用容器镜像打包封装用户程序代码以及代码所依赖的运行环境和相关库；根据所述资源池中每个虚拟机的负载情况和任务繁忙程度来调度任务请求；根据实时并发调用量自动增加、减少所述容器的数量。2.根据权利要求1所述的实现计算资源服务化的调度方法，其特征在于，在首次收到镜像的任务请求时选择多个虚拟机预下载容器镜像，并将后续请求优先调度到已存储该容器镜像的虚拟机中，随着所述镜像容器的调用量的增大，增加预下载容器镜像的虚拟机数量。3.根据权利要求1所述的实现计算资源服务化的调度方法，其特征在于，该方法还包括将常见的通用算法模板封装成常驻服务，并在所述计算资源池中预先拉起常驻服务容器的步骤。4.根据权利要求1所述的实现计算资源服务化的调度方法，其特征在于，该方法还包括在容器结束销毁前，统计每个任务容器运行所占用CPU核时的步骤。5.根据权利要求1所述的实现计算资源服务化的调度方法，其特征在于，每个任务由两个不同的虚拟机同时运行。6.根据权利要求1所述的实现计算资源服务化的调度方法，其特征在于，在调度任务请求时，采用统一接入层均衡负载，将所述任务请求跨可用区调度。7.一种实现计算资源服务化的调度装置，其特征在于，包括：资源池构建单元，被配置为利用闲置物理机来申请CPU受限虚拟机，构建计算资源池；封装单元，被配置为在接收到任务请求时，使用容器镜像打包封装用户程序代码以及其所依赖的运行环境和相关库；任务调度单元，被配置为根据所述资源池中每个虚拟机的负...

【专利技术属性】
技术研发人员：陈绥，叶理灯，
申请(专利权)人：优刻得科技股份有限公司，
类型：发明
国别省市：上海,31