基于k8s自动拓展强化学习任务调度方法、装置及系统制造方法及图纸

本发明专利技术提供了基于k8s自动拓展强化学习任务调度方法、装置及系统，该方法包括：k8s的API server接受用户提交的强化学习任务的请求，并创建高可用强化学习任务；其中，用户在提交强化学习任务时，指定资源总数和任务脚本；k8s通过Autoscaler组件监控所述强化学习任务的状态，并判断资源充足情况；当资源不足时，k8s会通过API server删除工作节点并申请更多资源的个工作节点；当资源过多时，k8s会删除工作节点并申请更少资源的工作节点；k8s将新的节点信息同步到Autoscaler组件。本发明专利技术基本无需人工干预，可以进行任务动态的扩缩容，且容易和平台直接结合，直接复用平台资源调度系统。

【技术实现步骤摘要】
基于k8s自动拓展强化学习任务调度方法、装置及系统
本专利技术书一个或多个实施例涉及计算机
，尤其涉及一种基于k8s自动拓展强化学习任务调度方法、装置及系统。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。数据中心虚拟化建设，其中一个重要的目的是提高物理资源的利用率。在将传统业务迁移至虚拟化环境中后，将多个应用系统整合在同一台服务器中，虽然提高了单台服务器的物理资源利用率。但仍然有很多应用系统虚拟机资源分配过剩，资源浪费严重的现象存在。导致此现象的原因有几点：第一应用系统虚拟机申请人对应用系统运行状况了解不深入，申请的资源一般情况下超过应用系统业务峰值时所需要的资源。第二由于应用的类型特殊，无法估计正确的业务峰值、平均值所需资源。第三不同的业务系统在不同的时段对不同的资源(CPU、内存、网络)消耗是不同的。目前主要是通过采集虚拟机系统性能参数判断业务压力进行动态调度，并避免虚拟机空闲时资源过剩和高负载时节点资源分布不均衡，来解决数据中心业务系统虚拟机存在的资源分配过剩及资源不足。但该方法存在如下问题：(1)虚拟机相对于容器，动态资源分配能力弱，任务横向拓展慢。(2)没有针对强化学习特定场景的优化，例如高可用。有鉴于此，亟需一种新的处理技术，用于解决大规模强化学习训练时，任务不易动态拓展问题，以及为大规模强化学习提供高可用的解决方案。
技术实现思路
本说明书一个或多个实施例描述了基于k8s自动拓展强化学习任务调度装置方法、装置及系统，解决了大规模强化学习训练时，任务不易动态拓展问题，以及为大规模强化学习提供高可用的问题。本说明书一个或多个实施例提供的技术方案如下：第一方面，本专利技术提供了基于k8s自动拓展强化学习任务调度方法，包括以下步骤：k8s的APIserver接受用户提交的强化学习任务的请求，并创建高可用强化学习任务；其中，用户在提交强化学习任务时，指定资源总数和任务脚本；k8s通过Autoscaler组件监控所述强化学习任务的状态，并判断资源充足情况；当资源不足时，k8s通过APIserver删除工作节点并申请更多资源的个工作节点；当资源过多时，k8s删除工作节点并申请更少资源的工作节点；k8s将新的节点信息同步到Autoscaler组件。在一个示例中，所述创建高可用强化学习任务为创建强化学习任务架构，所述架构主要包括工作节点和主节点；其中，工作节点包括工作进程、调度器及对象存储；主节点包括工作进程、调度器、对象存储、驱动及全局控制器；所述工作进程，用于提交和执行强化学习任务；所述调度器，用于资源管理；所述对象存储，用于存储的管理。所述驱动，用于执行整个强化学习任务的主程序；所述全局控制器，用于基于键值对的数据库管理整个系统元数据信息。在一个示例中，工作节点中的调度器为多个，所述多个调度器之间形成分布式调度器。在一个示例中，工作节点中的对象存储为多个，所述多个对象存储之间形成分布式存储。在一个示例中，所述元数据信息存储在分布式文件系统中。第二方面，本专利技术提供了基于k8s自动拓展强化学习任务调度装置，该装置包括：创建模块，用于k8s的APIserver接受用户提交的强化学习任务的请求，并创建高可用强化学习任务；监控模块，用于k8s通过Autoscaler组件监控所述强化学习任务的状态；判断模块，用于基于监控模块得到的状态，来判断资源充足情况；处理模块，用于当资源不足时，k8s会通过APIserver删除工作节点，并申请更多资源的个工作节点，或当资源过多时，k8s会删除工作节点并申请更少资源的工作节点；同步模块，用于k8s将新的节点信息同步到Autoscaler组件。第三方面，基于k8s自动拓展强化学习任务调度系统，所述系统包括至少一个处理器和存储器；存储器，用于存储一个或多个程序指令；处理器，用于运行一个或多个程序指令，执行如第一方面所述的方法。第四方面，本专利技术提供了一种芯片，所述芯片与系统中的存储器耦合，使得所述芯片在运行时调用所述存储器中存储的程序指令，实现如第一方面所述的方法。第五方面，本专利技术提供了一种计算机可读存储介质，所述计算机可读存储介质包括一个或多个程序指令，所述一个或多个程序指令可被如第三方面所述的系统执行，以实现如第一方面所述的方法。本专利技术实施例提供的技术方案，通过k8s的Autoscaler组件，在大规模强化学习训练时，可以根据资源使用情况动态的扩缩容，同时强化学习高可用方案解决了大规模强化学习任务失败后不易恢复的问题。附图说明图1为本专利技术实施例提供的基于k8s自动拓展强化学习任务调度方法流程示意图；图2为为强化高可用架构图结构示意图；图3为本专利技术实施例提供的基于k8s自动拓展强化学习任务调度装置结构示意图；图4为本专利技术实施例提供的基于k8s自动拓展强化学习任务调度系统结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。基于k8s自动拓展任务：图1示出一个实施例的基于k8s自动拓展强化学习任务调度方法流程示意图，如图1所示，所述方法包括以下步骤：步骤10，k8s的APIserver接受用户提交的强化学习任务的请求，并创建高可用强化学习任务；其中，用户在提交强化学习任务时，指定资源总数和任务脚本。创建高可用强化学习任务，即需要构建强化学习高可用的架构图，图2为本专利技术提供的强化学习高可用的架构图，如图2所示，该架构图主要包括WorkerNode和HeadNode两部分。下面详细介绍：WorkerNode：工作节点包含工作进程、调度器及对象存储；各自的功能如下：工作进程，对于强化学习任务进行提交和执行；调度器之间形成分布式调度器，进行资源的管理；对象存储之间形成分布式对象存储，进行存储的管理。HeadNode：主节点包括工作进程、调度器、对象存储、驱动及全局控制器。因此主节点除了具备工作节点的所有功能外，还负责一个基于键值对的数据库管理整个系统元数据信息。其中，元数据信息存储在分布式文件系统中，保证数据不丢，主节点具备自恢复和不可恢复迁移能力，保证整个任务集群管理本文档来自技高网...

【技术保护点】
1.基于k8s自动拓展强化学习任务调度方法，其特征在于，包括：/nk8s的API server接受用户提交的强化学习任务的请求，并创建高可用强化学习任务；其中，用户在提交强化学习任务时，指定资源总数和任务脚本；/nk8s通过Autoscaler组件监控所述强化学习任务的状态，并判断资源充足情况；/n当资源不足时，k8s通过API server删除工作节点并申请更多资源的个工作节点；/n当资源过多时，k8s删除工作节点并申请更少资源的工作节点；/nk8s将新的节点信息同步到Autoscaler组件。/n

【技术特征摘要】
1.基于k8s自动拓展强化学习任务调度方法，其特征在于，包括：
k8s的APIserver接受用户提交的强化学习任务的请求，并创建高可用强化学习任务；其中，用户在提交强化学习任务时，指定资源总数和任务脚本；
k8s通过Autoscaler组件监控所述强化学习任务的状态，并判断资源充足情况；
当资源不足时，k8s通过APIserver删除工作节点并申请更多资源的个工作节点；
当资源过多时，k8s删除工作节点并申请更少资源的工作节点；
k8s将新的节点信息同步到Autoscaler组件。


2.根据权利要求1所述的方法，其特征在于，所述创建高可用强化学习任务为创建强化学习任务架构，所述架构主要包括工作节点和主节点；其中，
工作节点包括工作进程、调度器及对象存储；
主节点包括工作进程、调度器、对象存储、驱动及全局控制器；
所述工作进程，用于提交和执行强化学习任务；
所述调度器，用于资源管理；
所述对象存储，用于存储的管理。
所述驱动，用于执行整个强化学习任务的主程序；
所述全局控制器，用于基于键值对的数据库管理整个系统元数据信息。


3.根据权利要求2所述的方法，其特征在于，工作节点中的调度器为多个，所述多个调度器之间形成分布式调度器。


4.根据权利要求2所述的方法，其特征在于，工作节点中的对象存储为多个，所述多个对象存储之间形成分布式存储。
...

【专利技术属性】
技术研发人员：谢远东，刘青松，吕冬冬，梁家恩，
申请(专利权)人：云知声智能科技股份有限公司，厦门云知芯智能科技有限公司，
类型：发明
国别省市：北京;11