一种资源调度方法、装置、计算机设备及存储介质制造方法及图纸

本公开提供了一种资源调度方法、装置、计算机设备及存储介质，其中，该方法包括：接收作业执行请求，基于与K8s系统之间的远程调用协议，向K8s中的资源调度模块发送应用程序管理AM模块配置请求；响应于资源调度模块返回的第一配置成功回执信息，启动应用程序管理AM模块；响应于AM模块发送的容器资源配置请求，将容器资源配置请求转发至资源调度模块；响应于资源调度模块返回的第二配置成功回执信息，将第二配置成功回执信息转发至AM模块；响应于AM模块发送的容器资源启动请求，将容器资源启动请求分别转发给各个代理模块。本公开实施例可以将K8s系统中的容器资源调度给YARN系统中的目标作业，从而可以实现利用K8s中更多的计算资源执行YARN中的大数据作业。资源执行YARN中的大数据作业。资源执行YARN中的大数据作业。

【技术实现步骤摘要】
一种资源调度方法、装置、计算机设备及存储介质


[0001]本公开涉及计算机
，具体而言，涉及一种资源调度方法、装 置、计算机设备及存储介质。

技术介绍

[0002]随着互联网技术的发展，越来越多的工作中需要使用到大数据进行处 理和分析。能够提供应用部署、维护和扩展等功能的云原生资源管理系统， 例如容器集群管理系统(Kubernetes，K8s)受到人们的广泛关注。
[0003]通常很多大数据作业都运行在分布式资源管理系统(Yet AnotherResource Negotiator，YARN)中，无法利用K8s上更多的计算资源。如何 利用K8s上更多的计算资源执行运行在YARN中的大数据作业是亟待解决 的问题。

技术实现思路

[0004]本公开实施例至少提供一种资源调度方法、装置、计算机设备及存储 介质。
[0005]第一方面，本公开实施例提供了一种资源调度方法，包括：
[0006]接收作业执行请求；所述作业执行请求用于请求执行目标作业；
[0007]基于与云原生资源管理K8s系统之间的远程调用协议，向所述K8s系 统中的资源调度模块发送应用程序管理AM模块配置请求；所述AM模块 配置请求用于为所述目标作业配置AM模块；
[0008]响应于所述资源调度模块返回的第一配置成功回执信息，启动所述目 标作业的AM模块；
[0009]响应于所述AM模块发送的容器资源配置请求，将所述容器资源配置 请求转发至所述资源调度模块；
[0010]响应于所述资源调度模块针对所述容器资源配置请求返回的第二配置 成功回执信息，将所述第二配置成功回执信息转发至所述AM模块；
[0011]响应于所述AM模块发送的容器资源启动请求，将所述容器资源启动 请求转发给所述K8s系统中的各个代理模块；所述代理模块用于启动所述 目标作业对应的容器资源。
[0012]一种可能的实施方式中，向所述K8s系统中的资源调度模块发送应用 程序管理AM模块配置请求之前，所述方法还包括：
[0013]基于所述作业执行请求，获取包含多个待执行的作业的队列；
[0014]基于各个所述队列的已使用容器资源数量、以及各个所述队列所需的 总容器资源数量，从各个所述队列中筛选出第一资源使用比例符合第一预 设条件的目标队列；
[0015]针对各所述目标队列，基于所述目标队列中包含的各个待执行的作业 的已使用容器资源数量、以及各个待执行作业所需的总容器资源数量，从 各个所述待执行的作业中筛选出第二资源使用比例符合第二预设条件的待 执行的目标作业。
[0016]一种可能的实施方式中，所述响应于所述AM模块发送的容器资源配 置请求，将所
述容器资源配置请求转发至所述资源调度模块，包括：
[0017]响应于所述AM模块发送的容器资源配置请求，将第一数据结构形式 的容器资源配置请求转换为第二数据结构形式的容器资源配置请求；
[0018]将所述第二数据结构形式的容器资源配置请求转发至所述资源调度模 块，以使所述资源调度模块识别所述第二数据结构形式的容器资源配置请 求。
[0019]一种可能的实施方式中，所述目标作业包括多个；
[0020]所述响应于所述资源调度模块针对所述容器资源配置请求返回的第二 配置成功回执信息，将所述第二配置成功回执信息转发至所述AM模块， 包括：
[0021]响应于所述资源调度模块针对所述容器资源配置请求返回的第二配置 成功回执信息，将第二数据结构形式的第二配置成功回执信息转换为第一 数据结构形式的第二配置成功回执信息；
[0022]利用多个所述目标作业分别对应的线程将各自对应的所述第一数据结 构形式的第二配置成功回执信息转发至所述AM模块。
[0023]一种可能的实施方式中，所述响应于所述资源调度模块针对所述容器 资源配置请求返回的第二配置成功回执信息，将所述第二配置成功回执信 息转发至所述AM模块，包括：
[0024]响应于所述资源调度模块针对所述容器资源配置请求返回的第二配置 成功回执信息，按照预设通信周期将所述第二配置成功回执信息转发至所 述AM模块。
[0025]一种可能的实施方式中，响应于所述AM模块发送的容器资源配置请 求，将所述容器资源配置请求转发至所述资源调度模块之前，所述方法还 包括：
[0026]基于预先构建的与所述AM模块之间的请求服务协议，接收所述AM 模块通过目标接口针对所述容器资源发送的容器资源启动请求；所述目标 接口是所述AM模块中的用于发送容器资源启动请求的接口。
[0027]一种可能的实施方式中，响应于所述AM模块发送的容器资源启动请 求之后，所述方法还包括：
[0028]基于启动元信息变更所述代理模块对应的容器资源的状态，以使所述 代理模块监测到对应的容器资源的状态发生变更时，启动各个代理模块对 应的容器资源；所述启动元信息用于启动所述容器资源。
[0029]一种可能的实施方式中，所述方法还包括：
[0030]将资源调度过程中获取到的目标信息存储在所述K8s系统中的目标存 储模块中，以在重启目标进程时，从所述集群数据持久化模块中恢复所述 目标进程中的各目标信息；其中，所述目标信息包括以下信息中的至少一 种：集群元数据信息、所述目标作业所在的队列的属性信息、所述目标作 业对应的应用程序的属性信息、所述容器资源的属性信息、所述代理模块 所在的节点的属性信息。
[0031]第二方面，本公开实施例还提供一种资源调度装置，包括：
[0032]第一接收模块，用于接收作业执行请求；所述作业执行请求用于请求 执行目标作业；
[0033]第一发送模块，用于基于与云原生资源管理系统之间的远程调用协议， 向所述K8s系统中的资源调度模块发送应用程序管理AM模块配置请求； 所述AM模块配置请求用于
为所述目标作业配置AM模块；
[0034]启动模块，用于响应于所述资源调度模块返回的第一配置成功回执信 息，启动所述目标作业的AM模块；
[0035]第二发送模块，用于响应于所述AM模块发送的容器资源配置请求， 将所述容器资源配置请求转发至所述资源调度模块；
[0036]第三发送模块，用于响应于所述资源调度模块针对所述容器资源配置 请求返回的第二配置成功回执信息，将所述第二配置成功回执信息转发至 所述AM模块；
[0037]第四发送模块，用于响应于所述AM模块发送的容器资源启动请求， 将所述容器资源启动请求分别转发给所述K8s系统中的各个代理代理模块； 所述代理模块用于启动所述目标作业对应的所述容器资源。
[0038]第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存 储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计 算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器 可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可 能的实施方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源调度方法，其特征在于，包括：接收作业执行请求；所述作业执行请求用于请求执行目标作业；基于与云原生资源管理K8s系统之间的远程调用协议，向所述K8s系统中的资源调度模块发送应用程序管理AM模块配置请求；所述AM模块配置请求用于为所述目标作业配置AM模块；响应于所述资源调度模块返回的第一配置成功回执信息，启动所述目标作业的AM模块；响应于所述AM模块发送的容器资源配置请求，将所述容器资源配置请求转发至所述资源调度模块；响应于所述资源调度模块针对所述容器资源配置请求返回的第二配置成功回执信息，将所述第二配置成功回执信息转发至所述AM模块；响应于所述AM模块发送的容器资源启动请求，将所述容器资源启动请求转发给所述K8s系统中的各个代理模块；所述代理模块用于启动所述目标作业对应的容器资源。2.根据权利要求1所述的方法，其特征在于，向所述K8s系统中的资源调度模块发送应用程序管理AM模块配置请求之前，所述方法还包括：基于所述作业执行请求，获取包含多个待执行的作业的队列；基于各个所述队列的已使用容器资源数量、以及各个所述队列所需的总容器资源数量，从各个所述队列中筛选出第一资源使用比例符合第一预设条件的目标队列；针对各所述目标队列，基于所述目标队列中包含的各个待执行的作业的已使用容器资源数量、以及各个待执行作业所需的总容器资源数量，从各个所述待执行的作业中筛选出第二资源使用比例符合第二预设条件的待执行的目标作业。3.根据权利要求1所述的方法，其特征在于，所述响应于所述AM模块发送的容器资源配置请求，将所述容器资源配置请求转发至所述资源调度模块，包括：响应于所述AM模块发送的容器资源配置请求，将第一数据结构形式的容器资源配置请求转换为第二数据结构形式的容器资源配置请求；将所述第二数据结构形式的容器资源配置请求转发至所述资源调度模块，以使所述资源调度模块识别所述第二数据结构形式的容器资源配置请求。4.根据权利要求3所述的方法，其特征在于，所述目标作业包括多个；所述响应于所述资源调度模块针对所述容器资源配置请求返回的第二配置成功回执信息，将所述第二配置成功回执信息转发至所述AM模块，包括：响应于所述资源调度模块针对所述容器资源配置请求返回的第二配置成功回执信息，将第二数据结构形式的第二配置成功回执信息转换为第一数据结构形式的第二配置成功回执信息；利用多个所述目标作业分别对应的线程将各自对应的所述第一数据结构形式的第二配置成功回执信息转发至所述AM模块。5.根据权利要求1所述的方法，其特征在于，所述响应于所述资源调度模块针对所述容器资源配置请求返回的第二配置成功回执信息，将所述第二配置成功回执信息转发至所述AM模块，包括：响应于所述资源调度模块针对所述容器资源配置请求返回的第二配置成功回执信息，
...

【专利技术属性】
技术研发人员：辛朝晖，李亚坤，师锐，邵凯阳，林友权，姜亦朋，王本成，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：