资源复用方法、装置、终端和计算机可读存储介质制造方法及图纸

本发明专利技术实施例提出一种资源复用方法、装置、终端和计算机可读存储介质，方法包括：主进程根据任务并发量向资源管理器申请多个容器资源，任务并发量包括待执行任务的数量；主进程向申请到的容器资源对应的节点管理器发送启动任务请求；启动任务请求用于触发收到启动任务请求的节点管理器对应的容器资源运行待执行任务；如果主进程接收到容器资源的任务完成信息，则向容器资源对应的节点管理器发送新的启动任务请求，直至没有需要运行的待执行任务。通过采用容器资源复用的方式，能够节省主进程在申请容器资源时带来的性能开销，降低了对分布式调度系统的访问压力，实现集群的高吞吐量和高可用性。

Resource reuse methods, devices, terminals and computer readable storage media

The embodiment of the present invention proposes a resource reuse method, device, terminal and computer readable storage medium. The method includes: the main process requests multiple container resources from the resource manager according to the concurrent amount of tasks, and the concurrent amount of tasks includes the number of tasks to be executed; the node manager corresponding to the container resources applied by the main process. Send a start task request; start task request is used to trigger the container resource corresponding to the node manager that receives the start task request to run the pending task; if the main process receives the task completion information of the container resource, send a new start task request to the node manager corresponding to the container resource until it is not needed Running tasks to be performed. By reusing container resources, it can save the performance overhead of the main process when applying for container resources, reduce the access pressure to the distributed scheduling system, and achieve high throughput and high availability of the cluster.

【技术实现步骤摘要】
资源复用方法、装置、终端和计算机可读存储介质
本专利技术涉及资源复用
，尤其涉及一种资源复用方法、装置、终端和计算机可读存储介质。
技术介绍
在现有技术中，开源的批处理分布式计算引擎MapReduce通过客户端向分布式调度系统Yarn提交作业，分布式调度系统Yarn负责为作业启动主进程。主进程负责为各个任务向分布式调度系统Yarn申请资源并启动容器资源执行。但是该方法存在一定的缺陷。一方面，由于分布式调度系统Yarn必须为每一个任务启动一个容器资源，这将使得作业运行时间增加一大笔任务调度开销。另一方面，当主进程因为异常挂掉后，它从日志中恢复已经运行完成的任务，但是正在运行的各个任务会被分布式调度系统Yarn清除，这将导致很大的资源浪费，延长作业的运行时间。在
技术介绍
中公开的上述信息仅用于加强对本专利技术的背景的理解，因此其可能包含没有形成为本领域普通技术人员所知晓的现有技术的信息。
技术实现思路
本专利技术实施例提供一种资源复用方法、装置、终端和计算机可读存储介质，以解决现有技术中的一个或多个技术问题。第一方面，本专利技术实施例提供了一种资源复用方法，包括：主进程根据任务并发量向资本文档来自技高网...

【技术保护点】
1.一种资源复用方法，其特征在于，包括：主进程根据任务并发量向资源管理器申请多个容器资源，所述任务并发量包括待执行任务的数量；所述主进程向申请到的所述容器资源对应的节点管理器发送启动任务请求；所述启动任务请求用于触发收到所述启动任务请求的节点管理器对应的容器资源运行所述待执行任务；如果所述主进程接收到所述容器资源的任务完成信息，则向所述容器资源对应的节点管理器发送新的启动任务请求，直至没有需要运行的待执行任务。

【技术特征摘要】
1.一种资源复用方法，其特征在于，包括：主进程根据任务并发量向资源管理器申请多个容器资源，所述任务并发量包括待执行任务的数量；所述主进程向申请到的所述容器资源对应的节点管理器发送启动任务请求；所述启动任务请求用于触发收到所述启动任务请求的节点管理器对应的容器资源运行所述待执行任务；如果所述主进程接收到所述容器资源的任务完成信息，则向所述容器资源对应的节点管理器发送新的启动任务请求，直至没有需要运行的待执行任务。2.如权利要求1所述的方法，其特征在于，还包括：所述主进程启动远程过程调用服务器，并将所述远程过程调用服务器的地址写到协调服务节点上，以使各所述容器资源通过获取所述协调服务节点上的所述远程过程调用服务器的地址与所述主进程保持通信；在所述主进程重新启动的状态下，所述主进程将所述远程过程调用服务器的新地址写到所述协调服务节点上，并采用所述远程过程调用服务器的新地址重新与等待中的容器资源建立通信；所述等待中的容器资源包括在所述主进程重新启动前与所述主进程通信且存在尚未运行完成的任务的容器资源。3.如权利要求2所述的方法，其特征在于，所述主进程将所述远程过程调用服务器的新地址写到所述协调服务节点上，并重新与等待中容器资源建立通信包括：所述主进程新建协调服务节点，并将所述远程过程调用服务器的新地址写到新建的协调服务节点上；所述主进程采用所述远程过程调用服务器的新地址与所述等待中的容器资源重新建立通信，以使所述等待中的容器资源继续运行尚未运行完成的任务。4.如权利要求1所述的方法，其特征在于，如果所述主进程接收到所述容器资源的任务完成信息，则向所述容器资源对应的节点管理器发送新的启动任务请求，包括：所述主进程接收各所述容器资源持续发送的心跳信息，所述心跳信息包括所述任务完成信息或任务正在运行信息；所述主进程根据接收到的各所述容器资源的心跳信息，判断是否需要向各所述容器资源对应的节点管理器发送新的启动任务请...

【专利技术属性】
技术研发人员：尹承忱，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11