一种资源调度方法及系统技术方案

本发明专利技术实施例公开了一种资源调度方法及系统，涉及电子信息技术领域，能够减小系统延时，提高系统全局的计算性能和执行效率。本发明专利技术包括：根据客户端服务模块提交的任务，在节点管理模块中创建用于管理所述任务的应用管理模块和应用管理运行容器；通过所述应用管理模块根据所述任务生成子任务；分配对应所生成的子任务的计算资源，并根据所分配的计算资源建立线程，其中，一项子任务对应一个线程；在各子任务各自对应的线程上运行子任务。本发明专利技术适用于大量轻量级任务计算场景下的高效资源调度。

A resource scheduling method and system

The embodiment of the invention discloses a resource scheduling method and system, relating to the field of electronic information technology, which can reduce system delay and improve the overall computing performance and execution efficiency of the system. The invention comprises: according to client service module submit tasks, create a container for application management module and application management operation and management of the task in the node management module; through the application management module according to the task of generating sub tasks; calculating the corresponding resource allocation generated by sub tasks, and the establishment of the thread, according to the calculation the resources allocated among them, a sub task corresponds to a thread; run sub tasks in each sub task corresponding to each thread. The invention is suitable for efficient resource scheduling in a large number of lightweight task computing scenes.

【技术实现步骤摘要】
一种资源调度方法及系统
本专利技术涉及电子信息
，尤其涉及一种资源调度方法及系统。
技术介绍
随着大数据及相关产业的发展,为了能够满足日益增长的计算量需求,逐步发展并完善了分布式和云计算技术，其中以MapReduce和Storm等各类分布式计算框架作为主要工具，这些计算框架虽然在架构和算法上各有差异,但是都必须运行在相应的分布式资源调度框架之上。目前的分布式资源调度框架,例如Yarn和Mesos等,均以创建子进程的方式使用cpu和内存等资源，从而满足了对于单个任务所需的海量计算资源的需求,以便于实现大数据领域中单个任务开销大、耗时长的计算场景。但是，对于并发量高但单个任务开销小、耗时短的计算场景，单个进程的实际运行时间极小，但是由于并发量高导致需要频繁的创建进程，增加了系统延时，降低整个系统的执行效率。
技术实现思路
本专利技术的实施例提供一种资源调度方法及系统，能够减小系统延时，提高系统全局的计算性能和执行效率。为达到上述目的，本专利技术的实施例采用如下技术方案：第一方面，本专利技术的实施例提供一种资源调度方法，包括：根据客户端服务模块(Client)提交的任务，在节点管理模块(本文档来自技高网...

【技术保护点】
一种资源调度方法，其特征在于，包括：根据客户端服务模块(Client)提交的任务，在节点管理模块(NodeManager)中创建用于管理所述任务的应用管理模块(AppMaster)和应用管理运行容器(AppMaster Container)；通过所述应用管理模块(AppMaster)根据所述任务生成子任务；分配对应所生成的子任务的计算资源，并根据所分配的计算资源建立线程，其中，一项子任务对应一个线程；在各子任务各自对应的线程上运行子任务。

【技术特征摘要】
1.一种资源调度方法，其特征在于，包括：根据客户端服务模块(Client)提交的任务，在节点管理模块(NodeManager)中创建用于管理所述任务的应用管理模块(AppMaster)和应用管理运行容器(AppMasterContainer)；通过所述应用管理模块(AppMaster)根据所述任务生成子任务；分配对应所生成的子任务的计算资源，并根据所分配的计算资源建立线程，其中，一项子任务对应一个线程；在各子任务各自对应的线程上运行子任务。2.根据权利要求1所述的方法，其特征在于，所述分配对应所生成的子任务的计算资源，并根据所分配的计算资源建立线程，包括：资源调度模块(ResourceManager)根据所生成的子任务向所述应用管理模块(AppMaster)分配计算资源，并根据所分配的计算资源建立线程。3.根据权利要求2所述的方法，其特征在于，所述资源调度模块(ResourceManager)中，设置应用实例状态机、节点实例状态机和资源容器实例状态机，所述应用实例状态机对应了应用实例，所述节点实例状态机对应节点实例，所述资源容器实例状态机对应资源容器实例，各状态机根据接收到的事件变更状态。4.根据权利要求1或2所述的方法，其特征在于，所述在各子任务各自对应的线程上运行子任务，包括：启动与所述任务关联的节点管理模块中的应用管理运行容器，并运行各节点管理模块(NodeManager)中的任务执行模块(AppWorker)执行子任务，其中，一个任务执行模块用于对应一项子任务，并在这一项子任务对应的线程上运行。5.根据权利要求3所述的方法，其特征在于，还包括：所述资源调度模块(ResourceManager)将所述客户端服务模块(Client)提交的任务存储至分布式列式数据库(Hbase)，其中，针对所述资源调度模块(ResourceManager)所在集群(HA)，基于Zookeeper的分布式锁服务，通过领导者选举接口进行数据交互，并通过ApacheCurator封装Zookeeper底层的应用程序编程接口(api)。6.一种资源调度系统，其特征在于，...

【专利技术属性】
技术研发人员：赵光亚，章佳磊，李振辉，刘大健，
申请(专利权)人：苏宁云商集团股份有限公司，
类型：发明
国别省市：江苏,32