一种针对资源统一管理的集群调度系统及方法技术方案

本发明专利技术公开了一种针对资源统一管理的集群调度系统及方法，属于分布式集群技术领域。本发明专利技术的针对资源统一管理的集群调度系统，该系统包括调度模块、任务后工作模块和界面模块：调度模块负责结合调度策略控制作业的进行，并收集节点信息；任务后工作模块负责关闭运行的任务，使后台损耗尽快最低；界面模块负责管理任务和安排任务。该发明专利技术的针对资源统一管理的集群调度系统能够保证用户公平合理地使用集群系统，从而提高整个系统的利用率，具有很好的推广应用价值。

A cluster scheduling system and method for unified resource management

【技术实现步骤摘要】
一种针对资源统一管理的集群调度系统及方法
本专利技术涉及分布式集群
，具体提供一种针对资源统一管理的集群调度系统及方法。
技术介绍
进入21世纪以来，集群计算技术得到了飞速发展，由于集群在性能价格比、可靠性、可扩展性、可管理性和应用支持性等方面的明显优势，基于Linux的集群计算机系统已成为目前资料处理的主流平台。近几年来，集群系统的配置规模不断扩大，集群系统规模已达到上千甚至上万个节点，计算能力普遍从百亿次级提高到目前的数十至数百万亿次级。计算能力的增强，提高了处理数据的质量，极大地缩短了处理周期，为石油工业特别是油气勘探开发工业的发展提供了坚实的技术支撑。从本质上讲，集群计算这项分布式技术核心的服务对象是一个个应用程序，或者说是作业，所以作业的调度自然就成为集群的一个核心部分。集群表现的好坏，也即作业执行的速度与效果如何，除了会受到处理器、网络、程序本身的结构等方面的影响，还取决于对作业的调度与控制。如何将各个作业派遣到集群中合适的资源上执行，如何使各并行作业的各个处于不同节点的分进程协调地工作，如何使各个作业的执行不会互相干扰，当被分配给工作的资源出现故障或被收回时又该如何处理，这一切都影响着作业运行的性能。除了单纯的速度要求，人们还可能提出要高效利用集群资源、平衡集群中各处的负载、实现具有不同重要性的用户作业可以按比例获得对资源的使用权。在集群作业管理技术上，作业调度对于集群的性能有着很重要的影响。一个好的作业调度软件对于系统资源利用率、作业平均运行时间、公平性等方面有着至关重要的影响。因此，一个好的作业调度软件对于集群作业管理是种迫切需求。把作业交付到一个对于用户来说近乎未知的分布式环境系统中，将会产生大量单机上作业执行不会遇到的难题，而且很多原来在单机中的问题一旦换成了多机的环境就会变得复杂。比如，可用的资源在哪里，这对于简单的单机环境来说不成问题，而在集群中就需要作业管理系统来从复杂且动态变化的集群环境中找到适合某个作业的资源，还要使集群中各个作业不会因为互相干扰而减低系统性能，又要保持系统各处的负载平衡以获得更大的系统吞吐率。这一切都促使作业管理系统的出现。集群系统的核心问题是如何通过有效地调度和管理，合理利用系统资源。目前存在几十种集群调度管理软件，比如LSF、PBS等，然而它们对大数据资料的处理都并不完美。
技术实现思路
本专利技术的技术任务是针对上述存在的问题，提供一种能够保证用户公平合理地使用集群系统，从而提高整个系统的利用率的针对资源统一管理的集群调度系统。本专利技术进一步的技术任务是提供一种针对资源统一管理的集群调度方法。为实现上述目的，本专利技术提供了如下技术方案：一种针对资源统一管理的集群调度系统，该系统包括调度模块、任务后工作模块和界面模块：调度模块负责结合调度策略控制作业的进行，并收集节点信息；任务后工作模块负责关闭运行的任务，使后台损耗尽快最低；界面模块负责管理任务和安排任务。作为优选，所述调度模块协调任务后工作模块和界面模块，接收客户端的命令，对作业进行管理，根据作业调度策略，将集群可用的资源分配给作业。作为优选，所述任务后工作模块在任务完成后做清理内存通知用户、关机、重启工作，其中通知用户采用闪屏和播放音乐。作为优选，所述界面模块在图形界面中以按键形式调用集群调度的各种操作指令，用户选择命令的各种参数，在参数对话框中对每一参数作说明，每条命令执行的结果显示在图形界面上。作为优选，在调度界面的主界面上显示运行任务、删除任务、查看状态及启动集群。一种针对资源统一管理的集群调度方法，该方法通过所述针对资源统一管理的集群调度系统实现，具体包括以下步骤：1)由客户产生事件，事件通知服务单元开始一个调度周期；2)服务单元发送一个调度命令给调度单元；3)调度单元向执行单元请求可用资源信息；4)执行单元返回给调度单元一个资源信息；5)得到资源信息后，调度单元向服务单元请求作业信息；6)服务单元接收请求，并发送作业信息至调度单元，产生执行作业的策略；7)调度单元发送执行作业请求至服务单元；8)服务单元接收请求后，发送作业至执行进程执行作业。作为优选，所述调度模块的工作过程为：服务进程加载任务，将任务放入队列，依照调度策略从队列中取出要运行的任务，并为任务分配资源，执行进程任务，判断任务是否结束，当任务结束时继续依照调度策略从队列中取出要运行的任务。作为优选，所述任务后工作模块的工作过程为：所有任务结束后，判断是否需要播放音乐，若是则播放音乐，否则判断是否闪屏，若是则闪屏，否则直到任务完成后工作进行关机、重启、清理内存或者什么也不做，最后显示结果。与现有技术相比，本专利技术的针对资源统一管理的集群调度系统具有以下突出的有益效果：通过所述针对资源统一管理的集群调度系统，能过对作业和资源合理调度，对作业运行状态能过有效监控，一批作业结束时合理释放集群的资源以及通知用户查看结果，并当所有任务都执行完时，能够执行用户已选择的工作，自动清理系统垃圾，使得系统资源开销处于最小状态，或者自动关机，以节省电力和设备损耗，能够从视觉和听觉两方面通知用户任务结束，具有良好的推广应用价值。附图说明图1是本专利技术所述针对资源统一管理的集群调度系统的架构图；图2是本专利技术所述针对资源统一管理的集群调度方法的流程图；图3是本专利技术所述针对资源统一管理的集群调度方法的界面模块工作流程图；图4是本专利技术所述针对资源统一管理的集群调度方法的任务后工作模块示意图；图5是本专利技术所述针对资源统一管理的集群调度方法的任务后工作模块工作流程图；图6是本专利技术所述针对资源统一管理的集群调度方法的界面模块流程图。具体实施方式下面将结合附图和实施例，对本专利技术的针对资源统一管理的集群调度系统及方法作进一步详细说明。实施例如图1所示，本专利技术的针对资源统一管理的集群调度系统，包括调度模块、任务后工作模块和界面模块。调度模块负责结合调度策略控制作业的进行，并收集节点信息。任务后工作模块负责关闭运行的任务，使后台损耗尽快最低。界面模块负责管理任务和安排任务。调度模块协调任务后工作模块和界面模块，接收客户端的命令，对作业进行管理，根据作业调度策略，将集群可用的资源分配给作业。任务后工作模块在任务完成后做清理内存通知用户、关机、重启工作，其中通知用户采用闪屏和播放音乐。如图6所示，界面模块在图形界面中以按键形式调用集群调度的各种操作指令，用户选择命令的各种参数，在参数对话框中对每一参数作说明，每条命令执行的结果显示在图形界面上。在调度界面的主界面上显示运行任务、删除任务、查看状态及启动集群。如图2所示，本专利技术的针对资源统一管理的集群调度方法，该方法通过针对资源统一管理的集群调度系统实现，具体包括以下步骤：1)本文档来自技高网...

【技术保护点】
1.一种针对资源统一管理的集群调度系统，其特征在于：该系统包括调度模块、任务后工作模块和界面模块：/n调度模块负责结合调度策略控制作业的进行，并收集节点信息；/n任务后工作模块负责关闭运行的任务，使后台损耗尽快最低；/n界面模块负责管理任务和安排任务。/n

【技术特征摘要】
1.一种针对资源统一管理的集群调度系统，其特征在于：该系统包括调度模块、任务后工作模块和界面模块：
调度模块负责结合调度策略控制作业的进行，并收集节点信息；
任务后工作模块负责关闭运行的任务，使后台损耗尽快最低；
界面模块负责管理任务和安排任务。


2.根据权利要求1所述的针对资源统一管理的集群调度系统，其特征在于：所述调度模块协调任务后工作模块和界面模块，接收客户端的命令，对作业进行管理，根据作业调度策略，将集群可用的资源分配给作业。


3.根据权利要求2所述的针对资源统一管理的集群调度系统，其特征在于：所述任务后工作模块在任务完成后做清理内存通知用户、关机、重启工作，其中通知用户采用闪屏和播放音乐。


4.根据权利要求3所述的针对资源统一管理的集群调度系统，其特征在于：所述界面模块在图形界面中以按键形式调用集群调度的各种操作指令，用户选择命令的各种参数，在参数对话框中对每一参数作说明，每条命令执行的结果显示在图形界面上。


5.根据权利要求4所述的针对资源统一管理的集群调度系统，其特征在于：在调度界面的主界面上显示运行任务、删除任务、查看状态及启动集群。


6.一种针对资源统一管理的集群调度方法...

【专利技术属性】
技术研发人员：丁瑞，高传集，于昊，
申请(专利权)人：浪潮云信息技术有限公司，
类型：发明
国别省市：山东;37