一种计算机集群资源分配与调度系统技术方案

本发明专利技术涉及资源分配与调度领域，具体涉及一种计算机集群资源分配与调度系统。本发明专利技术提供一种计算机集群资源分配与调度系统，包括：用包括用户接入软件、翻译器与资源管理器；用户接入软件，用于请求资源管理器分配资源；翻译器，用于将用户接入软件发送的资源分配请求翻译成所述资源管理器能够识别的请求；资源管理器，用于对计算机集群的资源进行管理以及根据用户接入软件的资源分配请求为用户接入软件分配资源。本发明专利技术内用户接入软件本身可以使用不同的资源管理器，它们发送的请求最终都会被翻译器进行转换，而且实际管理集群的器件也可以使用各种不同的软件，从而实现强大的灵活性。

A Computer Cluster Resource Allocation and Scheduling System

The invention relates to the field of resource allocation and scheduling, in particular to a computer cluster resource allocation and scheduling system. The invention provides a resource allocation and scheduling system for a computer cluster, which includes: a user access software, a translator and a resource manager; a user access software for requesting resource managers to allocate resources; and a translator for translating a resource allocation request sent by a user access software into the resource manager capability. The resource manager is used to manage the resources of computer cluster and allocate resources for user access software according to the resource allocation request of user access software. The user access software itself in the invention can use different resource managers, and the requests they send will eventually be converted by the translator, and the devices that actually manage the cluster can also use different software to achieve strong flexibility.

【技术实现步骤摘要】
一种计算机集群资源分配与调度系统
本专利技术涉及资源分配与调度领域，具体涉及一种计算机集群资源分配与调度系统。
技术介绍
近年来，为了提高计算机系统的效率，软件运行所需要的资源（例如CPU、内存等）来自多个计算机构成的计算机集群。例如，一些软件在进行使用时，需要向某个计算机集群请求资源才能完成计算任务，比如说某个气象模拟软件需要向天河二号超级计算机计算请求资源完成模拟计算任务。申请号为201210580401.X的专利技术涉及一种去中心化的跨集群资源管理与任务调度系统与调度方法，该调度系统包括：提供管理与协调服务的子系统，收集其它子系统的信息，提供监控、报表与计费、资源共享协调工作，同时对高性能计算系统的管理、规划提供决策参考；提供计算服务的子系统，设置有高性能计算节点的数据中心，作为提供计算子系统，同时收集本地和远程的资源，以此为依据进行作业调度；提供接入的子系统，为用户提供本地化的作业提交、管理访问服务。本专利技术去中心化的跨集群资源管理与任务调度方法整合单集群资源，一方面提高了作业的执行效率，提高了用户体验，另一方面也有效利用了现有资源，使资源得到最大化利用，节省了购买硬件以扩充计算能力的成本。此专利技术需要在多个计算机集群资源中进行任务管理与资源调度，可能会出现提交任务的请求不支持某个计算机集群的情况。
技术实现思路
为解决上述问题，本专利技术提供一种计算机集群资源分配与调度系统，该系统包括能把请求翻译成该计算机集群能识别的请求。一种计算机集群资源分配与调度系统，包括用户接入软件、翻译器与资源管理器，用户接入软件，用于请求资源管理器分配资源；翻译器，用于将用户接入软件发送的资源分配请求翻译成所述资源管理器能够识别的请求；资源管理器，用于对计算机集群的资源进行管理以及根据用户接入软件的资源分配请求为用户接入软件分配资源。用户接入软件向资源管理器请求资源分配，翻译器将用户接入软件发送的资源分配请求翻译成所述资源管理器能够识别的请求，资源管理器一方面管理着计算机集群的资源，另一方面根据用户接入软件的资源分配请求为用户接入软件分配资源。本系统使用了翻译器，之所以会有翻译器，是因为不同的用户接入软件可能支持不同的资源管理系统，如一些运行在windows操作系统上的商业软件就不支持slurm，而只支持IBM的PBS软件，所以将这些用户接入软件的请求进行翻译是很有必要的，这样便能支持更多的商业软件。本专利技术内用户接入软件与资源管理器的具有低耦合性，用户接入软件本身可以使用不同的资源管理器，它们发送的请求最终都会被翻译器进行转换，而且实际管理集群的资源管理器也可以使用各种不同的软件，从而实现强大的灵活性。从软件架构层次上来讲，本专利技术的翻译器是在资源管理器上面的一层抽象层，这样的耦合度低，更容易适应不同的用户接入软件和资源管理器。进一步地，所述用户接入软件为带有许可证信息的商业软件；所述商业软件发送的资源分配请求包括许可证信息；所述计算机集群资源分配与调度系统还包括判断器，所述判断器用于验证商业软件发送的许可证信息是否合法，如果合法，判断器用于将资源分配请求发送到资源管理器。正版商业软件一般都有合法的许可证（license），许可证表示了该软件的合法使用权及其期限等信息。本专利技术中判断器的作用在于核实这个商业软件是否有资格能获取该资源管理器中的信息，核实的途径就是验证商业软件的许可证信息。比如说某个气象模拟软件需要向天河二号超级计算机请求资源完成模拟计算任务，但是经判断器验证发现此气象模拟软件没有与天河二号超级计算机建立具有合法使用权及使用期限的许可证信息，在没有该许可证信息的前提下，判断器判定不合法，拒绝将资源分配请求发送给资源管理器。进一步地，还包括预先储存商业软件许可证信息的数据库；商业软件发送的资源分配请求中还包括软件请求资源量，数据库中还预先储存每个商业软件对应的可用资源量；所述判断器用于判断许可证信息合法时还用于将商业软件中的请求资源量与预先储存在数据库中的商业软件可用资源量进行比对，若商业软件请求资源量小于该商业软件对应的可用资源量，则将资源分配请求发送到资源管理器。本专利技术使用了数据库这种基础软件。用于验证商业软件的许可证信息是否合法的方法是，商业软件的许可证信息与数据库中存储的许可证信息进行对比，如果许可证信息一致的话，则说明该商业软件的许可证信息是合法的。另外，数据库中还预先储存每个商业软件对应的可用资源量。许可证信息只是包括该软件的合法使用权及其期限等信息，但往往针对商业软件还需要限制它能使用多少功能、资源等。比如说某个气象模拟软件需要向天河二号超级计算机计算请求资源完成模拟计算任务，由于存在限制，一般会限制该软件最多同时使用多少CPU核心等计算资源。如果该许可证已经分配了一些资源，不能再进行分配了。判断器判断许可证信息合法时还用于将商业软件中的请求资源量与预先储存在数据库中的商业软件可用资源量进行比对，若商业软件请求资源量小于或等于该商业软件对应的可用资源量，则将资源分配请求发送到资源管理器。总之，商业软件的请求资源量必须是在可用范围内才能得到满足，如果是不能立刻得到满足的，则应该拒绝发送给资源管理器或进行排队。本专利技术关注的主要问题是如何分配给用户商业软件许可证允许范围内的资源。在用户提供了许可证的情况下，判断器来判断请求的资源是否在允许的资源范围内。进一步地，还包括分配监控器，所述分配监控器用于将资源管理器分配给商业软件的资源转发给商业软件并监控所述资源管理器为商业软件分配的资源的状态。资源管理器接收到商业软件的资源分配请求后为其分配了资源，该资源经过分配监控器，再发送给商业软件。除此之外，分配监控器还监控资源管理器为商业软件分配的资源的状态。进一步地，还包括消息队列，所述消息队列包括待分配队列；当判断器判断商业软件请求资源量大于该商业软件对应的可用资源量时，判断器用于将该资源分配请求发送到资源队列的待分配队列中；当判断器根据分配监控器所监控的资源状态判断请求队列中的资源分配请求的软件请求资源量小于该商业软件对应的可用资源量时，判断器将该资源分配请求发送给资源管理器，由资源管理器为该商业软件分配资源。所述消息队列中的待分配队列用于接收商业软件发出的请求资源量大于可用资源量的资源分配请求。另一边，分配监控器正在监控资源管理器为商业软件分配的资源的状态，当分配监控器监控到商业软件之前已经分配的资源不存在了或者商业软件根本没有被分配过资源，待分配队列中的资源分配请求的软件请求资源量则小于该商业软件对应的可用资源量，那么判断器就再将该资源分配请求发送给资源管理器，由资源管理器为该商业软件分配资源。这就是商业软件的请求资源量如果是不能立刻得到满足的，则应该进行排队的过程，经过分配监控器的监控结果，请求的资源有机会被分配。进一步地，还包括分配管理器，判断器将资源分配请求发送给资源管理器前先将其发送给分配管理器，由分配管理器提交给资源管理器，分配管理器还用于将已提交给资源管理器的资源分配请求从消息队列中的待分配队列中移除。分配管理器接收判断器判断许可证合法且请求资源量合理的资源分配请求，并且转发给资源管理器。分配管理器还有权限对消息队列的待分配队列中的已提交给资源管理器的资源分配请求进行移除。进一步地，消息队列还包本文档来自技高网...

【技术保护点】
1.一种计算机集群资源分配与调度系统，其特征在于，包括用户接入软件、翻译器与资源管理器；用户接入软件，用于请求资源管理器分配资源；翻译器，用于将用户接入软件发送的资源分配请求翻译成所述资源管理器能够识别的请求；资源管理器，用于对计算机集群的资源进行管理以及根据用户接入软件的资源分配请求为用户接入软件分配资源。

【技术特征摘要】
1.一种计算机集群资源分配与调度系统，其特征在于，包括用户接入软件、翻译器与资源管理器；用户接入软件，用于请求资源管理器分配资源；翻译器，用于将用户接入软件发送的资源分配请求翻译成所述资源管理器能够识别的请求；资源管理器，用于对计算机集群的资源进行管理以及根据用户接入软件的资源分配请求为用户接入软件分配资源。2.根据权利要求1所述的一种计算机集群资源分配与调度系统，其特征在于，所述用户接入软件为带有许可证信息的商业软件，所述商业软件发送的资源分配请求包括许可证信息；所述计算机集群资源分配与调度系统还包括判断器，所述判断器用于验证商业软件的许可证信息是否合法，如果合法，判断器用于将资源分配请求发送到资源管理器。3.根据权利要求2所述的一种计算机集群资源分配与调度系统，其特征在于，还包括预先储存商业软件许可证信息的数据库；商业软件发送的资源分配请求中还包括软件请求资源量，数据库中还预先储存每个商业软件对应的可用资源量；所述判断器用于判断许可证信息合法时还用于将商业软件中的请求资源量与预先储存在数据库中的商业软件可用资源量进行比对，若商业软件请求资源量小于或等于该商业软件对应的可用资源量，则将资源分配请求发送到资源管理器。4.根据权利要求3所述的一种计算机集群资源分配与调度系统，其特征在于，还包括分配监控器，所述分配监控器用于将资源管理器分配给商业软件的...

【专利技术属性】
技术研发人员：曾栋，杜云飞，沈逸仙，卢宇彤，钟康游，李家辉，颜辉，陈璟锟，张曦，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44