资源调度的方法及系统技术方案

本发明专利技术公开了一种资源调度的方法及系统，其中，该系统包括：流程调度装置和资源分配装置，其中，流程调度装置，包括：SOA流程调度引擎，用于按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；任务管理器，用于与所述资源分配装置通信，向所述资源分配装置下发所述分解得到的任务；资源分配装置，包括：通信接口，用于与所述流程调度装置通信，接收所述分解得到的任务；调配模块，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。通过本发明专利技术，实现了既对数据的处理流程进行编排又对数据进行分布式处理。

【技术实现步骤摘要】

本专利技术涉及计算机领域，具体而言，涉及一种资源调度的方法及系统。
技术介绍
面向服务的体系结构(service oriented architecture，简称为S0A)是一个组件模型，它将应用程序的不同功能单元称为服务，通过这些服务之间定义良好的接口和契约联系起来，接口是采用中立的方式进行定义的，独立于实现服务的硬件平台、操作系统和编程语言，使得构建在各种这样的系统中的服务可以用一种统一和通用的方式进行交互。SOA提供了一个更高级抽象层，通过这个抽象层，可以将业务构造成现有服务的集合。使用这种新的服务只需要知道它的接口和名称，服务的内部细节以及组成服务的组件之间的数据复杂性都对外界隐藏了。这种组件的匿名性使组织能够利用现有的投资，从而通过合并构建在不同的机器上、运行在不同的操作系统中和用不同的编程语言开发的组件来创建服务。组织可以继续从现有的资源中获益，而不必重新构建系统。过去通常的情况是，一台工作站的利用率非常高，处于满负荷状态，而另一台工作站却长期处于闲置的状态。在工作站应用的时间上，每周只有不到25%的时间工作站有计算任务，而其他时间仍然处于资源闲置的状态。集群作业负载软件在本地的一个单一管理域中管理大范围的基于计算的系统，且通常以主节点作节点(Master-worker)的范例进行工作。每个集群只有唯一的主节点并具有任意数目的执行节点。它们在管理资源时，具有动态可扩展性，具备预测和评估能力，具备对调度失败作业的重调度能力等。解决了工作站资源的总体利用率低的问题。传统的SOA框架能够以工作流的方式将不同的业务服务整合起来，提高系统资源的复用性，但它只能够调用固定的服务，对于遥感地面站集群式的软件部署，SOA没有能力把任务均匀的分配到所有集群上；PLATF0RM LSF是一种计算资源分配软件，它能够对集群进行管理，把任务下发到最合适的处理节点上执行，但它不具备流程调度的功能。而在遥感数据地面处理系统中，即要求能对遥感数据的处理流程进行编排，而且由于数据处理量大，又必须采用集群的方式对数据进行分布式处理，上述两种技术中任意一种都无法满足遥感数据运行管理系统的需求。针对相关技术中SOA和PLATFORM LSF无法实现既对数据的处理流程进行编排又对数据进行分布式处理的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术中SOA和PLATFORM LSF无法实现既对数据的处理流程进行编排又对数据进行分布式处理的问题，本专利技术提供了一种资源调度的方法及系统，以至少解决上述问题。根据本专利技术的一个方面，提供了一种资源调度的系统，其特征在于，包括:流程调度装置和资源分配装置，其中，所述流程调度装置，包括:面向服务的体系结构SOA流程调度引擎，用于按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；任务管理器，用于与所述资源分配装置通信，向所述资源分配装置下发所述分解得到的任务；所述资源分配装置，包括:通信接口，用于与所述流程调度装置通信，接收所述分解得到的任务；调配模块，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。可选地，所述流程调度装置，还包括:算法注册模块，用于注册数据处理算法，实现调用算法的服务和对算法的全流程管理；流程设计模块，用于接收流程设计命令，根据流程设计命令生成可以被所述SOA流程调度引擎识别的数据处理流程。可选地，所述流程调度装置，还包括:流程模板管理模块，用于将所述流程设计模块得到的数据处理流程保存成数据处理流程模板；所述SOA流程调度引擎，用于将数据处理流程模板实例化，并根据实例化得到的流程调度语句将数据处理流程分解成任务，并按照数据处理流程调度服务以执行数据处理流程。可选地，所述资源分配装置，还包括:任务状态监测接口，用于监测任务状态；所述任务管理器，还用于定期调用所述任务状态监测接口，以监测任务状态，以及当作业状态提示为完成时，收集作业的完成报告；所述SOA流程调度引擎，还用于当任务状态提示为完成时决定下发其他的任务执行，直到所有任务执行完成。根据本专利技术的另一个方面，提供了一种资源调度的方法，包括:流程调度装置按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；所述流程调度装置向资源分配装置下发所述分解得到的任务，其中，所述资源分配装置，具有与所述流程调度装置通信的接口，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。可选地，流程调度装置按照预设流程语法将数据处理流程分解成任务之前，还包括:所述流程调度装置接收流程设计命令，根据流程设计命令生成可以被所述SOA流程调度引擎识别的数据处理流程。可选地，所述方法还包括:所述流程调度装置将所述流程设计模块得到的数据处理流程保存成数据处理流程模板；流程调度装置按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程，包括:所述流程调度装置将数据处理流程模板实例化，并根据实例化得到的流程调度语句将数据处理流程分解成任务，并按照数据处理流程调度服务以执行数据处理流程。通过本专利技术，解决了相关技术中SOA和PLATFORM LSF无法实现既对数据的处理流程进行编排又对数据进行分布式处理的问题，实现了既对数据的处理流程进行编排又对数据进行分布式处理。【附图说明】此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中:图1是根据本专利技术实施例的资源调度的系统的示意图；图2是根据本专利技术实施例的资源调度的方法的流程图；以及图3是根据本专利技术实施例可选地资源调度的系统的示意图。【具体实施方式】下文中将参考附图并结合实施例来详细说明本专利技术。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。图1是根据本专利技术实施例的资源调度的系统的示意图，如图1所示，该系统包括:流程调度装置I和资源分配装置2，其中，流程调度装置1，包括:S0A流程调度引擎10，用于按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；任务管理器12，用于与所述资源分配装置2通信，向资源分配装置2下发所述分解得到的任务；资源分配装置2，包括:通信接口 20，用于与所述流程调度装置I通信，接收所述分解得到的任务；调配模块22，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。在本专利技术实施例的一个实施方式中，流程调度装置I还可以包括:算法注册模块14，用于注册数据处理算法，实现调用算法的服务和对算法的全流程管理；流程设计模块16，用于接收流程设计命令，根据流程设计命令生成可以被所述SOA流程调度引擎10识别的数据处理流程。可选地，上述流程设计模块16可以采用可视化的图形用户界面，便于用于设计流程。流程设计采用标准的BPEL流程定义语句，可以被多种流程调度引擎识别。在本专利技术实施例中，流程调度装置I还可以包括:流程模板管理模块18，用于将所述流程设计模块得到的数据处理流程保存成数据处理流程模板；S0A流程调度引擎10，用于将数据处理流程模板实例化，并根据实例化得到的流程调度语句将本文档来自技高网...

【技术保护点】
一种资源调度的系统，其特征在于，包括：流程调度装置和资源分配装置，其中，所述流程调度装置，包括：面向服务的体系结构SOA流程调度引擎，用于按照预设流程语法将数据处理流程分解成任务，并按所述数据处理流程调度服务以执行数据处理流程；任务管理器，用于与所述资源分配装置通信，向所述资源分配装置下发所述分解得到的任务；所述资源分配装置，包括：通信接口，用于与所述流程调度装置通信，接收所述分解得到的任务；调配模块，用于根据分配和调度策略选择集群中的资源完成所述分解得到的任务。

【技术特征摘要】

【专利技术属性】
技术研发人员：范一大，李霖，王兴玲，陶亮，李博，魏晓柯，
申请(专利权)人：航天恒星科技有限公司，民政部卫星减灾应用中心，
类型：发明
国别省市：北京;11