基于开放网格服务体系结构的网格工作流虚拟服务调度法制造技术

基于开放网格服务体系结构的网格工作流虚拟服务调度法属于网格下工作流调度技术方法，其特征在于，把网格的工作流实例抽象为由一组有数据依赖或控制依赖关系的服务组成的工作流虚拟服务ＰＶＳ；是由调度方案产生模块利用网格环境下大量闲散资源为定义好的ＰＶＳ不断找到更优的调度策略，更新并存储在ＰＶＳ的调度方案备选池；再用调度方案执行模块在具体任务实例到来时从ＰＶＳ的调度方案被选池中选取当前较好的调度方案进行作业调度，只有在找不到合适的调度方案时，才同调度方案产生模块进行通信，在规定的时间内等待新的调度方案的到来。本发明专利技术具有减少重复调度，加快资源预约，降低作业完成时间，增加作业吞吐量，提高资源利用率的优点。

【技术实现步骤摘要】

本专利技术涉及一种网格环境下的工作流调度方法，具体是通过预调度、QoS保障以及不断选优机制来进行网格任务调度。
技术介绍
随着网格技术的进步和需求的增加，网格工作流(Grid Workflow)成为网格中一类重要的应用。一个网格工作流应用可以看成是由一组工作段(网格中的服务)组成，并且这些服务需要按照事先预订好的顺序执行，从而完成一个复杂的目标。一般来说，一个工作流是包含一组工作段的抽象形式，而采用何种算法将服务和网格资源匹配起来得到一条可执行的工作流实例并投入运行是当前研究的一个重要问题，称为网格工作流的调度。在进行调度算法设计时，为了提高性能，往往需要和具体网格工作流应用相结合。在不同的应用环境下(比如同构/异构，数据密集型应用/计算密集型应用等)，不同工作流调度算法的性能会很不相同。由于网格资源的动态性和复杂性，网格工作流调度一般采用动态调度的方法。在调度时，通常希望选择最优或者近似最优的调度方案。将工作流的工作段和网格资源进行匹配找到最优的调度方案，是NP-hard问题，所以在调度中一般采用启发式调度算法：如Min_Min heuristic，Max_min heuristic，sufferage heuristic等算法。但是启发式算法一般情况下只能找到较好解，有时也会和最有解相差很远。除此之外，当前所用的网格工作流调度方法都有一个共同假设，即对于同一个工作流的每个执行实例的调度都是独立的。但在很多实际应用中，由于工作流结构的相同，在一定时间范围内的多个执行实例有时可以共享同一种调度方案，这样就不需要每次都对一个执行实例进行一次调度算法调用。如果对于一个工作流而言，对其调度的时间占整个任务完成时间的比例很大，那么按照当前调度模式，对于多个执行实例，大量时间浪费在了重复调度上，仅靠对调度算法的改进，性能提高也是有限。将网格QoS引入调度方法中去也是当前需要考虑的问题之一。当前的网格流水线调度中不少也引入了QoS保障机制，但是经常只从单个方面进行考虑，并且没有相对准确和灵活的根据不同应用选择QoS保障的机制。
技术实现思路
本专利技术的目的在于提出一种基于开放网格服务体系结构(OGSA)的网格工作流的调度方法，在于解决对于同一工作流的不同实例的重复调度问题，同时也兼顾了完成时间、容错性、安全性三个方面的QoS保障。-->本专利技术的特征在于，依次会有以下步骤：(1)初始化：在所述调度方案产生器和执行器中分别建立一个调度方案产生模块和调度方案执行模块。(2)调度方案产生模块，判断是否有从调度执行模块发来的请求信号：若没有，该调度方案产生模块循环地为系统设定的所有PVS产生相应的调度方案。(3)调度方案执行器按照以下步骤根据收到的用户PVS执行命令选择具体调度方案并预约和执行该调度方案。总体来说，该调度方法将一个PVS可能的调度方案作为该PVS的共有信息共享，引入QoS保障，预调度，资源预约等机制，从而减少重复调度，  加快资源预约，  降低作业完成时间，增加作业吞吐量和提高资源利用率。在附图4和附图5中显示了本专利技术中的调度方案的性能优势。其中对比调度方案采用了当前较为通用并且效率较好的启发式调度算法Min_Min算法。从图4和图5中可以看出，如果调度时间占实际执行时间的比例越大，按照本专利技术中的方案进行调度的性能越好。附图说明图1为本专利技术的总体PVS调度方法流程图：(a)调度方案产生模块执行流程图；(b)调度方案执行模块执行流程图。图2为本专利技术的调度模块结构图：输入参数为：(PVS名称，数据源)。图3为本专利技术中调度执行模块方法图。图4为本专利技术中调度方法和对比调度方法相比较时间节省率图。图5为本专利技术中调度方法和对比调度方法的资源利用率比较图。图6为本专利技术中的具体实例天文数据处理中的快视分析PVS具体实施方式本专利技术主要是为了解决网格工作流调度中对于同一个工作流(本专利技术中称为PVS)的不同实例的重复调度问题，同时加入完成时间，容错性，安全性三个方面的QoS保障。将调度方案产生和调度方案执行分离开来，使得调度方案的产生能充分利用网格系统中的闲散资源，在作业到来之前就能够产生调度方案，使得PVS实例到来时尽快投入执行，节省了传统调度方法中的查找匹配时间。同时，每次调度方案的产生是在以往调度方案产生的基础上，如此就能够根据网格环境的变化逐步靠近最优解。在调度方案执行部分，采用了预约机制，即为一个PVS中的所有工作段按照选定的调度方案进行资源的预约(这里“资源”是指网格系统中可以执行该工作段的部署在系统中的具体服务和其所需的硬件资源和软件资源)，这样提高了系统中的资源利用率，减少了作业的等待时间。同时，预约机制按照PVS不同的等级给PVS预约不同能力的资源，减少了阻塞的概率，并进一步提高了资源利用率。-->该PVS调度方案适用于所有基于开放网格服务体系结构的网格系统中。主要由调度方案产生模块(1)和调度方案执行模块(2)两个模块组成。(1)调度方案产生模块●功能：负责为系统中每一个PVS产生相应的调度方案。●接口：该模块有主要有两个接口，如附图2所示，一是与调度方案执行模块的接口(10)，二是调用网格中的具体资源的接口(11)。(2)调度方案执行模块●功能：负责具体的实例执行。●接口：如附图2所示，调度方案执行模块有用户接口(9)，可以接收用户执行PVS的命令；与调度方案产生模块的接口(10)。PVS(Pipeline Virtual Service)是该调度方法中一个核心概念。它为一个六元组，具体描述如下：PVS＝<工作段集合(3)，依赖关系描述(4)，输入参数描述(5)，输出参数描述(6)，PVS权限(7)，调度方案备选池(8)>。工作段集合(3)，为一组有限工作段的集合。它描述了一个PVS由哪些基本工作段组成。这里的工作段都是抽象的概念，并没有和网格中的具体资源相关联，只有在PVS实例执行时，才被调度到相关资源上具体执行。依赖关系描述(4)，为一个有向无环图，用于描述(3)中的各个活动的依赖关系。图中每一个节点代表PVS中的一个工作段。有向边代表工作段之间的依赖关系(数据依赖或控制依赖)。若工作段A的执行依赖于工作段B的执行结束，节点Ai有一条指向节点的边。没有入边的节点为源节点，没有出边的节点为目的节点。PVS权限(7)代表PVS的权限。(7)的值越大，该PVS的优先级越高。一般来说，只有权限不低于(7)的用户才能调用该服务(该属性可选)。调度方案备选池(8)为PVS的调度方案集合，包含Num(该数值在算法实现时用户给出)个有序记录。一个调度方案＝<P，makespan，security，performance>。P为一个具体的调度方案。makespan为在此种调度方案下的作业预测完成时间，即从用户提交作业给PVS到得到结果的时间。Security和performance为在这种调度方案下的安全等级和容错等级。一般来说，Security和performance的值越高，该调度方案的这两个方面的性能越好。Makespan、security和performance这三个值由用户具体采用的调度算法给出。输入参数描述(5)，输出参数描述(6)可以为WSDL描述的文件，用于描述该PVS执本文档来自技高网...

【技术保护点】
基于开放网格服务体系结构网格工作流虚拟服务调度方法，其特征在于该方法是在所有基于开放网格服务体系结构的网格系统中的调度方案产生器和调度方案执行器中实现的，所述产生器和执行器都由独立的网络处理器构成，形成了一个调度装置，并且所述方法按以下步骤依次执行：步骤（１）初始化在所述调度方案产生器和执行器中分别建立一个调度方案产生模块和调度方案执行模块；在所述两个模块中分别定义一个相同的工作流虚拟服务六元组，表示为：ＰＶＳ＝〈工作段的集合，依赖关系描述，输入参数描 述，输出参数描述，ＰＶＳ权限，调度方案备选池〉，其中：工作段的集合为一个有限集合，描述成一个ＰＶＳ的基本工作段，只有在ＰＶＳ实际执行时才被调度到相关资源上赋以具体服务以便执行；这里“资源”是指网格系统中可以执行该工作段的部署在系统中 的具体服务和其所需的硬件资源和软件资源；依赖关系描述，为一个有向无环图，用于描述所述工作段集合中各个组成部分之间的数据依赖或控制依赖关系；途中一个节点代表ＰＶＳ中的一个工作段，有向边代表各个组成部分之间的依赖关系，源节点没有入边，目 的节点没有出边；ＰＶＳ权限，代表ＰＶＳ的权限，值越大，优先级越高；此项为可选项；调度方案备选池，为ＰＶＳ的调度方案的集合；最多包含Ｎｕｍ个供用户选择的有序的调度方案；其中，Ｎｕｍ的值可以在配置ＰＶＳ时设置。一个调度方案＝〈Ｐ ，ｍａｋｅｓｐａｎ，ｓｅｃｕｒｉｔｙ，ｐｅｒｆｏｒｍａｎｃｅ〉；其中，Ｐ为该ＰＶＳ具体化的调度方案；ｍａｋｅｓｐａｎ为在该调度方案下的ＰＶＳ实例预测完成时间；ｓｅｃｕｒｉｔｙ和ｐｅｒｆｏｒｍａｎｃｅ分别为在该调度方案下的安全等级和容错等级，值越高，性能越好；所选ｍａｋｅｓｐａｎ，ｓｅｃｕｒｉｔｙ和ｐｅｒｆｏｒｍａｎｃｅ这三个值由用户具体采用的调度算法给出，所述工作流由有所述工作段的具体依赖关系组成；输入参数描述，输出参数描述，采用Ｗ３Ｃ发布的万维网服务描述语言ＷＳＤＬ 文件，用于描述ＰＶＳ执行时所需的参数信息；所述调度方案产生模块，为系统中每一个ＰＶＳ产生相应的调度方案，设有：与调度方案执行模块的接口，调用由用户给出的包括启发式调度算法在内的调度算法资源池和与用户提交的ＰＶＳ相应的调度算法的接口， 以及把产生的ＰＶＳ送往调度方案执行模块中ＰＶＳ六元组内调度方案备选池或从调度方案备选池中选取调度方案的接口；所述调度方案执行模...

【技术特征摘要】
1、基于开放网格服务体系结构网格工作流虚拟服务调度方法，其特征在于该方法是在所有基于开放网格服务体系结构的网格系统中的调度方案产生器和调度方案执行器中实现的，所述产生器和执行器都由独立的网络处理器构成，形成了一个调度装置，并且所述方法按以下步骤依次执行：步骤(1)初始化在所述调度方案产生器和执行器中分别建立一个调度方案产生模块和调度方案执行模块；在所述两个模块中分别定义一个相同的工作流虚拟服务六元组，表示为：PVS＝<工作段的集合，依赖关系描述，输入参数描述，输出参数描述，PVS权限，调度方案备选池>，其中：工作段的集合为一个有限集合，描述成一个PVS的基本工作段，只有在PVS实际执行时才被调度到相关资源上赋以具体服务以便执行；这里“资源”是指网格系统中可以执行该工作段的部署在系统中的具体服务和其所需的硬件资源和软件资源；依赖关系描述，为一个有向无环图，用于描述所述工作段集合中各个组成部分之间的数据依赖或控制依赖关系；途中一个节点代表PVS中的一个工作段，有向边代表各个组成部分之间的依赖关系，源节点没有入边，目的节点没有出边；PVS权限，代表PVS的权限，值越大，优先级越高；此项为可选项；调度方案备选池，为PVS的调度方案的集合；最多包含Num个供用户选择的有序的调度方案；其中，Num的值可以在配置PVS时设置。一个调度方案＝<P，makespan，security，performance>；其中，P为该PVS具体化的调度方案；makespan为在该调度方案下的PVS实例预测完成时间；security和performance分别为在该调度方案下的安全等级和容错等级，值越高，性能越好；所选makespan，security和performance这三个值由用户具体采用的调度算法给出，所述工作流由有所述工作段的具体依赖关系组成；输入参数描述，输出参数描述，采用W3C发布的万维网服务描述语言WSDL文件，用于描述PVS执行时所需的参数信息；所述调度方案产生模块，为系统中每一个PVS产生相应的调度方案，设有：与调度方案执行模块的接口，调用由用户给出的包括启发式调度算法在内的调度算法资源池和与用户提交的PVS相应的调度算法的接口，以及把产生的PVS送往调度方案执行模块中PVS六元组内调度方案备选池或从调度方案备选池中选取调度方案的接口；所述调度方案执行模块，负责用户提出的实例的执行；设有：接收用户PVS执行命令的接口，接收调度方案产生模块给出的调度方案的接口，以及向调度方案产生模块发出中断信号，并请求各块为该用户提出的PVS产生一个可用的调度方案的请求信号的接口；步骤(2...

【专利技术属性】
技术研发人员：都志辉，王曼，程志力，朱穗晖，
申请(专利权)人：清华大学，
类型：发明
国别省市：11[中国|北京]