一种基于任务需求与服务能力匹配的遥感任务调度方法技术

本发明专利技术公开了一种基于任务需求与服务能力匹配的遥感任务调度方法，包括以下步骤：A、调度服务器依据遥感产品生产算法依赖关系建立遥感产品生产依赖模型；B、调度服务器根据遥感产品生产依赖模型计算遥感产品生产任务的资源需求度；C、集群中的生产节点周期性计算自身的服务能力值并发送至调度服务器；D、调度服务器将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，将遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将遥感产品生产任务放回任务队列等待下次分配。本发明专利技术提高了遥感产品生产任务分配的成功率和生产效率，使集群处于一种健康的可持续运行状态。

【技术实现步骤摘要】

本专利技术涉及计算机集群负载均衡和遥感信息处理
，尤其涉及一种基于任务需求与服务能力匹配的遥感任务调度方法。
技术介绍
由于遥感信息自身数据量较大，部分遥感影像已达GB级别，而对遥感影像的处理在时间上又有急迫性，因此目前对于遥感影像的处理通常采用两种方式，方式一是采用高性能计算机进行处理，使用这种处理方式可以取得较为理想的效果，但由于高性能计算机价格较为昂贵，此种处理方式会给用户造成极大的经济负担。方式二是采用集群处理，先将遥感影像进行切分，分别由集群内的不同计算节点进行处理，最后将计算结果汇总得到最终的目标结果，此种处理方式对于集群内的计算节点没有特殊的硬件要求，计算节点可多可少，因此普及率较高。然而，对于集群处理方式，任务调度算法是集群的核心内容，任务调度算法的优劣直接影响集群的吞吐量和任务响应时间。目前对于任务调度算法的研究根据适用范围可分为普适性的研究和特定领域的研究。对于普适性的任务调度研究，实时处理系统常用的任务调度方法有固定优先级调度策略和先到先处理调度策略，这些调度策略大都具有普适性，并没有根据所调度任务的具体情况做优化，因此调度效果一般。对于特定领域的任务调度研究，现有的遥感任务调度算法的考虑因素大都比较单一，一部分来自对网格中任务调度的研究，一部分参考了动态任务调度的思想并进行了简单的实现，这种调度算法只考虑了计算节点单方面因素，忽略了任务需求因素，不利于遥感产品生产任务的成功分配和各个节点负载均衡。
技术实现思路
本专利技术提供了一种基于任务需求与服务能力匹配的遥感任务调度方法，能够提高遥感产品生产任务分配的成功率，使集群中的各个生产节点负载均衡，进一步提高集群的生产效率。为实现上述目的，本专利技术采用的技术方案是：一种基于任务需求与服务能力匹配的遥感任务调度方法，包括以下步骤：A、将调度服务器进行初始化，依据遥感产品生产算法依赖关系，在调度服务器上建立遥感产品生产依赖模型，然后进入步骤B；B、当遥感产品生产任务到达调度服务器后，调度服务器根据遥感产品生产任务的订单信息和遥感产品生产依赖模型计算遥感产品生产任务的资源需求度，并将遥感产品生产任务按照到达顺序放入任务队列等待分配，然后进入步骤C；C、集群中的各个生产节点依据自身的负载情况，周期性地计算本生产节点的服务能力值，并实时发送至调度服务器，然后进入步骤D；D、调度服务器依次选取任务队列中的一个遥感产品生产任务，并将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将遥感产品生产任务放回任务队列等待下次分配，同时调度服务器选取下个遥感产品生产任务进行分配。所述的步骤A中，建立遥感产品生产依赖模型W(W1，W2，…，Wn)，定义W为目标产品，则W1，W2，…，Wn为W依赖的中间产品或基础产品，n＝1，2，3，……，遥感产品生产依赖模型输出W的产品依赖度RW：RW＝RW1+RW2+…+RWn；式中RW1，RW2，…，RWn分别为W1，W2，…，Wn的产品依赖度；定义基础产品的产品依赖度为ε，ε取1，2，3，……，若W1，W2，…，Wn均为基础产品，则RW1，RW2，…，RWn的值均为ε，若W1，W2，…，Wn中存在一个或多个中间产品，则将各个中间产品分别作为目标产品，根据上述遥感产品生产依赖模型继续查找各个中间产品所依赖产品的产品依赖度，直至所有中间产品所依赖的产品全部为基础产品。所述的步骤B中，调度服务器根据遥感产品生产任务的订单信息和遥感产品生产依赖模型计算遥感产品生产任务的资源需求度包括以下步骤：B1、调度服务器利用遥感产品生产依赖模型W(W1，W2，…，Wn)，计算遥感产品生产任务的目标产品的产品依赖度RW；B2、调度服务器根据遥感产品生产任务的订单信息中的遥感影像列表，计算遥感影像的总数据量Fw：Fw＝F1+F2+…Ft；式中t＝1，2，3，……，F1，F2，…，Ft分别为第一幅遥感影像的大小，第二幅遥感影像的大小，……，第t幅遥感影像的大小；B3、调度服务器根据目标产品的产品依赖度RW和遥感影像的总数据量Fw计算遥感产品生产任务的资源需求度Zw：ZW=ρ1*RW10+ρ2*FW1000;]]>式中ρ1、ρ2为依据目标产品的产品依赖度RW和遥感影像的总数据量Fw对遥感产品生产任务的资源需求度的影响分别赋予的权值，其和为1。所述的步骤C中，生产节点的服务能力值的计算公式为：S=ρ3*(0.95-CPU%)*Cap100+ρ4*(0.95-Mem%)*Mem1000-ρ5*TU10-ρ6*TF10;]]>式中CPU％和Mem％分别为生产节点的CPU和内存在当前周期内的平均利用率，Cap、Mem、TU和TF分别为生产节点的CPU计算能力、内存大小、待完成生产任务数和已完成生产任务数，其中已完成任务数TF每隔设定时间后置0，ρ3、ρ4、ρ5、ρ6是依据Cap、Mem、TU和TF对生产节点服务能力的影响分别赋予的权值，其和为1。所述的生产节点的CPU计算能力的计算公式为：Cap＝Num*Cor*Fre；式中Num为CPU数量，Cor为单个CPU核数，Fre为CPU频率。所述的步骤B中，调度服务器中的任务队列包括初始为空的优先任务队列、普通任务队列和未分配成功队列，调度服务器根据遥感产品生产任务的任务优先级将其加入优先任务队列或者普通任务队列等待分配。所述的步骤D包括以下步骤：D1、调度服务器首先检查未分配成功队列是否为空，当未分配成功队列为空时，直接进入步骤D2，当未分配成功队列不为空时，依次选取未分配成功队列中的一个遥感产品生产任务，分别将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将当前遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将当前遥感产品生产任务放回未分配成功队列，同时选取未分配成功队列中的下一个遥感产品生产任务进行分配，当未分配成功队列中的所有遥感产品生产任务全部经过上述分配过程后进入步骤D2；D2、调度服务器检测优先任务队列是否为空，当优先任务队列为空时，直接进入步骤D3，当优先任务队列不为空时，依次选取优先任务队列中的一个遥感产品生产任务，分别将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将当前遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将当前遥感产品生产任务移至未分配成功队列，同时选取优先任务队列中的下一个遥感产品生产任务进行分配，当优先任务队列中的遥感产品生产任务全部经过上述分配过程后进入步骤D3；D3、调度服务器检测普通任务队列是否为空，当普通任务队列为空时，直接返回步骤D1，当普通任务队列不为空时，依次选取普通任务队列中的一个遥感产品生产任务，分别将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将当前遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得本文档来自技高网...

【技术保护点】
一种基于任务需求与服务能力匹配的遥感任务调度方法，其特征在于，包括以下步骤：A、将调度服务器进行初始化，依据遥感产品生产算法依赖关系，在调度服务器上建立遥感产品生产依赖模型，然后进入步骤B；B、当遥感产品生产任务到达调度服务器后，调度服务器根据遥感产品生产任务的订单信息和遥感产品生产依赖模型计算遥感产品生产任务的资源需求度，并将遥感产品生产任务按照到达顺序放入任务队列等待分配，然后进入步骤C；C、集群中的各个生产节点依据自身的负载情况，周期性地计算本生产节点的服务能力值，并实时发送至调度服务器，然后进入步骤D；D、调度服务器依次选取任务队列中的一个遥感产品生产任务，并将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将遥感产品生产任务放回任务队列等待下次分配，同时调度服务器选取下个遥感产品生产任务进行分配。

【技术特征摘要】
2016.07.11 CN 20161054077951.一种基于任务需求与服务能力匹配的遥感任务调度方法，其特征在于，包括以下步骤：A、将调度服务器进行初始化，依据遥感产品生产算法依赖关系，在调度服务器上建立遥感产品生产依赖模型，然后进入步骤B；B、当遥感产品生产任务到达调度服务器后，调度服务器根据遥感产品生产任务的订单信息和遥感产品生产依赖模型计算遥感产品生产任务的资源需求度，并将遥感产品生产任务按照到达顺序放入任务队列等待分配，然后进入步骤C；C、集群中的各个生产节点依据自身的负载情况，周期性地计算本生产节点的服务能力值，并实时发送至调度服务器，然后进入步骤D；D、调度服务器依次选取任务队列中的一个遥感产品生产任务，并将各个生产节点最新发送的服务能力值与当前遥感产品生产任务的资源需求度进行差值比较，若所得差值至少有一个大于0，则将遥感产品生产任务发送至所得差值为正且最小的生产节点，若所得差值均小于等于0，则将遥感产品生产任务放回任务队列等待下次分配，同时调度服务器选取下个遥感产品生产任务进行分配。2.如权利要求1所述的基于任务需求与服务能力匹配的遥感任务调度方法，其特征在于：所述的步骤A中，建立遥感产品生产依赖模型W(W1，W2，…，Wn)，定义W为目标产品，则W1，W2，…，Wn为W依赖的中间产品或基础产品，n＝1，2，3，……，遥感产品生产依赖模型输出W的产品依赖度RW：RW＝RW1+RW2+…+RWn；式中RW1，RW2，…，RWn分别为W1，W2，…，Wn的产品依赖度；定义基础产品的产品依赖度为ε，ε取1，2，3，……，若W1，W2，…，Wn均为基础产品，则RW1，RW2，…，RWn的值均为ε，若W1，W2，…，Wn中存在一个或多个中间产品，则将各个中间产品分别作为目标产品，根据上述遥感产品生产依赖模型继续查找各个中间产品所依赖产品的产品依赖度，直至所有中间产品所依赖的产品全部为基础产品。3.如权利要求2所述的基于任务需求与服务能力匹配的遥感任务调度方法，其特征在于：所述的步骤B中，调度服务器根据遥感产品生产任务的订单信息和遥感产品生产依赖模型计算遥感产品生产任务的资源需求度包括以下步骤：B1、调度服务器利用遥感产品生产依赖模型W(W1，W2，…，Wn)，计算遥感产品生产任务的目标产品的产品依赖度RW；B2、调度服务器根据遥感产品生产任务的订单信息中的遥感影像列表，计算遥感影像的总数据量Fw：Fw＝F1+F2+…Ft；式中t＝1，2，3，……，F1，F2，…，Ft分别为第一幅遥感影像的大小，第二幅遥感影像的大小，……，第t幅遥感影像的大小；B3、调度服务器根据目标产品的产品依赖度RW和遥感影像的总数据量Fw计算遥感产品生产任务的资源需求度Zw：ZW=ρ1*RW10+ρ2*FW1000;]]>式中ρ1、ρ2为依据目标产品的产品依赖度RW和遥感影像的总数据量Fw对遥感产品生产任务的资源需求度的影响分别赋予的权值，其和为1。4.如权利要求3所述的基于任务需求与服务能力匹配的遥感任务调度方法，其特征在于：所述的步骤C中，生产节点的服务能力值的计算公式为...

【专利技术属性】
技术研发人员：葛强，郑逢斌，胡永权，张帅民，徐浩，丁元，郭飞，魏梦凡，
申请(专利权)人：河南大学，
类型：发明
国别省市：河南;41