基于优先级的气象水文数据处理调度系统技术方案

本发明专利技术涉及数据处理调度技术领域，具体地说，涉及基于优先级的气象水文数据处理调度系统。其方法包括如下步骤：计算先验值；任务分类；任务处理；计算负载；计算节点排序；任务调度。该基于优先级的气象水文数据处理调度系统中，根据任务紧急程度定义将任务分为权重任务和无权重任务，分别对权重任务和无权重任务进行处理，便于对有效的气象水文数据进行优先处理，提高处理效率，计算节点负载量，并根据各个计算节点负载量进行排序，将任务队列队首任务匹配计算节点队列队首节点，实现负载调节，进一步提高调度运算效率。

Meteorological and hydrological data processing and scheduling system based on priority

【技术实现步骤摘要】
基于优先级的气象水文数据处理调度系统
本专利技术涉及数据处理调度
，具体地说，涉及基于优先级的气象水文数据处理调度系统。
技术介绍
随着气象水文科技的进步使气象水文数据质量得以提高，同时气象水文数据的体量急剧增长，目前，气象水文数据处理采用同步传输，对于有效的气象水文数据无法优先处理，同时，气象水文数据处理时，无法根据节点负载进行调节，导致整体气象水文数据处理效率低。
技术实现思路
本专利技术的目的在于提供基于优先级的气象水文数据处理调度系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供基于优先级的气象水文数据处理调度系统，其方法包括如下步骤：S1、计算先验值，根据各个并行节点反馈到调度节点上的处理时间，取平均值；先验值是动态更新的，这种动态更新使先验值的存在更具参考性，当节点上反馈新的该类产品生产时间信息时，和该先验值再取平均值作为新的先验值。得到的先验值在调度中的数据结构，用Map型数据结构方式记录下来，Key代表是计算节点处理的任务类型，Value是代表节点处理此类型任务所用的时间。S2、任务分类，根据任务紧急程度定义，(权重即任务的紧急程度，由提交任务指定)将任务分为权重任务和无权重任务；S3、任务处理，分别对权重任务和无权重任务进行处理；S4、计算负载，计算各个计算节点负载量；S5、计算节点排序，根据各个计算节点负载量进行排序；S6、任务调度，任务队列队首任务匹配计算节点队列队首节点。作为优选，所述S3中，权重任务的处理方法包括如下步骤：S1.1、进行权重比较；S1.2、根据权重大小顺序将任务放入任务队列。作为优选，所述S3中，无权重任务的处理方法包括如下步骤：S2.1、获取待处理任务的基本信息(包括任务量大小、作业类型、等待时间等)；S2.2、获取之前处理该待处理任务的类型作业的时间；S2.3、预估执行时间。作为优选，所述S2.3中，预估执行时间的公式为：Ti＝αTwait(i)+βTxi(Si,Ttype(i)),α+β＝1……(式1)；其中，Ti为第i个任务的加权时间和；Si为第i种任务的任务量；Twait(i)为执行Si需等待时间，刚进入队列时，初始化Twait(i)为0；Ttype(i)为任务的类型；用这个值可以查阅每种类型任务的平均执行时间，做出任务执行时间的参考；任务队列用Q＝{T1，T2，…，Tn}表示，其中i＝1，2，3，…，n，考虑到每个任务从提交到执行会有一个等待时间Twait(i)。式1中，Ti表示任务从提交到执行完成需要的时间的一个加权时间和(等待时间和预估完成时间加权和)；Txi(Si,Ttype(i))为根据先验值预估出任务开始执行到结束的时间，任务量大小Si和根据任务类型,Ttype(i)，α和β的值分别是Twait(i)和Txi(Si,Ttype(i))的比重系数。作为优选，所述S4中，计算负载的公式为：式2中，Lj为计算节点负载量；Cj为CPU利用率；Mj为内存利用率；Rj为磁盘I/O速率；Tj为计算节点上正在进行的任务预估完成时间。根据负载量大小得到计算节点队列Q＝(L1,L2,…,Ln}，其中，j＝1,2，3，…，n，根据收集到的这些负载参数依各自的权值按式2计算每个节点的负载。式2中，r是各项参数的权值因子，反映各个参数所占的权值大小，首先设置各参数的权值相同。作为优选，所述S5中，计算节点排序采用快速排序算法，其算法方法包括如下步骤：S3.1、设置两个变量I、J，排序开始时，I＝1，J＝N-1；S3.2、以第一个数组元素作为关键数据，赋值给X，即X＝A[0]；S3.3、从J开始向前搜索，即由后开始向前搜索(J＝J-1)，找到第一个小于X的值，让该值与X交换；S3.4、从I开始向后搜索，即由前开始向后搜索(I＝I+1)，找到第一个大于X的值，让该值与X交换；S3.5、重复第S3.3和3.4步，直到I＝J。作为优选，所述S6中，匹配采用KMP算法，其算法公式如下：与现有技术相比，本专利技术的有益效果：1、该基于优先级的气象水文数据处理调度系统中，根据任务紧急程度定义将任务分为权重任务和无权重任务，分别对权重任务和无权重任务进行处理，便于对有效的气象水文数据进行优先处理，提高处理效率。2、该基于优先级的气象水文数据处理调度系统中，计算节点负载量，并根据各个计算节点负载量进行排序，将任务队列队首任务匹配计算节点队列队首节点，实现负载调节，进一步提高调度运算效率。附图说明图1为本专利技术的整体流程方法框图；图2为本专利技术的权重任务的处理方法框图；图3为本专利技术的权重任务的处理方法框图；图4为本专利技术的计算节点排序方法框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-图4所示，本专利技术提供一种技术方案：本专利技术提供基于优先级的气象水文数据处理调度系统，其方法包括如下步骤：S1、计算先验值，根据各个并行节点反馈到调度节点上的处理时间，取平均值；先验值是动态更新的，这种动态更新使先验值的存在更具参考性，当节点上反馈新的该类产品生产时间信息时，和该先验值再取平均值作为新的先验值。得到的先验值在调度中的数据结构，用Map型数据结构方式记录下来，Key代表是计算节点处理的任务类型，Value是代表节点处理此类型任务所用的时间。S2、任务分类，根据任务紧急程度定义，(权重即任务的紧急程度，由提交任务指定)将任务分为权重任务和无权重任务；S3、任务处理，分别对权重任务和无权重任务进行处理；S4、计算负载，计算各个计算节点负载量；S5、计算节点排序，根据各个计算节点负载量进行排序；S6、任务调度，任务队列队首任务匹配计算节点队列队首节点。本实施例中，S3中，权重任务的处理方法包括如下步骤：S1.1、进行权重比较；S1.2、根据权重大小顺序将任务放入任务队列。进一步的，S3中，无权重任务的处理方法包括如下步骤：S2.1、获取待处理任务的基本信息(包括任务量大小、作业类型、等待时间等)；S2.2、获取之前处理该待处理任务的类型作业的时间；S2.3、预估执行时间。S2.3中，预估执行时间的公式为：Ti＝αTwait(i)+βTxi(Si,Ttype(i)),α+β＝1……(式1)；其中，Ti为第i个任务的加权时间和；Si为第i种任务的任务量；Twait(i)为执行Si需等待时间，刚进入本文档来自技高网...

【技术保护点】
1.基于优先级的气象水文数据处理调度系统，其方法包括如下步骤：/nS1、计算先验值，根据各个并行节点反馈到调度节点上的处理时间，取平均值；/nS2、任务分类，根据任务紧急程度定义，将任务分为权重任务和无权重任务；/nS3、任务处理，分别对权重任务和无权重任务进行处理；/nS4、计算负载，计算各个计算节点负载量；/nS5、计算节点排序，根据各个计算节点负载量进行排序；/nS6、任务调度，任务队列队首任务匹配计算节点队列队首节点。/n

【技术特征摘要】
1.基于优先级的气象水文数据处理调度系统，其方法包括如下步骤：
S1、计算先验值，根据各个并行节点反馈到调度节点上的处理时间，取平均值；
S2、任务分类，根据任务紧急程度定义，将任务分为权重任务和无权重任务；
S3、任务处理，分别对权重任务和无权重任务进行处理；
S4、计算负载，计算各个计算节点负载量；
S5、计算节点排序，根据各个计算节点负载量进行排序；
S6、任务调度，任务队列队首任务匹配计算节点队列队首节点。


2.根据权利要求1所述的基于优先级的气象水文数据处理调度系统，其特征在于：所述S3中，权重任务的处理方法包括如下步骤：
S1.1、进行权重比较；
S1.2、根据权重大小顺序将任务放入任务队列。


3.根据权利要求1所述的基于优先级的气象水文数据处理调度系统，其特征在于：所述S3中，无权重任务的处理方法包括如下步骤：
S2.1、获取待处理任务的基本信息；
S2.2、获取之前处理该待处理任务的类型作业的时间；
S2.3、预估执行时间。


4.根据权利要求3所述的基于优先级的气象水文数据处理调度系统，其特征在于：所述S2.3中，预估执行时间的公式为：
Ti＝αTwait(i)+βTxi(Si，Ttype(i))，α+β＝1……(式1)；
其中，Ti为第i个任务的加权时间和；Si为第i种任务的任务量；Twait(i)为执行Si需等待时...

【专利技术属性】
技术研发人员：胡友彬，白广奇，莫欣谓，史纬恒，王晓鸣，叶明雯，徐君炜，宁达俊昊，吴永远，
申请(专利权)人：胡友彬，
类型：发明
国别省市：江苏;32