基于优先级的气象水文数据处理调度系统技术方案

本发明专利技术涉及数据处理调度技术领域，具体地说，涉及基于优先级的气象水文数据处理调度系统。其方法包括如下步骤：计算先验值；任务分类；任务处理；计算负载；计算节点排序；任务调度。该基于优先级的气象水文数据处理调度系统中，根据任务紧急程度定义将任务分为权重任务和无权重任务，分别对权重任务和无权重任务进行处理，便于对有效的气象水文数据进行优先处理，提高处理效率，计算节点负载量，并根据各个计算节点负载量进行排序，将任务队列队首任务匹配计算节点队列队首节点，实现负载调节，进一步提高调度运算效率。

Meteorological and hydrological data processing and scheduling system based on priority

【技术实现步骤摘要】
基于优先级的气象水文数据处理调度系统
本专利技术涉及数据处理调度
，具体地说，涉及基于优先级的气象水文数据处理调度系统。
技术介绍
随着气象水文科技的进步使气象水文数据质量得以提高，同时气象水文数据的体量急剧增长，目前，气象水文数据处理采用同步传输，对于有效的气象水文数据无法优先处理，同时，气象水文数据处理时，无法根据节点负载进行调节，导致整体气象水文数据处理效率低。
技术实现思路
本专利技术的目的在于提供基于优先级的气象水文数据处理调度系统，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供基于优先级的气象水文数据处理调度系统，其方法包括如下步骤：S1、计算先验值，根据各个并行节点反馈到调度节点上的处理时间，取平均值；先验值是动态更新的，这种动态更新使先验值的存在更具参考性，当节点上反馈新的该类产品生产时间信息时，和该先验值再取平均值作为新的先验值。得到的先验值在调度中的数据结构，用Map型数据结构方式记录下来，Key代表是计算节点处理的任务类型，Value是代表节点处理此类型任务本文档来自技高网...

【技术保护点】
1.基于优先级的气象水文数据处理调度系统，其方法包括如下步骤：/nS1、计算先验值，根据各个并行节点反馈到调度节点上的处理时间，取平均值；/nS2、任务分类，根据任务紧急程度定义，将任务分为权重任务和无权重任务；/nS3、任务处理，分别对权重任务和无权重任务进行处理；/nS4、计算负载，计算各个计算节点负载量；/nS5、计算节点排序，根据各个计算节点负载量进行排序；/nS6、任务调度，任务队列队首任务匹配计算节点队列队首节点。/n

【技术特征摘要】
1.基于优先级的气象水文数据处理调度系统，其方法包括如下步骤：
S1、计算先验值，根据各个并行节点反馈到调度节点上的处理时间，取平均值；
S2、任务分类，根据任务紧急程度定义，将任务分为权重任务和无权重任务；
S3、任务处理，分别对权重任务和无权重任务进行处理；
S4、计算负载，计算各个计算节点负载量；
S5、计算节点排序，根据各个计算节点负载量进行排序；
S6、任务调度，任务队列队首任务匹配计算节点队列队首节点。


2.根据权利要求1所述的基于优先级的气象水文数据处理调度系统，其特征在于：所述S3中，权重任务的处理方法包括如下步骤：
S1.1、进行权重比较；
S1.2、根据权重大小顺序将任务放入任务队列。


3.根据权利要求1所述的基于优先级的气象水文数据处理调度系统，其特征在于：所述S3中，无权重任务的处理方法包括如下步骤：
S2.1、获取待处理任务的基本信息；
S2.2、获取之前处理该待处理任务的类型作业的时间；
S2.3、预估执行时间。


4.根据权利要求3所述的基于优先级的气象水文数据处理调度系统，其特征在于：所述S2.3中，预估执行时间的公式为：
Ti＝αTwait(i)+βTxi(Si，Ttype(i))，α+β＝1……(式1)；
其中，Ti为第i个任务的加权时间和；Si为第i种任务的任务量；Twait(i)为执行Si需等待时...

【专利技术属性】
技术研发人员：胡友彬，白广奇，莫欣谓，史纬恒，王晓鸣，叶明雯，徐君炜，宁达俊昊，吴永远，
申请(专利权)人：胡友彬，
类型：发明
国别省市：江苏;32