面向复杂栅格数据处理任务的集群算力自适应调度方法技术

本发明专利技术公开了一种面向复杂栅格数据处理任务的集群算力自适应调度方法，其步骤包括：1)将栅格数据分析步骤组件化，封装成独立运行的算子；2)按业务需要挑选算子组成有向无环图；3)在执行工作流时，根据算子依赖关系确定执行顺序，当多个算子执行顺序相同时，根据算子空间复杂度、时间复杂度和要处理的栅格数据像素个数确定算子优先级，优先级高的算子优先执行；4)在算子j执行之前，对所有工作节点的当前可用算力进行量化打分，根据得分比重将算子j对应的栅格数据按照空间范围进行逻辑分割，然后将分割得到的子空间分配给对应的工作节点；5)各工作节点根据收到的子空间的空间范围加载对应的数据块，并执行算子j对栅格数据块进行处理。

【技术实现步骤摘要】

本专利技术公开了一种面向复杂栅格数据处理任务的集群算力自适应调度方法。

技术介绍

1、随着卫星技术的不断进步和成本的降低，越来越多的卫星被发射到太空中，这些卫星通过各种传感器获取地表信息，包括地貌、植被、城市扩张等，产生了海量的遥感影像数据。同时无人机技术的快速发展使得获取遥感影像数据变得更加便捷和经济。近年来，数据存储技术不断成熟，使得海量的遥感影像数据可以高效地存储和管理，促进了遥感影像数据的积累。随着数字城市、精细化农业、环境监测等应用的迅速发展，对遥感影像的分析具有重要意义。但海量的遥感数据导致了庞大的计算量，很难快速获得准确的分析结果。

2、由遥感影像反演出大量栅格数据，这些数据除了具有大数据的一般性质外，还具有多种投影、多分辨率、多时相、高维度和非结构化等特点，面向栅格数据的处理任务多为数据密集型应用，执行过程相对复杂。工作流是目前在科学数据分析中广泛应用的一种复杂任务的结构化组织方式，通过将复杂任务拆分为多个可并行执行的细粒度子任务，可使复杂的数据分析处理任务具备更好的可移植性、可维护性、可重复性和可共享性。</p>

3、工作本文档来自技高网...

【技术保护点】

1.一种面向复杂栅格数据处理任务的集群算力自适应调度方法，其步骤包括：

2.根据权利要求1所述的方法，其特征在于，根据所述栅格数据分析工作流中算子的依赖关系确定算子的执行顺序；当多个算子具有相同的执行顺序时，根据算子的优先级确定执行次序，优先执行优先级高的算子；其中，根据算子i对应处理逻辑的空间复杂度SCi、算子i对应处理逻辑的时间复杂度TCi和算子i要处理的栅格数据的像素个数PNi确定算子i的优先级Pi。

3.根据权利要求1所述的方法，其特征在于，各工作节点定期上报当前CPU、内存和磁盘I/O的剩余量；任务调度引擎根据各工作节点的当前状态选取N个工作节点，根据所...

【技术特征摘要】

1.一种面向复杂栅格数据处理任务的集群算力自适应调度方法，其步骤包括：

2.根据权利要求1所述的方法，其特征在于，根据所述栅格数据分析工作流中算子的依赖关系确定算子的执行顺序；当多个算子具有相同的执行顺序时，根据算子的优先级确定执行次序，优先执行优先级高的算子；其中，根据算子i对应处理逻辑的空间复杂度sci、算子i对应处理逻辑的时间复杂度tci和算子i要处理的栅格数据的像素个数pni确定算子i的优先级pi。

3.根据权利要求1所述的方法，其特征在于，各工作节点定期上报当前cpu、内存和磁盘i/o的剩余量；任务调度引擎根据各工作节点的当前状态选取n个工作节点，根据所选工作节点的当前状态确定对应工作节点的可用算力，对各对应工作节点进行打分，然后根据打分情况将算子j对应的栅格数据按照空间范围逻辑分割为n个子空间。

4.根据权利要求3所述的方法，其特征在于，所述工作节点i的得分si＝w1*cri+w2*mri+w3*iori；其中，cri表示工作节点i当前的可用cpu资源，mri表示工作节点i当前的可用内存资源，iori表示工作节点i当前的可用磁盘i/o资源，w1、w2和w3是相应的权重系数。

5.根据权利要求3所述的方法，其特征在于，将算子j对应的栅格数据按空间范围划分成多个子空间，不同栅格数据...

【专利技术属性】
技术研发人员：张春阳，周小华，赵江华，王学志，
申请(专利权)人：中国科学院计算机网络信息中心，
类型：发明
国别省市：