基于遥感影像存储位置的异构并行调度系统技术方案

本发明专利技术提供基于遥感影像存储位置的异构调度系统，影像数据存储对原始遥感影像分块处理并存储到分布式存储节点；存储位置感知采集影像信息块存储后的存放位置；资源监控对集群内各计算机硬件资源、操作系统、CPU使用情况、内存使用情况的监控；调度管理调度作业的发起操作、挂起操作、终止操作，发起操作依据调度策略选择影像处理算法的计算节点；调度监控计算节点上的调度作业的执行情况进行监控；门户提供可视化的Web界面和REST service接口。本发明专利技术实现在多机集群模式下，基于影像存储的机器节点位置的遥感算法调度，减少数据源的迁移，降低对网络IO的使用；支持在多种异构芯片环境下的并行调度处理，提高影像处理的效率。

【技术实现步骤摘要】
基于遥感影像存储位置的异构并行调度系统
本专利技术涉及遥感影像处理领域，具体地，涉及一种基于遥感影像存储位置的异构并行调度系统。
技术介绍
遥感影像处理工程存在数据量庞大，计算资源消耗大，计算周期长的特点，提高遥感影像处理效率是业内关注的问题。在传统的遥感影像处理软件中，采用的是集中式存储、单节点计算的架构模式。随着分布式存储和分布式计算技术的日益完善与广泛使用，出现了遥感影像处理领域的分布式计算平台。但这种计算平台存在以下问题：遥感影像数据量大，在分布式系统中进行分布式计算时，难免会因数据迁移和频繁读写，造成网络IO和磁盘IO的压力；一般分布式计算集群下，只支持CPU计算，纯CPU的计算环境不足以支持遥感影像领域中的高性能处理计算；传统的遥感影像处理中，算法将整幅影像读取到内存后再进行处理，这种形式对计算机的内存配置要求较高，而且单机运算的计算效率会存在瓶颈，无法体现集群模式下的性能优势。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于遥感影像存储位置的异构并行调度系统。根据本专利技术提供的一种基于遥感影像存储位置的异构调度系统，包括影像数据存储模块、存储位置感知模本文档来自技高网...

【技术保护点】
1.一种基于遥感影像存储位置的异构调度系统，其特征在于，包括影像数据存储模块、存储位置感知模块、资源监控模块、调度管理模块、调度监控模块、门户模块；影像数据存储模块：对原始遥感影像进行分块处理，获得遥感影像分块信息，将携带所述遥感影像分块信息的物理分块存储到分布式存储节点上，所述物理分块记为影像信息块；存储位置感知模块：采集分布式存储系统中，所述影像信息块存储后的存放位置的记录，获得存储位置感知结果；资源监控模块：对集群内各计算机硬件资源、操作系统、CPU使用情况、内存使用情况的监控，以及调度备选机器节点的维护；调度管理模块：调度作业的发起操作、挂起操作、终止操作，所述调度作业的发起操作依据调...

【技术特征摘要】
1.一种基于遥感影像存储位置的异构调度系统，其特征在于，包括影像数据存储模块、存储位置感知模块、资源监控模块、调度管理模块、调度监控模块、门户模块；影像数据存储模块：对原始遥感影像进行分块处理，获得遥感影像分块信息，将携带所述遥感影像分块信息的物理分块存储到分布式存储节点上，所述物理分块记为影像信息块；存储位置感知模块：采集分布式存储系统中，所述影像信息块存储后的存放位置的记录，获得存储位置感知结果；资源监控模块：对集群内各计算机硬件资源、操作系统、CPU使用情况、内存使用情况的监控，以及调度备选机器节点的维护；调度管理模块：调度作业的发起操作、挂起操作、终止操作，所述调度作业的发起操作依据调度策略选择影像处理算法的计算节点；调度监控模块：监控计算节点上的调度作业的执行情况；门户模块：提供可视化的Web界面，以及供外部系统使用的RESTservice接口。2.根据权利要求1所述的基于遥感影像存储位置的异构调度系统，其特征在于，所述影像数据存储模块包括影像数据分块模块、分块信息录入模块；影像数据分块模块：对原始遥感影像的数据进行切分，得到遥感影像分块信息，同时保留遥感影像分块信息的影像源数据信息；分块信息录入模块：对所述遥感影像分块信息进行存储，在选择存储节点时，能够优先选择有加速硬件的机器，或者计算资源充足的机器。3.根据权利要求1所述的基于遥感影像存储位置的异构调度系统，其特征在于，所述存储位置感知模块包括获取分块信息模块、提供推荐节点模块；获取分块信息模块：根据原始遥感影像的标识，获取对应的影像信息块的存放位置信息，所述存放位置信息包括存储节点IP、影像信息块的标识、影像信息块的实际存放路径、机器节点信息；提供推荐节点模块：调度节点优选，根据获取的存放位置信息中的机器节点信息，提供调度节点备选机器的集合，并根据所述集合中的机器的资源情况，筛选出适合执行影像处理任务的机器。4.根据权利要求1所述的基于遥感影像存储位置的异构调度系统，其特征在于，所述资源监控模块包括异构硬件资源监控模块、异构CPU监控模块、计算资源监控模块、计算资源预留模块、动态计算资源添加模块；异构硬件资源监控模块：对异构硬件的监测，获取第一检测结果，所述第一检测结果能够用于调度管理，依据遥感影像处理算法的特性选择异构硬件实现硬件加速；异构CPU监控模块：监测处理器基础信息，所述处理器基础信息包括CPU类型、CUP资源使用情况；计算资源监控模块：监控计算机器的资源情况，所述资源情况包括CUP资源情况、内存使用情况；计算资源预留模块：定义计算节点的最小资源剩余，将所述最小资源剩余作为预留空间，用于计算节点所在的机器本身运行使用；动态计算资源添加模块：动态添加计算节点到调度备选机器节点中。5.根据权利要求...

【专利技术属性】
技术研发人员：黄子君，谢彬，王敬平，沈晨，杜真真，许光泞，褚少鹤，周洁，
申请(专利权)人：华东计算技术研究所中国电子科技集团公司第三十二研究所，
类型：发明
国别省市：上海,31