多卫星遥感数据一体化并行地面预处理系统技术方案

本发明专利技术涉及一种多卫星遥感数据一体化并行地面预处理系统，包括硬件层、系统支撑层、数据处理扩展层，任务管理调度层和用户处理功能组合层；其中硬件层提供预处理系统的硬件支撑；系统支撑层提供系统软件支撑环境；数据处理扩展层具有多种卫星多种传感器的抽象功能接口和公共的功能组合逻辑；任务管理调度层实现任务调度和流程管理；用户处理功能组合层为用户提供简单易用的流程组合界面。本发明专利技术有益效果为：用户在不修改处理程序的情况下便可方便均衡的扩展系统的处理、存储、网络通信能力，提高程序的运行速度；有新的卫星遥感数据进入系统需要处理、归档、产品生产和分发时只需将相应数据的处理模块根据一定的模板加入系统中即可完成功能的扩展。

【技术实现步骤摘要】

本专利技术涉及遥感数据地面预处理
，特别涉及一种基于并行机群架 构的高性能多卫星遥感数据地面预处理系统。
技术介绍
遥感卫星地面预处理系统是集卫星数据存档与管理、数据预处理与产品生 成于一体的综合系统，是空间对地观测系统的重要支撑系统，是关联空间数据 获取和地面应用之间的纽带。随着信息技术和传感器技术的飞速发展，卫星遥 感影像空间分辨率、光谱分辨率和时间分辨率大大提高，星上数据釆集量增加100-400倍，相应的数据处理计算量也增加了 1000-10000倍，针对如此海量数据处理的压力，基于小型机或工作站平台的传统地面预处理系统在性能扩展方 面受到制约。随着可利用的遥感卫星数量及其相应的遥感器种类不断增加，以 及人们对遥感数据应用的深度和广度不断提出新的要求，遥感卫星地面预处理 系统在灵活的重构特性和多种产品处理能力方面面临新的挑战与需求，人们希 望在预处理系统中尽可能多地完成自己的处理需求，遥感卫星地面预处理系统 在功能扩展方面受到制约。如何在性能和功能扩展方面满足遥感数据预处理的要求是一个需要迫切解 决的问题，有必要提供一种在性能和功能方面扩展性好多卫星遥感数据一体化 地面处理方法。
技术实现思路
本专利技术的目的在于提供一种多卫星遥感数据一体化并行地面预处理系统， 解决多卫星数据多级产品、海量数据快速处理问题。实现本专利技术目的的技术方案是一种多卫星遥感数据一体化并行地面预处理系统，包括硬件层，其提供预处理系统的硬件支撑，包括商品化机群系统、SAN/NAS 等存储系统以及千兆以太网或infiniband等高性能网络系统等硬件设施；系统支撑层，提供系统软件支撑环境，系统性能的扩展，遥感数据预处 理是复杂的计算密集、数据密集和网络密集型应用，并且不同的处理功能对 计算、存储和网络性能的要求也不尽相同，该系统通过正交设计来实现并行 计算、并行存储、并行网络负载模块，使得系统在处理性能、网络性能、存 储性能方面可以独立扩展，并可以根据数据处理特点综合优化三者性能，对 数据的处理、数据的归档和产品生产与分发提供了强大的系统性能支持，使 得系统性能高度扩展和高效运行，达到了在性能方面按需扩展的要求；数据处理扩展层，具有多种卫星多种传感器的抽象功能接口和公共的功 能组合逻辑，各类卫星和传感器具体的处理算法通过继承的手段实现和添加， 确保了算法功能按需扩展；任务管理调度层，实现任务调度和流程管理，在该层通过集成高性能的 作业调度系统和工作流管理系统，实现了多种处理功能的工作负载均衡和流 程处理能力，在所述的工作流管理系统，同一流程会被加载两次来共同完成 对任务的处理，第一次用于为各个阶段处理任务生成相应的参数文件，第二 次用于执行各个阶段处理任务完成特定的处理功能。用户处理功能组合层，为用户提供了简单易用的流程组合界面，用户可 以组合各种复杂的包括数据处理、归档、产品生产和分发等多种功能在内的 处理流程。本专利技术的有益效果通过数据处理功能扩展层和用户处理功能组合层的 扩展，实现了系统在功能方面的按需扩展，不但可以增加新的多卫星遥感数 据处理算法和功能，还能组合各种基本的处理功能，使用户可随意定制遥感 数据处理流程，满足用户特定的数据处理需求；具有完全开放的运行平台， 在性能方面，用户在不修改处理程序的情况下，便可以方便均衡的扩展系统 的处理、存储、网络通信能力，提高程序的运行速度；在功能方面，当有新的卫星遥感数据进入系统需要处理、归档、产品生产和分发时，只需将相应 数据的处理^^块才艮据一定的模板加入系统中即可完成功能的扩展。附图说明下面根据附图对本专利技术实施例作进一步详细说明。图l是本专利技术实施例的系统结构示意图。 具体实施例方式如图1所示，本专利技术实施例所述的多卫星遥感数据一体化并行地面预处理 系统，包括硬件层、系统支撑层、数据处理扩展层，任务管理调度层和用户处理功能组合层；其中硬件层提供预处理系统的硬件支撑，包括商品化机群系统、 SAN/NAS等存储系统以及千兆以太网或infiniband等高性能网络系统等硬件设 施；系统支撑层，提供系统软件支撑环境，注重系统性能的扩展，通过正交设 计来实现并行计算、并行存储、并行网络负载模块，使得系统在处理性能、网 络性能、存储性能方面可以独立扩展，并可以根据数据处理特点综合优化三者 性能，并行计算才莫块包括MPI、 OpenMP、 PVM等，并行存储模块包括PVFS、 Lustre、 StorNext等，网络负载模块包括LVS、 BigIP等相关软件的部署方法； 在数据处理扩展层，具有多种卫星多种传感器的抽象功能接口和公共的功能組 合逻辑，各类卫星和传感器具体的处理算法通过继承的手段实现和添加，确保算法功能按需扩展；在任务管理调度层，实现任务调度和流程管理，在该层通 过集成高性能的作业调度系统和工作流管理系统，实现多种处理功能的工作负 载均衡和流程处理能力；在用户处理功能组合层，为用户提供了简单易用的流 程组合界面，用户可以组合各种复杂的包括数据处理、归档、产品生产和分发 等多种功能在内的处理流程。通常情况下用户提交任务到系统，系统中的任务调度层收到任务，解释任 务为工作流，提交给任务调度层的工作流管理层，由工作流管理层把任务分解 成阶段性性任务，提交给作业调度层，作业调度层把阶段性任务按照机群中的 负载情况调度到机群中的计算节点上，执行阶段任务的计算任务。工作流层控制工作流的执行，重复调用作业管理层进行阶段任务的调度工作，直到完成任 务单规定的任务。用户可以在原系统中增加新的任务流程。如以前的流程是零级数据获取、 系统辐射校正、系统几何校正、然后输出产品，现在需要在系统辐射校正之前 增加去条带的操作。实时方法很简单，用户在用户子定义处理流程层定义好包 括零级数据获取、去条带、系统辐射校正、系统几何校正、然后输出产品在内 的工作流，把该工作流与一个任务名绑定。今后提交该任务名时，就可以执行 增加了去条带的处理任务。用户可以在原有系统中增加新卫星载荷凄史据的处理功能。如现有系统可以 处理"北京一号，，小卫星数据的处理，现在要增加"环境与灾害监测预报小卫 星"载荷的处理，用户只需要按照"数据处理接口抽象设计层"规定的接口， 在"处理功能具体实现层，，增加新卫星数据的处理功能，该功能将自动加载到 该预处理系统中，实现对多卫星数据处理的功能扩展。任务是由 一 系列阶段子任务(功能模块)有机组合而成的处理流程。为实现通 用卫星地面预处理系统对数据处理流程的灵活性要求，任务管理调度层引入了工作流机制来最大化系统数据处理流程的灵活性与可扩展性。该处理流程用xml 文件格式进行描述，以配置文件形式存放，在运行任务时动态加载，因此可以 在数据处理流程中实现功能组件模块的"热插拔"。系工作流管理层将利用自身 引擎对描述文件进行解析，并按照预先定义好的规则对流程中的各阶段任务进 行处理。在数据处理流程中，同一流程会净皮加载两次来共同完成对任务的处理。 第一次用于为各个阶段处理任务生成相应的参数文件，第二次用于执行各个阶 段处理任务完成特定的处理功能。同时，可以根据需要在流程中设立检查点， 以检测阶段处理是否正确执行完成，没有通过检测的流程，检测点后续的任务 功能将不再被执行，并且任务管理调度层本文档来自技高网...

【技术保护点】
一种多卫星遥感数据一体化并行地面预处理系统，其特征在于，包括：硬件层，其提供预处理系统的硬件支撑，包括商品化机群系统、ＳＡＮ／ＮＡＳ等存储系统以及诸如千兆以太网或ｉｎｆｉｎｉｂａｎｄ的高性能网络系统；系统支撑层，提供系统软件支撑环境及系统性能的扩展，通过正交设计来实现并行计算、并行存储、并行网络负载模块，使得系统在处理性能、网络性能、存储性能方面可以独立扩展，并可以根据数据处理特点综合优化三者性能，对数据的处理、数据的归档和产品生产与分发提供了强大的系统性能支持，使得系统性能高度扩展和高效运行，达到了在性能方面按需扩展的要求；数据处理扩展层，具有多种卫星多种传感器的抽象功能接口和公共的功能组合逻辑，各类卫星和传感器具体的处理算法通过继承的手段实现和添加，确保了算法功能按需扩展；任务管理调度层，实现任务调度和流程管理，在该层集成有作业调度系统和工作流管理系统，以实现多种处理功能的工作负载均衡和流程处理能力；用户处理功能组合层，为用户提供简单易用的流程组合界面，用户可以组合各种复杂的包括数据处理、归档、产品生产和分发等多种功能在内的处理流程。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘定生，李国庆，章文毅，李景山，赵灵军，马艳，王建，陈甫，黄克颖，杨进，黄鹏，黄方，马广彬，于文洋，张万军，
申请(专利权)人：中国科学院对地观测与数字地球科学中心，
类型：发明
国别省市：11[中国|北京]