一种基于云计算的遥感卫星数据解压缩处理系统及方法技术方案

一种基于云计算的遥感卫星数据解压缩处理系统，包括输入格式组件、分块读取组件、数据划分组件、解压缩Mapper组件、解压缩Shuffle组件、解压缩Reducer组件、原始数据解压缩组件、图像拼接组件；本发明专利技术按照遥感数据分割描述文件与数据压缩帧格式对各传感器图像原始数据进行并行粒度划分，使其能够并行处理；采用优化后的Map‑Reduce计算模型对分割后的原始数据分块进行高速并行解压缩处理，一个传感器图像数据可由多个节点并行解压缩处理，依次完成数据解压缩、图像数据排序、图像数据拼接，形成完整的图像数据。

A decompress processing system and method of remote sensing satellite data based on Cloud Computing

【技术实现步骤摘要】
一种基于云计算的遥感卫星数据解压缩处理系统及方法
本专利技术涉及一种卫星遥感图像原始数据解压缩处理系统及方法，属于遥感数据处理领域，适用于遥感卫星图像处理。
技术介绍
卫星下传的原始数据都是组包成约定格式的压缩码流，地面必须配置去格式解压缩设备来完成相应的逆处理，以恢复出原始图像数据。目前国产遥感卫星原始数据解压缩主要采用单节点单步处理的方式，每个专用节点负责一个图像虚拟信道数据的解压缩。从数据获取开始，经过帧同步、解扰、格式解析、数据分割、解压缩、图像拼接、数据回放等步骤，完成对原始数据的解压缩处理。随着我国遥感卫星技术的发展，卫星数传码率以及星载压缩编码器性能均大幅提高。使用单节点单步流程处理高速数传码流，运算量极大，单节点易出现系统问题，可靠性和效率极低。为了保证数据解压缩的可靠性，专用节点只能降低解压缩的速率，无法满足用户对遥感影像的实时获取需求，且增加了系统维护成本。
技术实现思路
本专利技术要解决的技术问题是：本专利技术采用云计算架构，克服单节点模式的性能瓶颈问题，提供一种基于云计算的遥感卫星数据解压缩系统及方法，解决了目前遥感卫星数据解压缩处理时效性差，可靠性低的问题。本专利技术在面对海量遥感数据解压缩有巨大的性能及可靠性优势，无需进行降速解压缩，即可高效可靠完成整轨双通道原始数据的解压缩处理；同时其性能可以通过增加云计算节点的方式进一步提高，具有较高的扩展性。本专利技术所采用的技术方案是：一种基于云计算的遥感卫星数据解压缩处理系统，包括输入格式组件、分块读取组件、数据划分组件、解压缩Mapper组件、解压缩Shuffle组件、解压缩Reducer组件、原始数据解压缩组件、图像拼接组件；输入格式组件：根据设置的原始数据分块大小和位置，将原始数据切割成分块数据，调用分块读取组件，生成可供解压缩Mapper组件处理的原始分块数据键值对<key,value>，并分发至各个Map处理节点；数据划分组件：记录各个原始分块数据的大小和位置；分块读取组件：根据原始分块数据，生成key值和value值，组合成原始分块数据键值对<key,value>；解压缩Mapper组件：接收原始分块数据键值对，进行数据提取操作，同时调用原始数据解压缩组件，将原始分块数据解压缩，生成图像块数据，并将其重新组织成键值对<key,value>的形式；解压缩Shuffle组件：接收图像块数据键值对，按照图像幅号以及幅内块号进行排序，输出至解压缩Reducer组件；解压缩Reducer组件：接收排序后的图像块数据，调用图像拼接组件进行图像数据的拼接、辅助数据恢复和数据校验；原始数据解压缩组件：以原始分块数据为单位进行数据解压缩，输出解压缩后数据；图像拼接组件：将具有同一幅号的图像块和辅助数据块按照块号进行排序，并进行拼接，最终形成符合卫星数据格式规范的图像数据和辅助数据。一种基于云计算的遥感卫星数据解压缩处理方法，包括步骤如下：(1)根据每颗遥感卫星的原始数据格式特征，确定用于并行计算的输入数据分块长度，调用数据划分组件，生成原始数据分割信息描述文件；(2)根据输入的原始数据分割信息描述文件，调用输入格式组件、分块读取组件、数据划分组件，进行原始数据的划分，将原始数据分割为原始分块数据键值对<key,value>的集合，同时分配各原始分块数据存储的数据节点；(3)Hadoop平台根据各Map节点的负载与原始分块数据的存储位置，将各个原始分块数据键值对分配至最优的Map处理节点进行运算；(4)各解压缩Mapper组件处理原始分块数据键值对，进行数据提取操作，同时调用原始数据解压缩组件，将原始分块数据解压缩，生成图像块数据，并重新组合成图像块数据键值对<key,value>的形式，处理结果以数据流的方式传输到解压缩Shuffle组件；如果节点出现异常错误，则调度到其他节点重新运算；(5)解压缩Shuffle组件接收数据流，按照图像幅号以及幅内块号将键值对排序后，以数据流的方式传输至各解压缩Reducer组件；(6)各解压缩Reducer组件将具有同一幅号的图像块和辅助数据块按照块号进行排序，对同一幅号的图像数据和辅助数据进行拼接，同时进行校验，最后生成遥感卫星各个类型传感器完整的图像数据和辅助数据。分割信息描述文件结构如下：<split><id>分块序号</id><start>起始坐标</start><end>结束坐标</end></split>其中，id为数据分块序号，start为数据分块起始字节值，end为数据分块结束字节值。所述输入格式组件：根据设置的原始数据分块大小和位置，将原始数据切割成分块数据，调用分块读取组件，生成可供解压缩Mapper组件处理的原始分块数据键值对<key,value>，并分发至各个Map处理节点。所述数据划分组件：记录各个原始分块数据的大小和位置。所述分块读取组件：根据原始分块数据，生成key值和value值，组合成原始分块数据键值对<key,value>。本专利技术与现有技术相比的优点在于：(1)本专利技术利用云计算技术，将大规模的遥感卫星原始数据划分为可并行处理的数据分块，进行高速并行解压缩处理，由于并行处理的数据量小，处理时间远小于常规的单步流程处理时间，大幅度提高了数据处理的时效性。(2)本专利技术将每个数据分块分配至云计算集群不同的服务器节点进行解压缩处理，大大降低了每台服务器节点的运算量，系统稳定性及可靠性大幅提高。(3)本专利技术通过增加云计算集群服务器节点的方式可提高系统性能，具有较高的扩展性。本专利技术经过多颗遥感卫星数据的测试，本专利技术算法解压缩性能完全可以满足未来遥感卫星海量原始数据对解压缩时效性和稳定性的需求。(4)本专利技术按照遥感数据分割描述文件与数据压缩帧格式对各传感器图像原始数据进行并行粒度划分，使其能够并行处理；采用优化后的Map-Reduce计算模型对分割后的原始数据分块进行高速并行解压缩处理，一个传感器图像数据可由多个节点并行解压缩处理，依次完成数据解压缩、图像数据排序、图像数据拼接，形成完整的图像数据。附图说明图1为基于云计算的高性能解压缩算法模块图；图2为基于云计算的遥感卫星解压缩方法流程图。具体实施方式下面结合附图对本专利技术进行进一步说明。先定义本专利技术涉及的概念。云计算：云计算的核心思想为“分而治之”，通过将海量数据细分为M份，映射到M个节点进行计算，期间经历数据的迭代运算，汇总中间数据到N个节点计算最终结果，利用大规模数据并行加速程序运行。MapReduce模型：MapReduce是一种编程模型，用于大规模数据集的并行计算本文档来自技高网...

【技术保护点】
1.一种基于云计算的遥感卫星数据解压缩处理系统，其特征在于，包括输入格式组件、分块读取组件、数据划分组件、解压缩Mapper组件、解压缩Shuffle组件、解压缩Reducer组件、原始数据解压缩组件、图像拼接组件；/n输入格式组件：根据设置的原始数据分块大小和位置，将原始数据切割成分块数据，调用分块读取组件，生成可供解压缩Mapper组件处理的原始分块数据键值对<key,value>，并分发至各个Map处理节点；/n数据划分组件：记录各个原始分块数据的大小和位置；/n分块读取组件：根据原始分块数据，生成key值和value值，组合成原始分块数据键值对<key,value>；/n解压缩Mapper组件：接收原始分块数据键值对，进行数据提取操作，同时调用原始数据解压缩组件，将原始分块数据解压缩，生成图像块数据，并将其重新组织成键值对<key,value>的形式；/n解压缩Shuffle组件：接收图像块数据键值对，按照图像幅号以及幅内块号进行排序，输出至解压缩Reducer组件；/n解压缩Reducer组件：接收排序后的图像块数据，调用图像拼接组件进行图像数据的拼接、辅助数据恢复和数据校验；/n原始数据解压缩组件：以原始分块数据为单位进行数据解压缩，输出解压缩后数据；/n图像拼接组件：将具有同一幅号的图像块和辅助数据块按照块号进行排序，并进行拼接，最终形成符合卫星数据格式规范的图像数据和辅助数据。/n...

【技术特征摘要】
1.一种基于云计算的遥感卫星数据解压缩处理系统，其特征在于，包括输入格式组件、分块读取组件、数据划分组件、解压缩Mapper组件、解压缩Shuffle组件、解压缩Reducer组件、原始数据解压缩组件、图像拼接组件；
输入格式组件：根据设置的原始数据分块大小和位置，将原始数据切割成分块数据，调用分块读取组件，生成可供解压缩Mapper组件处理的原始分块数据键值对<key,value>，并分发至各个Map处理节点；
数据划分组件：记录各个原始分块数据的大小和位置；
分块读取组件：根据原始分块数据，生成key值和value值，组合成原始分块数据键值对<key,value>；
解压缩Mapper组件：接收原始分块数据键值对，进行数据提取操作，同时调用原始数据解压缩组件，将原始分块数据解压缩，生成图像块数据，并将其重新组织成键值对<key,value>的形式；
解压缩Shuffle组件：接收图像块数据键值对，按照图像幅号以及幅内块号进行排序，输出至解压缩Reducer组件；
解压缩Reducer组件：接收排序后的图像块数据，调用图像拼接组件进行图像数据的拼接、辅助数据恢复和数据校验；
原始数据解压缩组件：以原始分块数据为单位进行数据解压缩，输出解压缩后数据；
图像拼接组件：将具有同一幅号的图像块和辅助数据块按照块号进行排序，并进行拼接，最终形成符合卫星数据格式规范的图像数据和辅助数据。


2.一种基于云计算的遥感卫星数据解压缩处理方法，其特征在于，包括步骤如下：
(1)根据每颗遥感卫星的原始数据格式特征，确定用于并行计算的输入数据分块长度，调用数据划分组件，生成原始数据分割信息描述文件；
(2)根据输入的原始数据分割信息描述文件，调用输入格式组件、分块读取组件、数据划分组件，进行原始数据的划分，将原始数据分割为原始分块数据键值对<key,value>的集合，同时分配各原始分块数据存储的数据节点；
(3)Hadoop平台根据各Map节点的负载与原始分块数据的存储位置，将各个原始分块数据键值对分配至最优的Map处...

【专利技术属性】
技术研发人员：王海波，邓超，王冰冰，齐建超，吴郡，赵亮，
申请(专利权)人：中国资源卫星应用中心，
类型：发明
国别省市：北京;11