卫星成像数据存储及提取方法技术

本发明专利技术提供一种卫星成像数据存储及提取方法，存储方法包括：获取原始压缩码流数据；对原始压缩码流数据进行解压缩，得到原始观测数据；对原始观测数据进行分段，得到编目段格式化数据；根据编目段格式化数据，按幅计数对原始压缩码流数据进行提取，得到编目压缩码流数据；存储编目压缩码流数据到第一存储系统；以及删除原始压缩码流数据、原始观测数据和编目段格式化数据。本发明专利技术的方法，在保证数据质量、提取分发效率的基础上，需要存储的数据量小，大大降低了卫星成像数据的存储成本。大大降低了卫星成像数据的存储成本。大大降低了卫星成像数据的存储成本。

【技术实现步骤摘要】
卫星成像数据存储及提取方法


[0001]本专利技术涉及卫星遥感数据管理
，尤其涉及一种卫星成像数据存储及提取方法。

技术介绍

[0002]随着我国高分辨成像卫星技术的发展，对卫星数据产品的存储带来了巨大的挑战。以某高分光学卫星为例，当卫星载荷满负荷成像且载荷数据压缩比1：4时，不考虑DOM、DSM、专题图等高级产品存储需求，每颗高分卫星每天需要80.73TB存储资源。为了满足各级产品对不同用户永久服务和快速分发的需求，如果对所有原始码流数据到2级产品数据进行永久存储，则一颗高分卫星8年寿命期内需要230.21PB存储资源。若卫星寿命期间1PB存储资源的购买、维护平均成本为200万元，则每颗高分卫星仅存储资源经费就需要4.6亿元，远远超过了地面系统建设经费。
[0003]为了节约成本及快速提供服务，现有技术在数据存储类型方面，一般选择永久存储某几类数据产品，减少需要存储的数据大小。例如仅永久存储原始码流数据、1级产品数据、编目数据等，以及在存储系统设计和策略方面，通过不同硬件基础设施构建异构存储系统来降低成本。
[0004]然而，由于通讯建链等原因，卫星会下传大量空帧数据，进而产生大量无效数据。从原始码流数据回迁到编目格式化全链路处理过程中，数据使用率也极低。同时，采用大量存储资源存储编目格式化数据，对历史数据生产效率提升也不明显。而采用分级存储的方案，需要采购大量不同类型的存储设备，如磁带库等，会占据大量的设备安装空间，导致运行维护成本大。同时，由于不同硬件设备本身性能约束，数据写入和导出的速率不高，会制约历史数据的快速导出、产品生产与分发。

技术实现思路

[0005]（一）要解决的技术问题针对现有的技术问题，本专利技术提供一种卫星成像数据存储及提取方法，用于至少部分解决以上技术问题。
[0006]（二）技术方案本专利技术提供一种卫星成像数据存储方法，包括：获取原始压缩码流数据；对原始压缩码流数据进行解压缩，得到原始观测数据；对原始观测数据进行分段，得到编目段格式化数据；根据编目段格式化数据，按幅计数对原始压缩码流数据进行提取，得到编目压缩码流数据；存储编目压缩码流数据到第一存储系统；以及删除原始压缩码流数据、原始观测数据和编目段格式化数据。
[0007]可选地，原始压缩码流数据包括原始压缩码流图像，对原始压缩码流数据进行解压缩，得到原始观测数据包括：从原始压缩码流数据中提取原始压缩码流图像；对原始压缩码流图像进行解压缩，得到多行原始图像数据；从原始压缩码流数据中提取辅助数据，辅助
数据包括原始压缩码流图像的幅计数与原始观测数据的行计数的对应关系；以及根据多行原始图像数据和辅助数据，得到原始观测数据。
[0008]可选地，对原始观测数据进行分段，得到编目段格式化数据包括：确定成像任务的任务时段；确定原始观测数据的第一行数据时段；以及根据任务时段和第一行数据时段，对原始观测数据进行分段，得到与成像任务相对应的编目段格式化数据；或者判断任务时段与第一行数据时段的包含关系；在第一行数据时段不完全包含任务时段的情况下，确定多个原始观测数据的第二行数据时段；对与第二行数据时段相对应的多个原始观测数据进行去重拼接，得到编目段格式化数据；其中，在对与第二行数据时段相对应的多个原始观测数据进行去重拼接的情况下，卫星成像数据存储方法还包括：确定去重拼接信息；根据去重拼接信息，确定第一编目段元数据；存储第一编目段元数据；其中，去重拼接信息包括：拼接前的多个原始观测数据的开始行行计数、开始行对应幅计数、开始行对应寻址位置、结束行行计数、结束行对应幅计数以及结束行对应寻址位置；以及拼接后的编目段格式化数据的开始行行计数、开始行对应幅计数、结束行行计数以及结束行对应幅计数。
[0009]可选地，卫星成像数据存储方法还包括：对编目段格式化数据进行逻辑分块，得到编目景元数据；确定编目段格式化数据、编目景元数据与编目压缩码流数据的联合编目信息；存储编目景元数据和联合编目信息；其中，编目景元数据包括：景开始行行计数、景开始行对应幅计数、景结束行行计数以及景结束行对应幅计数；联合编目信息包括编目段格式化数据的段开始行行号、段开始行行计数、段开始行与编目压缩码流数据的对应幅计数、段结束行行号、段结束行行计数、段结束行与编目压缩码流数据的对应幅计数以及编目景元数据的景开始行行号、景开始行行计数、景开始行与编目压缩码流数据的对应幅计数、景结束行行号、景结束行行计数、景结束行与编目压缩码流数据的对应幅计数。
[0010]可选地，卫星成像数据存储方法还包括：对编目段格式化数据进行行完整性检查；在编目段格式化数据的行数不完整的情况下，对编目段格式化数据进行补帧；和/或对编目段格式化数据进行行连续性检查；在编目段格式化数据的行数不连续的情况下，对编目段格式化数据进行行计数修复；以及根据补帧信息和/或行计数修复信息，得到编目段帧修复报告；存储编目段帧修复报告；其中，补帧信息包括：补帧次数、每次补帧行数、补帧开始行行计数、补帧开始行对应幅计数、补帧结束行行计数和补帧结束行对应幅计数；行计数修复信息包括：行计数跳变次数、每次行计数跳变修复行的行号、行计数和修复行对应幅计数。
[0011]可选地，根据编目段格式化数据，按幅计数对原始压缩码流数据进行提取，得到编目压缩码流数据包括：确定编目段格式化数据的第二编目段元数据，其中，第二编目段元数据包括编目段格式化数据的开始行行计数、开始行对应幅计数、开始行对应寻址位置、结束行行计数、结束行对应幅计数以及结束行对应寻址位置；根据第二编目段元数据，对原始压缩码流数据进行提取，得到编目压缩码流数据。
[0012]可选地，根据编目段格式化数据，按幅计数对原始压缩码流数据进行提取，得到编目压缩码流数据包括：确定与多个原始观测数据相对应的多个原始压缩码流数据；对多个原始压缩码流数据进行去重拼接，得到编目压缩码流数据。
[0013]可选地，卫星成像数据存储方法还包括：根据补帧信息和/或行计数修复信息，确定编目段格式化数据的变更行数据；对变更行数据进行压缩后，编码得到修复的编目压缩码流数据。
[0014]可选地，删除原始压缩码流数据、原始观测数据和编目段格式化数据包括：分别设置原始压缩码流数据、原始观测数据和编目段格式化数据的存储周期和水线阈值；根据存储周期和水线阈值，对原始压缩码流数据、原始观测数据和编目段格式化数据进行删除。
[0015]可选地，卫星成像数据存储方法还包括：存储编目压缩码流数据到一个或多个第二存储系统；删除第一存储系统中的数据；其中，第一存储系统的读写速度大于第二存储系统，和/或第一存储系统的存储容量大于第二存储系统。
[0016]本专利技术另一方面提供一种卫星成像数据提取方法，应用于提取采用本专利技术实施例任一项方法存储的编目压缩码流数据，包括：读取编目压缩码流数据；对编目压缩码流数据进行同步解压缩，得到编目段格式化数据。
[0017]可选地，卫星成像数据提取方法还包括：采用数据流、缓存堆栈和文件中的任一种或多种方式，对编目段格式化数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卫星成像数据存储方法，其特征在于，包括：获取原始压缩码流数据；对所述原始压缩码流数据进行解压缩，得到原始观测数据；对所述原始观测数据进行分段，得到编目段格式化数据；根据所述编目段格式化数据，按幅计数对所述原始压缩码流数据进行提取，得到编目压缩码流数据；存储所述编目压缩码流数据到第一存储系统；以及删除所述原始压缩码流数据、所述原始观测数据和所述编目段格式化数据。2.根据权利要求1所述的方法，其特征在于，所述原始压缩码流数据包括原始压缩码流图像，所述对所述原始压缩码流数据进行解压缩，得到原始观测数据包括：从所述原始压缩码流数据中提取所述原始压缩码流图像；对所述原始压缩码流图像进行解压缩，得到多行原始图像数据；从所述原始压缩码流数据中提取辅助数据，所述辅助数据包括所述原始压缩码流图像的幅计数与所述原始观测数据的行计数的对应关系；以及根据所述多行原始图像数据和所述辅助数据，得到所述原始观测数据。3.根据权利要求1所述的方法，其特征在于，所述对所述原始观测数据进行分段，得到编目段格式化数据包括：确定成像任务的任务时段；确定所述原始观测数据的第一行数据时段；根据所述任务时段和所述第一行数据时段，对所述原始观测数据进行分段，得到与所述成像任务相对应的编目段格式化数据；或者判断所述任务时段与所述第一行数据时段的包含关系；在所述第一行数据时段不完全包含所述任务时段的情况下，确定多个所述原始观测数据的第二行数据时段；对与所述第二行数据时段相对应的多个所述原始观测数据进行去重拼接，得到所述编目段格式化数据；其中，在对与所述第二行数据时段相对应的多个所述原始观测数据进行去重拼接的情况下，方法还包括：确定去重拼接信息；根据所述去重拼接信息，确定第一编目段元数据；存储所述第一编目段元数据；其中，所述去重拼接信息包括：拼接前的多个所述原始观测数据的开始行行计数、开始行对应幅计数、开始行对应寻址位置、结束行行计数、结束行对应幅计数以及结束行对应寻址位置；以及拼接后的所述编目段格式化数据的开始行行计数、开始行对应幅计数、结束行行计数以及结束行对应幅计数。4.根据权利要求3所述的方法，其特征在于，还包括：对所述编目段格式化数据进行逻辑分块，得到编目景元数据；确定所述编目段格式化数据、所述编目景元数据与所述编目压缩码流数据的联合编目
信息；存储所述编目景元数据和所述联合编目信息；其中，所述编目景元数据包括：景开始行行计数、景开始行对应幅计数、景结束行行计数以及景结束行对应幅计数；所述联合编目信息包括所述编目段格式化数据的段开始行行号、段开始行行计数、段开始行与所述编目压缩码流数据的对应幅计数、段结束行行号、段结束行行计数、段结束行与所述编目压缩码流数据的对应幅计数以及所述编目景元数据的景开始行行号、景开始行行计数、景开始行与所述编目压缩码流数据的对应幅计数、景结束行行号、景结束行行计数、景结束行与所述编目...

【专利技术属性】
技术研发人员：李建忠，龙辉，史振伟，黄博学，张铁军，金婷婷，李铮，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：