卫星数据处理方法及系统技术方案

一种卫星数据处理方法及系统，方法包括：对卫星数据二进制码流进行处理，得到多个传输帧流；对多个传输帧流进行分类，根据分类结果对不同类型的传输帧流进行分类并行处理，得到多个源包流；提取多个源包流的源包数据域，得到多个源包数据单元流；按源包类型对多个源包数据单元流进行分类，根据分类结果对不同类型的源包数据单元流进行分类并行处理，生成产品数据文件。该方法将传统单一节点的数据内存计算转变为多任务数据内存计算，且无需中间结果保存，缩短了数据处理时间，获得了更好的实时处理性能。该系统具有可扩展性和高可靠性，满足数据处理能力和计算节点规模的增长，能快速定位系统瓶颈，开展系统优化设计。

Satellite data processing method and system

【技术实现步骤摘要】
卫星数据处理方法及系统
本专利技术涉及数据处理领域，尤其涉及一种卫星数据处理方法及系统。
技术介绍
国际空间数据系统咨询委员会(ConsultativeCommitteeforSpaceDataSystems，CCSDS)建立了一整套空间数据标准，因其数据管理的灵活性和信道利用的高效性，空间科学卫星等很多卫星都采用了CCSDS遥测遥控建议的标准数据格式。卫星数据处理过程要求不间断、数据吞吐率高并且数据处理延迟低。随着卫星载荷观测能力的增强和卫星地面接收能力的提高，单次卫星下传数据量急剧增长，而产品生成与分发时效性要求仍保持不变，卫星数据地面应用系统面临大数据实时处理的挑战。现有卫星数据处理方法采用数据驱动的批量计算模式，首先进行从卫星原始数据到源包数据的预处理，生成源包数据文件作为后续各级产品生产流程的输入数据，数据预处理和产品生产两个处理过程流水并行处理，如图1所示，处理节点间通过网络共享存储数据文件进行数据交互。现有方法采用“计算-存储中间数据-计算”的模式，存在一些技术缺陷：当卫星数据接收量增大时，预处理节点的数据处理延迟增大，生本文档来自技高网...

【技术保护点】
1.一种卫星数据处理方法，其特征在于，包括：/nS1，对所述卫星数据的二进制码流进行处理，得到多个传输帧流；/nS2，对所述多个传输帧流进行分类，根据分类结果对不同类型的传输帧流进行分类并行处理，得到多个源包流；/nS3，提取所述多个源包流的源包数据域，得到多个源包数据单元流；/nS4，按源包类型对所述多个源包数据单元流进行分类，根据分类结果对不同类型的源包数据单元流进行分类并行处理，生成产品数据文件。/n

【技术特征摘要】
1.一种卫星数据处理方法，其特征在于，包括：
S1，对所述卫星数据的二进制码流进行处理，得到多个传输帧流；
S2，对所述多个传输帧流进行分类，根据分类结果对不同类型的传输帧流进行分类并行处理，得到多个源包流；
S3，提取所述多个源包流的源包数据域，得到多个源包数据单元流；
S4，按源包类型对所述多个源包数据单元流进行分类，根据分类结果对不同类型的源包数据单元流进行分类并行处理，生成产品数据文件。


2.根据权利要求1所述的卫星数据处理方法，其特征在于，每种类型的传输帧流对应一虚拟信道标识，根据所述虚拟信道标识符对所述多个传输帧流进行分类。


3.根据权利要求1所述的卫星数据处理方法，其特征在于，根据分类结果对不同类型的传输帧流进行分类并行处理包括：
针对于每一类型的传输帧流，解析传输帧头信息，根据虚拟信道标识进行提取源包处理。


4.根据权利要求1所述的卫星数据处理方法，其特征在于，按照应用过程标识符提取所述多个源包流的源包数据域。


5.根据权利要求1所述的卫星数据处理方法，其特征在于，所述根据分类结果对不同类型的源包数据单元流进行分类并行处理，生成产品数据文件，包括：
按照源包计数进行排序、拼接和去重处理，以预设格式输出文件，生成不同APID的源包产品数据文件。


6.根据权利要求1所述的卫星数据处理方法，其特征在于，所述传输帧流包括帧同步字、传输帧主导头、位流业务协议数据单元和校验填充字段；
所述源包流包括同步码、应用过程标识符、分组标志、包序列计数、包数据长度、时间码、包装协议数据单元及填充字段；
所述源包数据单元流包括一个或者多个相同源包类型的包装协议数据单元。


7.根据权利要求1所述的卫星数据处...

【专利技术属性】
技术研发人员：孙小涓，胡玉新，石涛，李冰，杨晓艳，
申请(专利权)人：中国科学院电子学研究所，
类型：发明
国别省市：北京;11