卫星数据处理方法及系统技术方案

一种卫星数据处理方法及系统，方法包括：对卫星数据二进制码流进行处理，得到多个传输帧流；对多个传输帧流进行分类，根据分类结果对不同类型的传输帧流进行分类并行处理，得到多个源包流；提取多个源包流的源包数据域，得到多个源包数据单元流；按源包类型对多个源包数据单元流进行分类，根据分类结果对不同类型的源包数据单元流进行分类并行处理，生成产品数据文件。该方法将传统单一节点的数据内存计算转变为多任务数据内存计算，且无需中间结果保存，缩短了数据处理时间，获得了更好的实时处理性能。该系统具有可扩展性和高可靠性，满足数据处理能力和计算节点规模的增长，能快速定位系统瓶颈，开展系统优化设计。

Satellite data processing method and system

【技术实现步骤摘要】
卫星数据处理方法及系统
本专利技术涉及数据处理领域，尤其涉及一种卫星数据处理方法及系统。
技术介绍
国际空间数据系统咨询委员会(ConsultativeCommitteeforSpaceDataSystems，CCSDS)建立了一整套空间数据标准，因其数据管理的灵活性和信道利用的高效性，空间科学卫星等很多卫星都采用了CCSDS遥测遥控建议的标准数据格式。卫星数据处理过程要求不间断、数据吞吐率高并且数据处理延迟低。随着卫星载荷观测能力的增强和卫星地面接收能力的提高，单次卫星下传数据量急剧增长，而产品生成与分发时效性要求仍保持不变，卫星数据地面应用系统面临大数据实时处理的挑战。现有卫星数据处理方法采用数据驱动的批量计算模式，首先进行从卫星原始数据到源包数据的预处理，生成源包数据文件作为后续各级产品生产流程的输入数据，数据预处理和产品生产两个处理过程流水并行处理，如图1所示，处理节点间通过网络共享存储数据文件进行数据交互。现有方法采用“计算-存储中间数据-计算”的模式，存在一些技术缺陷：当卫星数据接收量增大时，预处理节点的数据处理延迟增大，生成源包数据文件时间延长，导致产品生产延迟增大，实时性不高，一旦缓存数据量超过内存占用上限，数据将无法正常接收，造成数据缺失；数据预处理为单一节点，难以扩展到分布式计算环境，现有方法不支持卫星数据处理规模的扩展；数据预处理生成的中间结果需保存到外部存储，通过网络共享给产品生产节点，中间结果的保存增加了数据处理的延迟。
技术实现思路
(一)要解决的技术问题>针对于现有的技术问题，本专利技术提出一种卫星数据处理方法及系统，用于解决至少部分解决上述技术问题之一。(二)技术方案本专利技术一方面提供一种卫星数据处理方法，包括：S1，对卫星数据的二进制码流进行处理，得到多个传输帧流；S2，对多个传输帧流进行分类，根据分类结果对不同类型的传输帧流进行分类并行处理，得到多个源包流；S3，提取多个源包流的源包数据域，得到多个源包数据单元流；S4，按源包类型对多个源包数据单元流进行分类，根据分类结果对不同类型的源包数据单元流进行分类并行处理，生成产品数据文件。可选地，每种类型的传输帧流对应一虚拟信道标识，根据虚拟信道标识符对多个传输帧流进行分类。可选地，针对于每一类型的传输帧流，解析传输帧头信息，根据虚拟信道标识提取源包。可选地，根据分类结果对不同类型的源包数据单元流进行分类并行处理，生成产品数据文件，包括：按照源包计数进行排序、拼接和去重处理，以预设格式输出文件，生成不同APID的源包产品数据文件。可选地，对二进制码流进行处理包括：对二进制码流进行帧同步、解扰和译码，纠正二进制码流中的误码。可选地，按照应用过程标识符提取多个源包流的源包数据域。可选地，传输帧流包括帧同步字、传输帧主导头、位流业务协议数据单元和校验填充字段；源包流包括同步码、应用过程标识符、分组标志、包序列计数、包数据长度、时间码、包装协议数据单元及填充字段；源包数据单元流包括一个或者多个相同源包类型的包装协议数据单元。本专利技术另一方面提供一种卫星数据处理系统，卫星数据处理系统基于流计算框架Storm搭建，包括：控制节点、至少一个工作节点及状态协调集群节点，状态协调集群节点连接至控制节点，至少一个工作节点连接至状态协调集群节点；控制节点用于分配执行程序及卫星数据处理任务至至少一个工作节点，并监视至少一个工作节点；至少一个工作节点用于执行卫星数据处理任务，根据不同的虚拟信道类型和不同源包类型，对卫星数据进行分类并行处理，生成产品数据文件；状态协调集群节点用于收集工作节点的任务执行状态信息，同步工作节点的执行状态信息。可选地，每个工作节点部署组件包括：帧同步组件、虚拟信道分离组件、源包数据提取组件及产品生成组件；帧同步组件用于对卫星数据进行帧同步、解扰和译码，纠正卫星数据中的误码，得到多个传输帧流；虚拟信道分离组件用于根据虚拟信道标识符对得到多个传输帧流进行分类，根据分类结果对不同类型的传输帧流进行分类并行处理，得到多个源包流；源包数据提取组件用于按照应用过程标识符提取多个源包流的源包数据域，得到多个源包数据单元流；产品生成组件用于根据不同源包类型对多个源包数据单元流进行分类，根据分类结果对不同类型的源包数据单元流进行分类并行处理，生成产品数据文件。可选地，状态协调集群节点还用于根据控制节点及工作节点的状态信息对控制节点及工作节点的故障进行恢复。(三)有益效果本专利技术提出一种卫星数据处理方法及系统，有益效果为：1、根据最小细粒度，对卫星数据进行分类，对分类后的数据进行分类并行计算，将现有技术中的单一节点的数据内存计算转变为多任务数据内存计算，缩短了数据处理时间，获得了更好的实时处理性能。2、该方法及系统对卫星数据进行处理时，无需中间结果保存，缩短了数据存储开销，获得了更好的实时处理性能。3、该系统具有可扩展性和高可靠性，从系统架构上满足了数据处理能力和计算节点规模的增长，且卫星数据实时处理评价机制的设计，解决了系统设计缺少目标，设计优化无从着手的问题，选取影响系统性能的关键指标进行定量评价，便于快速定位系统瓶颈，开展系统优化设计。附图说明图1示意性示出了现有技术中卫星数据处理方法流程图。图2示意性示出了本专利技术实施例卫星数据处理方法流程图。图3示意性示出了本专利技术实施例卫星数据处理系统框图。【附图标记】1-帧同步组件2-虚拟信道分离组件3-源包数据提取组件4-产品生成组件401-产品1生成组件402-产品2生成组件具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。本专利技术基于流计算框架Storm实现卫星数据的实时处理，流计算是近年来的一个研究热点，它在分布式计算节点上将数据流在内存中实时计算，具有低延迟、高吞吐率且持续运行的特点。本专利技术与现有技术不同之处在于：现有技术从读取卫星原始数据到生成源包数据文件是内存计算；本专利技术从读取卫星原始数据到生成各级产品数据文件是内存计算，不保存中间结果，根据卫星原始数据的特点，重新设计数据流和任务拓扑结构，实现了针对源包数据的细粒度并行处理，使数据处理和产品生成延迟大幅缩短，同时并发数据处理任务可在多节点动态调整，能够适应分布式计算的要求。下面以CCSDS标准卫星数据实时流处理为例，从基于流计算框架Storm实现卫星数据实时处理软件的流程、基于流计算框架Storm的卫星数据实时处理计算环境和基于流计算框架Storm的卫星数据实时处理评价机制三个方面具体介绍。本专利技术实施例一方面提出一种卫星数据的处理方法，根据卫星数据处理特点，分析数据流在处理过程中的转换，以原始数据二进制码、传输帧、源包和源包数据单元为数据处理基本数据流，定义可并行处理的数据单元或元组。虚拟信道标识符(VirtualChannelIDentifier，本文档来自技高网...

【技术保护点】
1.一种卫星数据处理方法，其特征在于，包括：/nS1，对所述卫星数据的二进制码流进行处理，得到多个传输帧流；/nS2，对所述多个传输帧流进行分类，根据分类结果对不同类型的传输帧流进行分类并行处理，得到多个源包流；/nS3，提取所述多个源包流的源包数据域，得到多个源包数据单元流；/nS4，按源包类型对所述多个源包数据单元流进行分类，根据分类结果对不同类型的源包数据单元流进行分类并行处理，生成产品数据文件。/n

【技术特征摘要】
1.一种卫星数据处理方法，其特征在于，包括：
S1，对所述卫星数据的二进制码流进行处理，得到多个传输帧流；
S2，对所述多个传输帧流进行分类，根据分类结果对不同类型的传输帧流进行分类并行处理，得到多个源包流；
S3，提取所述多个源包流的源包数据域，得到多个源包数据单元流；
S4，按源包类型对所述多个源包数据单元流进行分类，根据分类结果对不同类型的源包数据单元流进行分类并行处理，生成产品数据文件。


2.根据权利要求1所述的卫星数据处理方法，其特征在于，每种类型的传输帧流对应一虚拟信道标识，根据所述虚拟信道标识符对所述多个传输帧流进行分类。


3.根据权利要求1所述的卫星数据处理方法，其特征在于，根据分类结果对不同类型的传输帧流进行分类并行处理包括：
针对于每一类型的传输帧流，解析传输帧头信息，根据虚拟信道标识进行提取源包处理。


4.根据权利要求1所述的卫星数据处理方法，其特征在于，按照应用过程标识符提取所述多个源包流的源包数据域。


5.根据权利要求1所述的卫星数据处理方法，其特征在于，所述根据分类结果对不同类型的源包数据单元流进行分类并行处理，生成产品数据文件，包括：
按照源包计数进行排序、拼接和去重处理，以预设格式输出文件，生成不同APID的源包产品数据文件。


6.根据权利要求1所述的卫星数据处理方法，其特征在于，所述传输帧流包括帧同步字、传输帧主导头、位流业务协议数据单元和校验填充字段；
所述源包流包括同步码、应用过程标识符、分组标志、包序列计数、包数据长度、时间码、包装协议数据单元及填充字段；
所述源包数据单元流包括一个或者多个相同源包类型的包装协议数据单元。


7.根据权利要求1所述的卫星数据处...

【专利技术属性】
技术研发人员：孙小涓，胡玉新，石涛，李冰，杨晓艳，
申请(专利权)人：中国科学院电子学研究所，
类型：发明
国别省市：北京;11