【技术实现步骤摘要】
一种基于大数据的星载磁场数据处理系统
本专利技术涉及磁数据处理的
，尤其涉及一种基于大数据的星载磁场数据处理系统。
技术介绍
目前已有越来越多的卫星配置了磁场测量设备，特别是低轨卫星中的高采样率磁场传感器设备每天24小时长期运行，由于采样率高，每天将产生大量的磁场数据，以每颗星配置一个128Hz采样率的磁场传感器为例，多个探头同时采集时每帧的数据量可达60多个字节，因此每秒的数据量约为7.5KB，每天的数据量约为633MB的数据量，24颗小卫星每天产生的数量将超过15GB，再加上卫星姿态等多种辅助数据，长期运行后，需要处理的星载磁数据量将是非常庞大。因此，采用常规的磁场数据处理方式对如此庞大的数据量进行处理，将存在效率极低的问题，将不能满足自动处理要求，需要开发一种新的数据处理系统，以处理庞大的星载磁数据。
技术实现思路
本申请实施例通过提供一种基于大数据的星载磁场数据处理系统，解决了现有技术中随着星载磁数据量的日益增大，常规的磁场数据处理方式存在的效率低的问题。本申请通过本申请的一...
【技术保护点】
1.一种基于大数据的星载磁场数据处理系统，其特征在于，包括：/n数据传输模块、数据预处理模块、数据导入模块、数据存储管理模块、数据标定模块、数据应用模块，其中，/n所述数据传输模块，用于将从卫星站接收的数据文件传送给所述数据预处理模块，其中，所述数据文件包括多个卫星对应的数据记录，单个卫星对应的数据记录包括所述卫星的多条星载磁场数据、所述卫星的辅助数据及所属信息，所述星载磁场数据包括星上时间戳，所述所属信息包括卫星编号或设备编号；/n所述数据预处理模块，包括一个预处理管道和多个预处理节点，所述预处理管道用于接收所述数据文件，并基于负载均衡策略将所述数据文件内的所述每条星载磁...
【技术特征摘要】
1.一种基于大数据的星载磁场数据处理系统，其特征在于，包括：
数据传输模块、数据预处理模块、数据导入模块、数据存储管理模块、数据标定模块、数据应用模块，其中，
所述数据传输模块，用于将从卫星站接收的数据文件传送给所述数据预处理模块，其中，所述数据文件包括多个卫星对应的数据记录，单个卫星对应的数据记录包括所述卫星的多条星载磁场数据、所述卫星的辅助数据及所属信息，所述星载磁场数据包括星上时间戳，所述所属信息包括卫星编号或设备编号；
所述数据预处理模块，包括一个预处理管道和多个预处理节点，所述预处理管道用于接收所述数据文件，并基于负载均衡策略将所述数据文件内的所述每条星载磁场数据分发给所述多个预处理节点，所述预处理节点，基于所述星上时间戳及所述所属信息，对所述星载磁场数据进行预处理，经过预处理后的所述星载磁场数据包括所述所属信息和所述星上时间戳对应的地面时间信息；
所述数据导入模块，用于将所述预处理后的星载磁场数据导入所述数据存储管理模块；
所述数据标定模块，包括调度子模块和多个标定节点，调度子模块，用于自动定时地启动标定处理任务，以使所述多个标定节点，基于所述负载均衡策略从所述数据存储管理模块中，获取所述预处理后的星载磁场数据及对应的所述辅助数据进行标定，将标定后的所述星载磁场数据存入所述数据存储管理模块；
所述数据存储管理模块，包括：分布式数据库和/或时间序列数据库，所述分布式数据库基于所述所属信息和所述地面时间信息对所述预处理后的星载磁场数据及所述标定后的星载磁场数据进行分区，所述时间序列数据库基于时间的顺序变化对所述预处理后的星载磁场数据及所述标定后的星载磁场数据进行排序；
所述数据应用模块，基于所述数据存储管理模块中的所述预处理后的星载磁场数据和/或所述标定后的星载磁场数据，输出目标服务。
2.如权利要求1所述的星载磁场数据处理系统，其特征在于，所述数据传输模块包括：
位于地面接收站的发送模块，用于从所述卫星站接收所述数据文件，将所述数据文件划分为多个第一数据子文件后，将每个所述第一数据子文件发送给接收模块；
位于数据处理中心的所述接收模块，用于接收所述每个第一数据子文件，并将所述第一数据子文件发送给所述预处理管道。
3.如权利要求2所述的星载磁场数据处理系统，其特征在于，
所述发送模块，还用于每发送完一个所述第一数据子文件后，将所述第一数据子文件的属性信息记录到key-value数据库，所述属性信息包括文件名称、大小、传输状态，并在发送下一个所述第一数据子文件之前，对所述key-value数据库进行查询，以避免重复...
【专利技术属性】
技术研发人员：孙树全，杜爱民，赵琳，罗浩，张莹，李智，冯晓，
申请(专利权)人：中国科学院地质与地球物理研究所，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。