一种卫星数据采集分析方法及系统技术方案

本发明专利技术公开了一种卫星数据采集分析方法及系统，包括：S1、卫星数据块量化处理；S2、卫星数据块初步压缩；S3、确定压缩稀疏度；S4、设定卫星数据压缩偏差；S5、根据深度学习中的回归测算模式，对数据的传输时间做出对应标记，对簇头监测节点进行调整，设置好数据的压缩周期后，利用执行程序对卫星遥感数据进行智能化周期性的压缩处理。本发明专利技术利用深度学习算法构建卫星数据压缩模型，可以更精准、完整地对卫星所传回的数据进行处理和压缩，帮助繁杂卫星数据进行多维分类，并能对卫星数据的高效采集和处理，使得卫星数据得到了精细化监视。使得卫星数据得到了精细化监视。使得卫星数据得到了精细化监视。

【技术实现步骤摘要】
一种卫星数据采集分析方法及系统


[0001]本专利技术涉及数据处理
，具体为一种卫星数据采集分析方法及系统。

技术介绍

[0002]GNSS公开数据是推广BDS
‑
3应用尤其是高精度和科学应用的重要支撑，提供免费公开的GNSS跟踪站观测数据的质量，是跟踪站选取和使用的重要依据。随着新型的卫星遥感设备不断出现，微波遥感和高光谱遥感技术不断成熟，应用型遥感卫星也在向着多分辨率和多遥感平台共存的方向发展，同时，也对数据传输系统提出了新的要求，未来需要在传输频段、传输体系和压缩技术等方面进行研究。
[0003]现有技术中，如中国专利号为：CN105610530B的“一种卫星数据采集分析方法及系统”，该方法包括：按照预设的采集参数采集接收到的卫星数据；存储采集到的卫星数据，并在采集到的每个数据包中标记采集时间戳；读取存储的卫星数据，并按照预设的分析参数进行解调和解码分析；显示分析得到的信号时域和频域图。
[0004]但现有技术中，由于全球卫星事业的快速发展，卫星的种类越来越多，卫星上所搭载的仪器种类也更加丰富，卫星遥感数据量一般较为庞大，在运输的过程中，需要分批次压缩处理，以数据包的形式传输到指定的地点上，随着卫星遥感覆盖范围的扩大，数据压缩结果受到影响，对卫星遥感数据的单位传输速率造成或多或少的阻碍。

技术实现思路

[0005]本专利技术的目的在于提供一种卫星数据采集分析方法及系统，以解决上述
技术介绍
提出的由于全球卫星事业的快速发展，卫星的种类越来越多，卫星上所搭载的仪器种类也更加丰富，卫星遥感数据量一般较为庞大，在运输的过程中，需要分批次压缩处理，以数据包的形式传输到指定的地点上，随着卫星遥感覆盖范围的扩大，数据压缩结果受到影响，对卫星遥感数据的单位传输速率造成或多或少的阻碍的问题。
[0006]为实现上述目的，本专利技术提供如下技术方案：一种卫星数据采集分析方法，包括：
[0007]S1、卫星数据块量化处理：按照关联性程度对待压缩卫星数据进行层次结构上的划分，设定所述卫星数据排列集合，构建数据块的量化处理空间；
[0008]S2、卫星数据块初步压缩：筛选压缩过程中低于预设阈值的关联结构，并测算出数据块映射值，结合测算的数据块映射值，划定不同层级中遥感数据块的映射距离与范围，在标定的数据处理范围之内建立在候选基序列，计算出无线传感数据序列的相关次数，明确出数据块量化深度学习的基序列；
[0009]S3、确定压缩稀疏度：将同序列的数据聚集到一个分组之中，形成深度训练数据集，将所述深度训练数据集编制成压缩指令，输入至稀疏自动编码器中，通过遥感数据寻优参数的变化，最终确定数据包的具体压缩程度；
[0010]S4、设定卫星数据压缩偏差：结合深度学习算法中的回归算法测定出压缩偏差；定义新卫星数据的新鲜度：数据项的新鲜度随时间衰减的变化函数为时间函数f
t
(Δt)，所述
数据项在t时刻的数据新鲜度由时间函数f
t
(Δt)决定Δt＝t
‑
t0；所述时间函数f
t
(Δt)具体如下：
[0011][0012]其中，T为数据项的截止时间，t0为数据项最新的时刻；
[0013]S5、根据深度学习中的回归测算模式，对数据的传输时间做出对应标记，对簇头监测节点进行调整，设置好数据的压缩周期后，利用执行程序对卫星遥感数据，进行新鲜度倒序的方式周期性的压缩处理。
[0014]优选的，在在步骤S2中，所述明确出数据块量化深度学习的基序列计算公式如下：
[0015][0016]其中，X表示固定基序列；f表示量化处理次数；a表示压缩距离；A表示序列相关系数；q表示备选序列覆盖范围。
[0017]优选的，在步骤S4中，所述压缩偏差计算公式如下：
[0018][0019]其中，P表示压缩偏差；表示预设压缩范围；y表示重叠压缩范围；β表示数据包回归堆叠间距；η表示单向压缩时间；z表示压缩次数。
[0020]优选的，在步骤S5中，所述利用执行程序对卫星遥感数据进行智能化周期性的压缩处理，具体包括以下步骤：
[0021]S501、捕捉数据块的关联映射，测算出可压缩向量值；
[0022]S502、从数值结构角度获取限制向量，测定数据压缩的步长值；
[0023]S503、根据遥感数据量的变化，逐渐修改预设的步长值标准，形成动态化的压缩结构；
[0024]S504、计算出关联数据集的映射结果。
[0025]优选的，在步骤S501中，所述可压缩向量值的计算公式如下：
[0026]L＝R
×
∫m
‑1+0.5g；
[0027]其中，L表示可压缩向量值；R表示量化标准值；∫m
‑1表示压缩间距；g表示映射值。
[0028]优选的，在步骤S504中，所述计算出关联数据集的映射结果的计算公式如下：
[0029][0030]其中，U表示映射结果；π表示遥感数据集覆盖范围；h表示步长距离；b表示传输单向值。
[0031]一种卫星数据采集分析系统，包括：采集层、缓冲层、处理层和存储层；
[0032]所述采集层用于采集各个业务环节的日志信息，并将所述日志信息存储在ES数据库中，包括了数据在流转过程中的详细监视信息和错误记录；
[0033]所述缓冲层利用Kafka消息队列的方式进行缓冲，所述日志信息数据先发送到Kafka消息队列后，发送到所述处理层进行统计计算；
[0034]所述处理层采用Spark Streaming来实现实时计算，进行监视所述日志信息的压缩、监视指标的计算以及告警计算；
[0035]所述存储层负责存储计算之后的数据。
[0036]优选的，所述处理层包括可视化模块、统计模块、告警模块、配置模块。
[0037]优选的，所述可视化模块用于面向用户和运维人员，利用曲线图和柱状图的方式展示卫星数据从收集到处理入库的情况，并能够提供详情查询，供用户和运维人员浏览详细信息；
[0038]所述统计模块用于根据配置模块中定义的卫星数据信息对详细监视信息进行统计分析，生成收集和入库环节的文件数和文件大小以及及时率关键性能指标。
[0039]优选的，所述告警模块用于对统计模块计算出的关键性能指标进行阈值判断，对超过阈值的关键性能指标按照标准规范输出告警信息；
[0040]所述配置模块用于对卫星数据的快速接入并利用消息中间件的同步技术，实现卫星数据元数据的上下游各个环节的同步、压缩及统一管理。
[0041]与现有技术相比，本专利技术的有益效果是：
[0042]1、本专利技术中，进行遥感数据块的量化处理，并在确定压缩稀疏度后，通过设定压缩周期，对数据单次压缩范围进行限制，利用深度学习算法构建卫星数据压缩模型，可以更精准、完整地对卫星所传回的数据进行处理和压缩，帮助繁杂卫星数据进行多维分类。
[0043]2、本专利技术中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种卫星数据采集分析方法，其特征在于，包括：S1、卫星数据块量化处理：按照关联性程度对待压缩卫星数据进行层次结构上的划分，设定所述卫星数据排列集合，构建数据块的量化处理空间；S2、卫星数据块初步压缩：筛选压缩过程中低于预设阈值的关联结构，并测算出数据块映射值，结合测算的数据块映射值，划定不同层级中遥感数据块的映射距离与范围，在标定的数据处理范围之内建立在候选基序列，计算出无线传感数据序列的相关次数，明确出数据块量化深度学习的基序列；S3、确定压缩稀疏度：将同序列的数据聚集到一个分组之中，形成深度训练数据集，将所述深度训练数据集编制成压缩指令，输入至稀疏自动编码器中，通过遥感数据寻优参数的变化，最终确定数据包的具体压缩程度；S4、设定卫星数据压缩偏差：结合深度学习算法中的回归算法测定出压缩偏差；定义新卫星数据的新鲜度：数据项的新鲜度随时间衰减的变化函数为时间函数f
t
(Δt)，所述数据项在t时刻的数据新鲜度由时间函数f
t
(Δt)决定Δt＝t
‑
t0；所述时间函数f
t
(Δt)具体如下：其中，T为数据项的截止时间，t0为数据项最新的时刻；S5、根据深度学习中的回归测算模式，对数据的传输时间做出对应标记，对簇头监测节点进行调整，设置好数据的压缩周期后，利用执行程序对卫星遥感数据，进行新鲜度倒序的方式周期性的压缩处理。2.根据权利要求1所述的一种卫星数据采集分析方法，其特征在于，在在步骤S2中，所述明确出数据块量化深度学习的基序列计算公式如下：其中，X表示固定基序列；f表示量化处理次数；a表示压缩距离；A表示序列相关系数；q表示备选序列覆盖范围。3.根据权利要求1所述的一种卫星数据采集分析方法，其特征在于，在步骤S4中，所述压缩偏差计算公式如下：其中，P表示压缩偏差；表示预设压缩范围；y表示重叠压缩范围；β表示数据包回归堆叠间距；η表示单向压缩时间；z表示压缩次数。4.根据权利要求1所述的一种卫星数据采集分析方法，其特征在于，在步骤S5中，所述利用执行程序对卫星遥感数据进行智能化周期性的压缩处理，具体包括以下步骤：S501、捕捉数据块的关联映射，测算出可压缩向量值；S502、从数值结构角度获取限制向量，测定数据压缩的步长值；S503、根据遥感...

【专利技术属性】
技术研发人员：叶俊，郭祯，蒋维丽，蒋羽，周颖，岳秋玲，
申请(专利权)人：海南大学，
类型：发明
国别省市：