【技术实现步骤摘要】
本专利技术涉及电数据处理领域，特别是涉及潜浮标数据质量控制方法、系统、计算机及存储介质。
技术介绍
1、海洋观测数据是进行海洋科学研究、建设高质量海洋科学数据库、进行多学科交叉研究的重要基础。当前海洋观测
中，监测获取的海洋数据普遍存在一系列质量问题，其成因包括但不限于：仪器偏差、仪器故障、外界干扰、转码错误、通信错误、观测人员失误或人为痕迹处理等。这样的质量问题会影响研究结果的准确性。
2、数据质量控制主要是通过人工审查或计算机辅助的方式，针对海洋观测数据，需要全方位的进行质量评估、识别及提出因各类成因产生的虚假观测数据，提高数据的准确性和可用性。
3、现有的质量控制方法大多进行基础要素的质量控制结合莱茵达准则或气候态检验等利用统计学手段或海洋模式的方法识别异常数据，其中，莱茵达准则是通过假定观测数据符合正态分布，然后以3σ为标准判断数据是否为异常值，如专利cn113536233a公开的一种海洋浮标数据质量控制系统；气候态检验是通过预先构建的目标地域的大量历史观测值(气候态)及其波动范围，根据历史观测数据的统计分布特征或概率分布(先验猜测)来界定一个阈值范围，若某一观测值超过设定的阈值，则将其标记为可疑值。
4、上述基于莱茵达准则的数据质量控制系统是假定观测数据符合正态分布，而实际情况中观测数据不一定符合正态分布，这使得异常值判断就会出现错误。上述基于气候态检验的现有技术，受限于观测剖面的数量，在一些较少观测甚至是无观测的区域无法准确构建该地区的历史气候态，通常会采用反距离加权平均的方
技术实现思路
1、本专利技术实施例提供了一种潜浮标数据质量控制方法、系统、计算机设备和计算机可读存储介质，以提高潜浮标数据质量控制精度。
2、第一方面，本专利技术实施例提供了一种潜浮标数据质量控制方法，包括：
3、数据获取步骤，获取自持式剖面探测浮标的观测数据，所述观测数据包括设备编号、浮标位置、观测日期及观测剖面的温度数据、盐度数据、压力数据、深度数据；
4、第一数据质量检测步骤，根据所述设备编号及观测日期进行质量检测，根据所述温度数据、盐度数据、压力数据及深度数据进行统计检测，将检测到的异常信号剔除得到处理后的数据；
5、第二数据质量检测步骤，获取在第一数据质量检测步骤处理后的数据，根据所述温度数据、盐度数据计算温度梯度、盐度梯度，并将所述温度梯度、盐度梯度和所述观测数据，可将输入的数据按照观测时间的月份进行分组，输入一预训练的多层感知器mlp（multi-layer perceptron）进行分类，识别异常数据及可信数据，所述多层感知器是利用经质量控制后的历史数据和再分析数据形成的数据集经前向传播、反向传播训练得到的识别温度数据、盐度数据异常或可信的神经网络，以实现对输入温度梯度、盐度梯度和观测数据进行挖掘判断，提高观测数据质量评估能力，减少人工审核工作量。
6、在其中一些实施例中，所述方法进一步包括：
7、数据噪声识别步骤，将所述观测数据按照观测时间的月份进行分组后，通过预训练的无监督的支持向量数据描述svdd算法（support vector domain descriptio，简称svdd）判断观测数据中的离群点并标注噪声标签，将标注有噪声标签的数据经过人工复核后进行剔除。
8、为了进一步提高本专利技术无监督svdd算法的鲁棒性，本专利技术引入模型的松弛因子并调整模型的惩罚系数，以避免算法模型过拟合和欠拟合，其中，松弛因子是用来给予训练样本一定的容错空间，允许一些样本点位于超球体外边界上，而不是严格位于边界内部，松弛因子是在无监督svdd算法优化求解过程中计算的，惩罚系数则是用于平衡模型的拟合误差和正则项（n个松弛因子的和）之间的关系，也是控制松弛因子的取值不会过大，以防止过度拟合。惩罚系数是可以灵活调整的。
9、在其中一些实施例中，所述第一数据质量检测步骤进一步包括：
10、数据包检测步骤，检测所述设备编号是否与所述探测浮标对应且与浮标灰名单中的浮标编号不同，并检测所述观测日期是否符合预设日期条件，若否，则将数据识别为异常数据，其中，所述浮标灰名单是获取自全球argo资料中心的因传感器故障导致观测数据无法矫正的浮标编号；所述观测日期包括年份、月份、日、小时、分钟及秒；
11、浮标数据检测步骤，根据所述浮标位置是否满足经纬度规范、预设投放目标区域及海陆界面规范检测异常数据，并根据二相近剖面的浮标位置和观测日期的时间计算所述探测浮标的漂移速度，根据一速度阈值检测超过所述速度阈值的异常数据；具体的，经纬度规范的纬度范围为-90°～90°，经度范围为-180°～180°，根据纬度范围和经度范围识别范围外的数据并标记为异常数据，进一步检测浮标位置是否属于预设投放目标区域内，若不属于，则标记为异常数据并剔除数据；由于探测浮标的观测位置为海洋，因此根据全球地形起伏模型（如e-top05）作为标准制作水陆点数据库，水陆点数据库中包括为海上的经纬度点及陆地的经纬度点，基于此识别浮标位置点不在海上的数据并标记为异常数据；其中，若所述漂移速度超过所述速度阈值，则表示探测浮标的位置和/或时间错误，或浮标平台识别码混淆；对比在正常情况下获取的不同的浮标位置即可识别出异常浮标的位置和/或时间，并标记为异常数据；
12、观测数据检测步骤，对观测剖面的所述温度数据、盐度数据、压力数据、深度数据进行范围检测和/或统计特征检测，识别异常数据并剔除。
13、在其中一些实施例中，所述观测数据检测步骤进一步包括：
14、温盐度数据检测步骤，对所述温度数据、盐度数据进行范围检测、毛刺信号检测、梯度检测、数位翻转检测、滞留检测、密度倒转检测、漂移检测及冻结检测其一或其任意组合，以识别观测的温度数据、盐度数据中异常数据并剔除；
15、压力数据检测步骤，检测所述压力数据是否符合单调递增且不超过预设压力阈值，否则识别为异常数据并剔除。具体的，若出现连续的非单调递增压力数据，则保留所述多个非单调递增压力数据中的首个数据，其他数据标记为异常数据并剔除。
16、第二方面，本专利技术实施例提供了一种潜浮标数据质量控制系统，包括：
17、数据获取模块，用于获取自持式剖面探测浮标的观测数据，所述观测数据包括设备编号、浮标位置、观测日期及观测剖面的温度数据、盐度数据、压力数据、深度数据；
18、第一数据质量检测模块，用于根据所述设备编号及观测日期进行质量检测，根据所述温度数据、盐度数据、压力数据及深度数据进行统计检测，将检测到的异常信号剔除得到处理后的数据；
19、第二数据质量检测模块，用于获取在第一数据质量检测模块输出的数据，根据所述温度数据、盐度数据计算温度梯度、盐度梯度，并将所述温度梯度、盐度梯度和所述观测数据，可将输入的数据按照观测时间的月份进行分组，输入一预训练的多层感知器mlp本文档来自技高网...
【技术保护点】
1.一种潜浮标数据质量控制方法，其特征在于，包括：
2.根据权利要求1所述的潜浮标数据质量控制方法，其特征在于，所述方法进一步包括：
3.根据权利要求1所述的潜浮标数据质量控制方法，其特征在于，所述第一数据质量检测步骤进一步包括：
4.根据权利要求3所述的潜浮标数据质量控制方法，其特征在于，所述观测数据检测步骤进一步包括：
5.一种潜浮标数据质量控制系统，其特征在于，包括：
6.根据权利要求5所述的潜浮标数据质量控制系统，其特征在于，所述系统进一步包括：
7.根据权利要求5所述的潜浮标数据质量控制系统，其特征在于，所述第一数据质量检测模块进一步包括：
8.根据权利要求7所述的潜浮标数据质量控制系统，其特征在于，所述观测数据检测模块进一步包括：
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的潜浮标数据质量控制方法。
10.一种计算机可读存储介质，其上存
...【技术特征摘要】
1.一种潜浮标数据质量控制方法，其特征在于，包括：
2.根据权利要求1所述的潜浮标数据质量控制方法，其特征在于，所述方法进一步包括：
3.根据权利要求1所述的潜浮标数据质量控制方法，其特征在于，所述第一数据质量检测步骤进一步包括：
4.根据权利要求3所述的潜浮标数据质量控制方法，其特征在于，所述观测数据检测步骤进一步包括：
5.一种潜浮标数据质量控制系统，其特征在于，包括：
6.根据权利要求5所述的潜浮标数据质量控制系统，其特征在于，所述系统进一步包括：
7.根据权利要求5...
【专利技术属性】
技术研发人员：谭华，吴光楠，罗崇鑫，苏亮，刘进，王新宁，
申请(专利权)人：青岛海洋科技中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。