基于三角多项式拟合的电导率异常值识别方法、系统技术方案

本发明专利技术属于电导率异常值识别技术领域，公开了基于三角多项式拟合的电导率异常值识别方法、系统。该方法利用三角函数为基函数，通过引入1/2倍周期，解决了边界拟合震荡问题；利用留一法交叉检验确定三角多项式项数，通过迭代拟合产生的最大拟合残差序列确定最优拟合次数，识别海洋调查数据中电导率异常值，并进行可视化示出，所述海洋调查数据包括：海水温度、电导率、深度数据。本发明专利技术将基于三次样条拟合的电导率异常值识别方法的漏报率由3.73%降到了2%，误报率由0.28%降到了0.03%；同时，拟合过程更为简单易实施，计算量更小，在异常值识别的准确性和高效性方面具有显著优势。的准确性和高效性方面具有显著优势。的准确性和高效性方面具有显著优势。

【技术实现步骤摘要】
基于三角多项式拟合的电导率异常值识别方法、系统


[0001]本专利技术属于电导率异常值识别
，尤其涉及基于三角多项式拟合的电导率异常值识别方法、系统。

技术介绍

[0002]由于海气界面的热量和动量传递、洋流、风和潮汐效应等许多强迫因素的复杂相互作用，导致海洋调查数据具有高度的空间与时间可变性。尽管温度和盐度等海洋要素遵循某些特定的物理规律，但每个数据剖面都是不同的。这给海洋环境的测量带来了极大的挑战，也使得一些误差测量不可避免。海洋数据的质量在很大程度上取决于识别和去除这些误差测量导致的不良样本的能力，而决定数据的质量和检测异常值需要对数据和海洋学有深入的了解和经验。在经典的数据质量控制中，过去已有的方法多应用一系列阈值算法来识别异常数据，然后由处理人员目视检查每个已识别出的可疑样本。这种耗时的视觉质量控制的目标是发现“假阳性”数据并将其恢复为良好数据。因为每个样本数据不仅具有科学价值，而且具有经济价值。虽然这种质控方法可以得到最佳的数据质量，但在过去的几十年里，海洋学进行了前所未有的大量测量，这些测量每天都在增加，手动/视觉质量控制在处理大型数据集或实时数据流时变得不切实际。因此，海洋学数据的质量控制程序必须不断发展，以提高对大数据收集进行质量评估的能力，减少人力资源，补充经典的自动化质量控制程序，从而跟上海洋调查数据的不断增长。
[0003]几十年来，海洋专家为数据质量控制建立了复杂的半自动化工作流程，例如经典的范围检查和分布检查，并进行了大量支持和自动化质量控制的经典尝试。其中现有研究试图开发一种基于复杂经典统计方法的全自动质量控制方法，如范围检查、尖峰检测、移动窗口、稳健统计（中位数）等。最后发现，因为删除了太多好数据，无法达到可接受的坏数据检测率，这意味着该算法过于敏感。最终，不得不对大多数配置文件进行视觉检查，以创建高质量的数据集。虽然基于三次样条拟合的电导率异常值识别方法，在减少人为因素依赖性和结果明确性等方面有了较大提升和进步，将基于方差控制的电导率异常值识别方法的漏报率56.96%以及基于中位数滤波结合最大偏差的电导率异常值识别方法的漏报率23.28%降到了17.88%，误报率2.19%及0.31%降到了0.24%，但基于三次样条拟合的电导率异常值识别方法在独立点位置的选取，插值函数选取以及程序实现上较为复杂，而且需要在所有独立点处保持插值函数的二次可导性，这大大增加了计算量。
[0004]与此同时，三角函数因其本身的周期性和连续性，在数学、物理、化学、天文、经济、大地与海洋测量、农业和其他科学分支得到了广泛应用，近年来，在水下滑翔机不确定参数以及潮汐开边界条件构造等领域得到了良好的应用效果。此外，现有技术对三角多项式拟合方案与独立点方案进行了比较分析，发现三角多项式拟合具有更小的误差。
[0005]通过上述分析，现有技术存在的问题及缺陷为：现有技术在识别电导率异常值上识别的准确性和高效性方面有待提高。

技术实现思路

[0006]为克服相关技术中存在的问题，本专利技术公开实施例提供了基于三角多项式拟合的电导率异常值识别方法、系统；本专利技术以三角函数为基函数对电导率剖面数据进行拟合，目的在于提出一种更为普适、更容易实施，稳定、准确、高效的异常值识别方法，为海洋数据的质量控制提供一种可供借鉴的思路。
[0007]所述技术方案如下：一种基于三角多项式拟合的电导率异常值识别方法，包括以下步骤：S1，利用三角函数为基函数，通过引入1/2倍周期，用于解决边界拟合震荡问题；S2，利用留一法交叉检验确定三角多项式项数，通过迭代拟合产生的最大拟合残差序列确定最优拟合次数，识别海洋调查数据中电导率异常值，并进行可视化示出，所述海洋调查数据包括：海水温度数据、电导率数据、深度数据。
[0008]在步骤S1中，1/2倍周期取；其中与分别为海水深度数据的最大值与最小值。
[0009]在步骤S1中，三角函数采用三角多项式拟合方法拟合电导率剖面数据，用于海水温盐深剖面数据的异常值检测或者缺失值弥补。
[0010]在步骤S2中，利用留一法交叉检验确定三角多项式项数，，通过迭代拟合产生的最大拟合残差序列确定每个电导率剖面数据的最优拟合次数。
[0011]在步骤S2中，识别海洋调查数据中电导率异常值，具体包括：把温盐深剖面数据数每10个分成一组，最后一组数量不足10个时无需补齐，共分成组；首先将每组的第个数据选取为检验点，，将检验点的电导率数据赋值为NAN值，，给定最高三角多项式项，然后从1增加到50，每次均基于三角多项式拟合法对剖面数据拟合，得到拟合结果，并将所有检验点处的相对拟合残差取平均；依次遍历，最后计算遍历10次后的相对拟合残差平均值。
[0012]随机抽取剖面数据的10%个数据作为检验点，将检验点的数据赋值为NAN值，为1到中随机的10%个位置，为重复随机抽取的次数，取；给定最高三角多项式项，然后从1增加到50，每次均基于三角多项式拟合法对剖面数据拟合，得到拟合结果，并将所有
检验点处的相对拟合残差取平均；依次遍历，最后计算遍历10次后的相对拟合残差平均值。
[0013]本专利技术的另一目的在于提供一种在数学、物理、化学、经济中异常值识别上的应用，实施所述的基于三角多项式拟合的电导率异常值识别方法。
[0014]本专利技术的另一目的在于提供一种在大地与海洋测量、农业领域中异常值识别上的应用，实施所述的基于三角多项式拟合的电导率异常值识别方法。
[0015]本专利技术的另一目的在于提供一种基于三角多项式拟合的电导率异常值识别系统，实施所述的基于三角多项式拟合的电导率异常值识别方法，该系统包括：1/2倍周期引入模块，利用三角函数为基函数，通过引入1/2倍周期，解决了边界拟合震荡问题；最优拟合次数确定模块，用于利用留一法交叉检验确定三角多项式项数，通过迭代拟合产生的最大拟合残差序列确定最优拟合次数；电导率异常值识别终端，用于识别海洋调查数据中电导率异常值，并进行可视化示出，所述海洋调查数据包括：海水温度、电导率、深度数据。
[0016]该系统还包括：两个同步观测的温盐深传感器，用于检测海水温度数据、电导率数据、深度数据。
[0017]结合上述的所有技术方案，本专利技术所具备的优点及积极效果为：本专利技术利用三角函数为基函数，对温盐深电导率剖面数据进行拟合。在不借助其他多项式的情况下，通过引入1/2倍周期，有效解决了边界拟合振荡问题；利用留一法交叉检验确定三角多项式项数，并利用迭代拟合产生的最大拟合残差序列确定最优拟合次数，准确识别了电导率异常值。与三次样条拟合法对比，三角多项式拟合法保持了电导率剖面数据的平滑性，使拟合结果更接近实际分布，具有更小的拟合误差和更高的稳定性；将基于三次样条拟合的电导率异常值识别方法的漏报率由3.73%降到了2%，误报率由0.28%降到了0.03%；同时，拟合过程更为简单易实施，计算量更小，在异常值识别的准确性和高效性方面具有显著优势。
[0018]本专利技术可应用于在数学、物理、化学、天文、经济、大地与海洋测量、农本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三角多项式拟合的电导率异常值识别方法，其特征在于，该方法包括以下步骤：S1，利用三角函数为基函数，通过引入1/2倍周期解决边界拟合震荡问题；S2，利用留一法交叉检验确定三角多项式项数，通过迭代拟合产生的最大拟合残差序列确定最优拟合次数，识别海洋调查数据中电导率异常值，并进行可视化示出；所述海洋调查数据包括：海水温度数据、电导率数据、深度数据。2.根据权利要求1所述的基于三角多项式拟合的电导率异常值识别方法，其特征在于，在步骤S1中，1/2倍周期取；其中与分别为海水深度数据的最大值与最小值，为周期。3.根据权利要求1所述的基于三角多项式拟合的电导率异常值识别方法，其特征在于，在步骤S1中，三角函数为基函数，采用三角多项式拟合方法拟合电导率剖面数据，用于海水温盐深剖面数据的异常值检测或者缺失值弥补。4.根据权利要求1所述的基于三角多项式拟合的电导率异常值识别方法，其特征在于，在步骤S2中，利用留一法交叉检验确定三角多项式项数，，为三角多项式项数，通过迭代拟合产生的最大拟合残差序列确定每个电导率剖面数据的最优拟合次数。5.根据权利要求1所述的基于三角多项式拟合的电导率异常值识别方法，其特征在于，在步骤S2中，识别海洋调查数据中电导率异常值，具体包括：把温盐深剖面数据数每10个分成一组，最后一组数量不足10个时无需补齐，共分成组；其中，为水深，为海水温度，为海水电导率，为单个剖面数据的长度，为组数；首先将每组的第个数据选取为检验点，，将检验点的电导率数据赋值为NAN值，，给定最高三角多项式项，然后从1增加到50，每次均基于三角多项式拟合法对剖面数据拟合，得到拟合结果，并将所有检验点处的相对拟合残差取平均；依次遍历，最后计算遍历10次后的...

【专利技术属性】
技术研发人员：于龙，郭延良，孙佳，鞠霞，
申请(专利权)人：自然资源部第一海洋研究所，
类型：发明
国别省市：