基于KNN-SVR的海底管道漏磁数据缺失插补方法技术

本发明专利技术的基于KNN‑SVR的海底管道漏磁数据缺失插补方法，包括步骤1：从不含缺失点的原始漏磁数据中分割出特征数据块构成完备数据集，构建完备数据集的KD树；步骤2：对含缺失点的漏磁数据进行范化处理，获得由待插补数据块构成的待插补数据集，对待插补数据集进行补零处理；步骤3：在完备数据集中搜索待插补数据块的K近邻，获得K个完备数据块；步骤4：基于K个完备数据块，构建训练集，对训练集进行归一化处理；步骤5：利用支持向量回归机对训练集进行训练；步骤6：预测待插补数据块中的缺失特征值。本发明专利技术将基于欧式距离的KNN算法与SVR算法相结合，提高了预测准确度，减少了过拟合问题，同时对于信号噪声具有较好的鲁棒性。

Missing data interpolation method of magnetic leakage of submarine pipeline based on SVR KNN

The invention of the missing data interpolation method of magnetic leakage pipeline KNN based on SVR, including 1 steps: segmentation and feature data block of a complete data set containing never missing point of original MFL data, construct the complete data set KD tree; step 2: the MFL data with missing points of standardized treatment the interpolation data set, to be composed of interpolation data block, with data sets of zero padding interpolation; step 3: centralized search to K nearest neighbor interpolation data blocks in the complete data, obtain a complete K data block; step 4: Based on a complete K data block, the construction of the training set for training set. Normalized; step 5: using support vector regression of the training set for training; step 6: to predict missing feature values in the interpolation data block. The invention combines the KNN algorithm based on Euclidean distance and the SVR algorithm, improves the prediction accuracy, reduces the over fitting problem, and has better robustness for signal noise.

【技术实现步骤摘要】
基于KNN-SVR的海底管道漏磁数据缺失插补方法
本专利技术涉及数据处理和人工智能领域，具体涉及一种基于KNN-SVR的海底管道漏磁数据缺失插补方法。
技术介绍
通常情况下输油管道的工作条件很恶劣，易使其出现腐蚀裂纹等损伤，对其进行无损检测是必要的。漏磁检测就是一种常用的无损检测方法，该方法是通过对内检测器采集的漏磁数据进行综合分析进而判断管道的损伤情况。内检测器运行期间，难免由于传感器的非正常行为，导致部分采样数据的异常或者缺失。在分析漏磁数据之前对数据进行预处理，其中重要的一部分是对缺失数据进行插补，以保证数据的完整性，为后续的数据处理打下基础。漏磁内检测器得到的数据量很庞大，这些数据与漏磁内检测器所在的里程位置等因素并不是简单的函数关系，各个因素之间的关系的数学模型通常是非线性的复杂模型，传统的建模方法很难实现这种数学模型，因此对缺失数据的预测和插补也是很困难的。漏磁信号的插补是尽可能地利用缺失点附近的数据信息来预测插补点的特征值。数据插补问题中采取的方法有很多种，总的来说可以分为直接线性插值法和回归拟合插值法。直接线性插值法是一种非模型的插值方法。它的主要步骤是：确定缺失点所在位置；提取缺失点前后的完备数据；利用缺失点与完备数据点之间的位置信息以及传感器间的关联特征建立与缺失点数据的线性关系。通过上述步骤，就可以得到缺失点的预测值。但直接线性插值法具有一定局限性：对线性拟合度不高的情况预测结果不够理想；预测结果受信号噪声和信号畸变的影响较大。需要确保缺失点附近数据的完备性，否则直接线性插值得到的预测值误差较大。回归拟合方法是一种基于模型的插值方法。它的主要步骤是：判断缺失点周围的缺失情况；提取缺失点前后合适距离的完备数据点，以及传感器间的相同位置点的数据；利用大量的完备数据通过回归拟合得出数据点与所在位置之间的非线性模型。通过上述步骤，就可以得到缺失点的预测值。回归拟合插值法相比直接线性插值法精度更高。但回归拟合插值法仍然存在以下缺点：难以保证非线性模型的准确性；预测结果容易陷入局部最优解；需要对传感器间的关联特征具有一定的提前认知。预测结果受信号噪声和信号畸变的影响较大。
技术实现思路
本专利技术实施例提供一种基于KNN-SVR的海底管道漏磁数据缺失插补方法，解决现有异常判定与填补方法计算时间长，大量过拟合，数据缺失点情况复杂等问题。本专利技术提供一种基于KNN-SVR的海底管道漏磁数据缺失插补方法，包括以下步骤：步骤1：从不含缺失点的原始漏磁数据中分割出特征数据块构成完备数据集，构建完备数据集的KD树；步骤2：对含缺失点的漏磁数据进行范化处理，以获得由待插补数据块构成的待插补数据集，并对待插补数据集进行补零处理；步骤3：在完备数据集中搜索待插补数据块的K近邻，获得K个完备数据块；步骤4：基于K个完备数据块，构建训练集，对训练集进行归一化处理；步骤5：利用支持向量回归机对训练集进行模型训练；步骤6：预测待插补数据块中的缺失特征值，完成对缺失数据的插补。在本专利技术的基于KNN-SVR的海底管道漏磁数据缺失插补方法中，所述步骤1具体包括：步骤1-1：对原始漏磁数据做偏移处理，得到完整的漏磁数据：步骤1-2：在完整的漏磁数据中选取特征明显的区域，针对包含漏磁缺陷、管道焊缝、管道组件的数据按块进行分割，得到完备数据块，由完备数据块构成完备数据集；步骤1-3：在完备数据集中选择方差最大的特征做为分割维度，然后在该维度上选择中位值作为分界超平面，对完备数据集进行划分，得到两个子集合，同时创建一个树结点；步骤1-4：对两个子集重复步骤1-3的过程，直至所有子集合都不能再划分为止，如果某个子集合不能再划分时，则将该子集中的完备数据块保存到叶子结点。在本专利技术的基于KNN-SVR的海底管道漏磁数据缺失插补方法中，所述步骤2具体包括：步骤2-1：从含缺失点的漏磁数据中划分出含缺失点较多的待插补数据块，以待插补数据块构成待插补数据集；步骤2-2：对待插补数据集进行补零处理。在本专利技术的基于KNN-SVR的海底管道漏磁数据缺失插补方法中，所述步骤2-1具体包括：步骤2-1-1：对含缺失点的漏磁数据进行偏移处理，在偏移处理后的数据中按块进行分割，得到待插补数据块；步骤2-1-2：判断每一个待插补数据块的数据缺失率，如果缺失率小于设定的下限值，则表明该待插补数据块的数据信息较为充足，可采用简单直接插补法进行插补；如果缺失率大于设定的上限值，则将该待插补数据块加入待插补数据集中。在本专利技术的基于KNN-SVR的海底管道漏磁数据缺失插补方法中，所述步骤2-2具体包括：步骤2-2-1：对每一个待插补数据块，在其缺失点位置处用零值填充，与完备数据块特征信息完成格式匹配。在本专利技术的基于KNN-SVR的海底管道漏磁数据缺失插补方法中，所述步骤3具体包括：步骤3-1：从KD树的根结点开始，按照待插补数据块与各个结点的比较结果向下访问KD树，直至达到叶子结点，并记录最终的K个节点；步骤3-2：进行回溯操作，查找离待插补数据块更近的K近邻点，获得K个完备数据块。在本专利技术的基于KNN-SVR的海底管道漏磁数据缺失插补方法中，所述步骤4具体包括：步骤4-1：由步骤3得到的K个完备数据块，参照经补零处理后的待插补数据块，将每一个完备数据块分成零值以及非零值两部分；步骤4-2：将完备数据块中对应待插补数据块中非零值的全部特征值作为输入X，将完备数据块中对应待插补数据块中零值的全部特征值作为输出Y，得到K对输入输出向量，作为训练样本集(X,Y)；步骤4-3：根据下式对训练样本集中的数据分别进行归一化处理：在本专利技术的基于KNN-SVR的海底管道漏磁数据缺失插补方法中，所述步骤5具体包括：步骤5-1：建立支持向量回归机的基本数学模型，用以逼近样本数据集(X,Y)，回归函数f(X)如下式所示：其中，W为待定系数，b为补偿值，C为完备数据集；步骤5-2：从结构风险最小化思想出发，其最优回归函数的优化模型如下式所示：其中，T是权衡因子，和是表示对系统输出进行约束的松弛变量，L(.)是损失函数；步骤5-3：用核函数代替上述点积，使回归函数f(X)可以是非线性的，建立起支持向量回归机模型；步骤5-4：根据基本数学模型和最优回归函数的优化模型，解出W和b，从而得到最优线性回归函数f(X)。在本专利技术的基于KNN-SVR的海底管道漏磁数据缺失插补方法中，所述步骤6具体包括：步骤6-1：将待插补数据块中非零特征值作为支持向量回归机模型的输入，记录得到的输出特征值，并与原待插补数据块中缺失点相应位置完成对应；步骤6-2：将经过步骤3所得的K个完备数据块作为近似值，直接估计待插补数据块中的缺失特征值；步骤6-3：将步骤6-1的输出与步骤6-2中得到的缺失特征值的估计值进行比较，如果差值在设定阈值范围之内，则将步骤6-1得到的输出值作为最终的预测缺失特征值；如果差值超过阈值范围，则表明步骤6-1的输出可信度偏低，选择步骤6-2的缺失特征值的估计值作为最终的预测缺失特征值。在本专利技术的基于KNN-SVR的海底管道漏磁数据缺失插补方法中，所述步骤6-2具体包括：步骤6-2-1：对应待插补数据块中每一个零值位置，取K个完备数据块相应位置的数据作为待插补数据块中的缺失特征值的近似值；步骤6-2本文档来自技高网...

【技术保护点】
一种基于KNN‑SVR的海底管道漏磁数据缺失插补方法，其特征在于，包括以下步骤：步骤1：从不含缺失点的原始漏磁数据中分割出特征数据块构成完备数据集，构建完备数据集的KD树；步骤2：对含缺失点的漏磁数据进行范化处理，以获得由待插补数据块构成的待插补数据集，并对待插补数据集进行补零处理；步骤3：在完备数据集中搜索待插补数据块的K近邻，获得K个完备数据块；步骤4：基于K个完备数据块，构建训练集，对训练集进行归一化处理；步骤5：利用支持向量回归机对训练集进行模型训练；步骤6：预测待插补数据块中的缺失特征值，完成对缺失数据的插补。

【技术特征摘要】
1.一种基于KNN-SVR的海底管道漏磁数据缺失插补方法，其特征在于，包括以下步骤：步骤1：从不含缺失点的原始漏磁数据中分割出特征数据块构成完备数据集，构建完备数据集的KD树；步骤2：对含缺失点的漏磁数据进行范化处理，以获得由待插补数据块构成的待插补数据集，并对待插补数据集进行补零处理；步骤3：在完备数据集中搜索待插补数据块的K近邻，获得K个完备数据块；步骤4：基于K个完备数据块，构建训练集，对训练集进行归一化处理；步骤5：利用支持向量回归机对训练集进行模型训练；步骤6：预测待插补数据块中的缺失特征值，完成对缺失数据的插补。2.如权利要求1所述的基于KNN-SVR的海底管道漏磁数据缺失插补方法，其特征在于，所述步骤1具体包括：步骤1-1：对原始漏磁数据做偏移处理，得到完整的漏磁数据：步骤1-2：在完整的漏磁数据中选取特征明显的区域，针对包含漏磁缺陷、管道焊缝、管道组件的数据按块进行分割，得到完备数据块，由完备数据块构成完备数据集；步骤1-3：在完备数据集中选择方差最大的特征作为分割维度，然后在该维度上选择中位值作为分界超平面，对完备数据集进行划分，得到两个子集合，同时创建一个树结点；步骤1-4：对两个子集重复步骤1-3的过程，直至所有子集合都不能再划分为止，如果某个子集合不能再划分时，则将该子集中的完备数据块保存到叶子结点。3.如权利要求1所述的基于KNN-SVR的海底管道漏磁数据缺失插补方法，其特征在于，所述步骤2具体包括：步骤2-1：从含缺失点的漏磁数据中划分出含缺失点较多的待插补数据块，以待插补数据块构成待插补数据集；步骤2-2：对待插补数据集进行补零处理。4.如权利要求3所述的基于KNN-SVR的海底管道漏磁数据缺失插补方法，其特征在于，所述步骤2-1具体包括：步骤2-1-1：对含缺失点的漏磁数据进行偏移处理，在偏移处理后的数据中按块进行分割，得到待插补数据块；步骤2-1-2：判断每一个待插补数据块的数据缺失率，如果缺失率小于设定的下限值，则表明该待插补数据块的数据信息较为充足，可采用简单直接插补法进行插补；如果缺失率大于设定的上限值，则将该待插补数据块加入待插补数据集中。5.如权利要求3所述的基于KNN-SVR的海底管道漏磁数据缺失插补方法，其特征在于，所述步骤2-2具体包括：步骤2-2-1：对每一个待插补数据块，在其缺失点位置处用零值填充，与完备数据块特征信息完成格式匹配。6.如权利要求1所述的基于KNN-SVR的海底管道漏磁数据缺失插补方法，其特征在于，所述步骤3具体包括：步骤3-1：从KD树的根结点开始，按照待插补数据块与各个结点的比较结果向下访问KD树，...

【专利技术属性】
技术研发人员：刘金海，张化光，冯健，马大中，汪刚，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21