一种水质自动监测数据的预处理方法技术

本发明专利技术提供了一种水质自动监测数据的预处理方法，包括以下步骤：S1、统计并标记原始数据集中的缺失值；S2、对原始数据集中的数据进行时间序列分解，得到残差项；S3、识别所述残差项中的异常值，并删除和/或修正所述异常值；S4、采用线性插值法插补所述原始数据集中的缺失值和删除后的异常值，得到经处理后的完整数据集。相比于现有技术，本发明专利技术的预处理方法有效处理了水质自动监测数值集中的异常值和缺失值，可获得完整且可靠性较高的数据集，从而为水质自动监测数据的后续分析和应用提供了便利。便利。便利。

【技术实现步骤摘要】
一种水质自动监测数据的预处理方法


[0001]本专利技术涉及水质数据预处理
，具体涉及一种水质自动监测数据的预处理方法。

技术介绍

[0002]利用历史水质监测数据进行水质评价及预测是水环境管理的重要一环，传统的水质监测方法主要是以月度或季度为监测间隔的人工监测。近年来，随着大数据时代的到来，水质自动监测站逐渐得到研究人员的关注。与常规人工监测的水质数据不同，水质自动监测站获得的自动监测数据具有频次高、数据量大等特点，可以更加全面、精确地识别水质变量的时空变化规律，以及变量之间的动态联系。根据生态环境部制定的《国家地表水水质自动监测站文化建设方案(试行)》，我国计划在全国范围内建设若干个地表水水质自动监测站。所以，水质自动监测数据必将为我国水环境管理带来新的契机。
[0003]在实际监测过程中，由于可能受到风雨天气等极端环境条件的影响，传感器获得的水质自动监测数据难免存在异常值和缺失值，需要进行适当的数据清洗。然而，由于自动监测数据具有频次高、数据量大等特点，难以采用常规的目视审验或简单数据分析方法进行预处理，因此，有必要研发出一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水质自动监测数据的预处理方法，其特征在于，包括以下步骤：S1、统计并标记原始数据集中的缺失值；S2、对原始数据集中的数据进行时间序列分解，得到残差项；S3、识别所述残差项中的异常值，并删除和/或修正所述异常值；S4、采用线性插值法插补所述原始数据集中的缺失值和删除后的异常值，得到经处理后的完整数据集。2.根据权利要求1所述的水质自动监测数据的预处理方法，其特征在于，步骤S1中，通过对所述原始数据集构建时间序列，来得到缺失值的数量及其位置。3.根据权利要求1所述的水质自动监测数据的预处理方法，其特征在于，步骤S2中，采用时间序列分解方法剥离所述原始数据集中...

【专利技术属性】
技术研发人员：郝玉莹，赵林，孙同，傅少康，孙梦，胡斯宇，
申请(专利权)人：天津大学，
类型：发明
国别省市：