流速测量数据中异常数据的检测方法、装置、设备及介质制造方法及图纸

技术编号:27935963 阅读:32 留言:0更新日期:2021-04-02 14:16
本发明专利技术实施例公开了一种流速测量数据中异常数据的检测方法、装置、设备及介质。该方法包括:获取流速测量数据以及流速测量数据对应的时间序列;根据流速测量数据、时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型;根据正向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果;根据逆向拟合外推模型确定每个流速测量数据从预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的逆向递推结果;根据正向递推结果和逆向递推结果判断每个流速测量数据是否为异常数据。实现了独立及成片异常数据的有效剔除,降低了数据误判率,提高了异常数据的别除率。

【技术实现步骤摘要】
流速测量数据中异常数据的检测方法、装置、设备及介质
本专利技术实施例涉及水文监测
,尤其涉及一种流速测量数据中异常数据的检测方法、装置、设备及介质。
技术介绍
流速在各种水文参数中是非常重要的参数,实现流速的精准测量,对于实现水文技术现代化有着十分重要的意义。在许多复杂系统的测量过程中,由于环境或其它各种条件限制,影响因素较多,各种干扰因素对数据影响较大,导致测量数据中含有大量异常数据。因此,需要通过数据预处理来提高数据处理结果的质量和精度。针对明渠、河道等的流速测量数据预处理,目前大都通过人工处理进行,即人为判断出现异常的数据,并逐一将坏值剔除并修补。测量过程数据量大,手动处理效率低下,费时费力。另一方面由于测量过程中环境、仪器自身及人为操作等因素影响,测量数据不可避免存在准确性不高,容易剔除正常值。逐渐的,也越来越多的用到诸如中值滤波或小波检测分析法等算法来对数据进行预处理。但是中值滤波方法对小异常值不敏感,对细节有一定的影响,从而在平坦地形中,当异常值分布较密,即呈簇群分布时,异常值的检测效果较差。而小波检测分析法是按照频率本文档来自技高网...

【技术保护点】
1.一种流速测量数据中异常数据的检测方法,其特征在于,包括:/n获取流速测量数据以及所述流速测量数据对应的时间序列;/n根据所述流速测量数据、所述时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型;/n根据所述正向拟合外推模型确定每个所述流速测量数据从所述预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果;/n根据所述逆向拟合外推模型确定每个所述流速测量数据从所述预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的逆向递推结果;/n根据所述正向递推结果和所述逆向递推结果判断每个所述流速测量数据是否为异常数据。/n

【技术特征摘要】
1.一种流速测量数据中异常数据的检测方法,其特征在于,包括:
获取流速测量数据以及所述流速测量数据对应的时间序列;
根据所述流速测量数据、所述时间序列、预设拟合点数以及预设拟合阶数构建正向拟合外推模型和逆向拟合外推模型;
根据所述正向拟合外推模型确定每个所述流速测量数据从所述预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果;
根据所述逆向拟合外推模型确定每个所述流速测量数据从所述预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的逆向递推结果;
根据所述正向递推结果和所述逆向递推结果判断每个所述流速测量数据是否为异常数据。


2.根据权利要求1所述的流速测量数据中异常数据的检测方法,其特征在于,所述根据所述正向递推结果和所述逆向递推结果判断每个所述流速测量数据是否为异常数据,包括:
分别将各个所述正向递推结果以及各个所述逆向递推结果与对应的流速测量数据作差;
将作差结果的绝对值与预设异常门限阈值进行比较;
根据比较结果判断每个所述流速测量数据是否为异常数据。


3.根据权利要求2所述的流速测量数据中异常数据的检测方法,其特征在于,所述根据比较结果判断每个所述流速测量数据是否为异常数据,包括:
若存在目标流速测量数据对应的各阶次正向递推结果与所述目标流速测量数据的差的绝对值均大于等于所述预设异常门限阈值,则将所述目标流速测量数据标记为可能异常,否则,将所述流速测量数据标记为正常;
若所述目标流速测量数据对应的各阶次逆向递推结果与所述目标流速测量数据的差的绝对值均大于等于所述预设异常门限阈值,则将已标记为可能异常的所述目标流速测量数据确定为异常数据。


4.根据权利要求3所述的流速测量数据中异常数据的检测方法,其特征在于,所述根据所述正向拟合外推模型确定每个所述流速测量数据从所述预设拟合阶数开始依次降次直至衰减为线性过程中每个阶次的正向递推结果,包括:
若存在所述目标流速测量数据被标记为可能异常,则继续向后判断,当再次出现被标记为正常的正常流速测量数据时,确定所述正常流速测量数据的各阶次正向递推结果中最接近所述正常流速测量数据的正向递推结果所使用的目标拟合点数和目标拟合阶数;
使用所述正常流速测量数据替换所述正向拟合外推模型的数据序列中的第一点数据,并根据所述目标拟合点数和所述目标拟合阶数重构所述正向拟合外推模型。


5.根据权利要求3所述的流速测量数据中异常数据的检测方法,其特征在于,在所述若存在目标流速测量数据对应的各阶次正向...

【专利技术属性】
技术研发人员:冯阳李丛周志明邓权吴振华戴聪聪廖锴张清波
申请(专利权)人:深圳市宏电技术股份有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1