基于快速傅里叶变换的室内空气数据异常值平滑方法技术

本发明专利技术涉及室内空气数据异常值平滑方法，为将基于快速傅里叶变换的平滑数据异常跳变值算法写成一个通用性的自定义函数，方便其他可能的使用者直接调用简单的函数。本发明专利技术，基于快速傅里叶变换的室内空气数据异常值平滑方法，步骤如下：1)将原数据曲线进行快速傅里叶变换，将时域数据转化到频域；2)设置提取频率的阈值；3)求残差曲线的平均值和标准差；4)遍历所有的残差数据，利用拉依达准则，挑选出所有超出限制的数据；5)获取4中选中的数据的标号，并将对应标号中的原数据即跳变数据替换成跳变数据两端的正常数据之间的插值，达到平滑的目的。本发明专利技术主要应用于室内空气数据异常值平滑场合。

【技术实现步骤摘要】
基于快速傅里叶变换的室内空气数据异常值平滑方法
本方法能对随时间变化的空气参数(温度，湿度，甲醛浓度，PM2.5浓度，二氧化碳浓度等)可以对数据中的异常跳变值进行去除，同时保证与人行为变化有关的数据大幅度变动被保留。本方法属于特定数据异常值平滑的领域。具体讲,涉及基于快速傅里叶变换的室内空气数据异常值平滑方法。
技术介绍
在对数据异常值进行剔除并平滑的方法中，最常见的是对数据直接使用C4.5决策树进行分类判定[2]，但是该算法易将因为人行为变化导致的数据大幅度变动值和异常跳变值一并被分类成异常值；其次CD(CurveDescription)法也被用于对异常值的分类[3]，此方法以相邻的数值的变化量和变化率为阈值进行判定，然而对于本专利要解决的问题而言，它和决策树法有着相似的缺陷，而且在程序实现上也比决策树法复杂；国外也使用噪声数据过滤法(Filters)识别并剔除异常值，比较典型的是EnsembleFilter(EF)[4]和Iterative-PartitioningFilter(IPF)[5]，这两种方法都比较有名，但是都比较复杂，得对其额外设置多个参数[1]，这对本技术所面对的问题是没有必要的。
技术实现思路
为克服现有技术的不足，本专利技术旨在本方法旨在将基于快速傅里叶变换的平滑数据异常跳变值算法写成一个通用性的自定义函数，方便其他可能的使用者直接调用简单的函数。本专利技术采用的技术方案是，基于快速傅里叶变换的室内空气数据异常值平滑方法，步骤如下：1)将原数据曲线进行快速傅里叶变换，将时域数据转化到频域，得到原数据的离散频谱图。2)设置提取频率的阈值，将所有的大于这个阈值的频谱曲线保留，对于小于这个阈值的频谱曲线，将其幅度清零。再将处理结束的频谱曲线反快速傅里叶变换变回时域曲线，所得的时域曲线就是想要获得的残差曲线。3)求残差曲线的平均值和标准差。4)遍历所有的残差数据，利用拉依达准则，挑选出所有超出限制的数据：5)获取4中选中的数据的标号，并将对应标号中的原数据即跳变数据替换成跳变数据两端的正常数据之间的插值，达到平滑的目的。拉依达准则说：所有超出三倍标准差范围之内的数据都被剔除,即：去掉所有的x，若x满足|x-μ|<3σ，其中x是数据点，μ是所有数据的平均值。本专利技术的特点及有益效果是：本专利技术利用拉依达准则，进行了数据处理，针状的高频数据跳变都被从原数据中分离了出来；将残差曲线根据拉依达准则判定，去掉了不符合判定的跳变数据，然后在原始数据曲线上用正常数据两端的插值替代已经去掉的跳变数据，即得到了经过数据异常值平滑的数据曲线。附图说明：图1带有数据跳变的实测甲醛随时间的变化数据曲线。图2是对原数据曲线进行快速傅里叶变换之后的频率强度曲线。图3是对图2曲线去掉低频成分的频率强度曲线，即残差曲线数据的频域曲线。图4是对图3中的曲线进行反快速傅里叶变换得到的时域曲线，即残差曲线，也称噪声曲线。图5是对图4中的残差曲线根据拉依达准则判定，去掉不符合判定的跳变数据，然后在原始数据曲线上用正常数据两端的插值替代已经去掉的跳变数据，即得到了经过数据异常值平滑的数据曲线。图6本专利技术流程图。具体实施方式本方法旨在将将基于快速傅里叶变换的平滑数据异常跳变值算法写成一个通用性的自定义函数，方便其他可能的使用者直接调用简单的函数。使用局部加权回归剔除并平滑室内空气数据跳变值的流程：1.将原数据曲线进行快速傅里叶变换，将时域数据转化到频域，得到原数据的离散频谱图。2.设置提取频率的阈值，将所有的大于这个阈值的频谱曲线保留，对于小于这个阈值的频谱曲线，将其幅度清零。再将处理结束的频谱曲线反快速傅里叶变换变回时域曲线，所得的时域曲线就是想要获得的残差曲线。3.求残差曲线的平均值和标准差。4.遍历所有的残差数据，利用拉依达准则，挑选出所有超出限制的数据：拉依达准则说：所有超出三倍标准差范围之内的数据都被剔除。即：去掉所有的x，若x满足|x-μ|<3σ，其中x是数据点，μ是所有数据的平均值。因为一次性处理的数据量较大，远超过了拉依达准则的使用数据下限：100个数据。所以这里采取较为简便的拉依达准则。5.获取4中选中的数据的标号，并将对应标号中的原数据(跳变数据)替换成跳变数据两端的正常数据之间的插值，达到平滑的目的。本算法的实施步骤如下。1)自定义函数的命名，输入变量和输出变量。输入变量有一个：为“原始数据”，以列向量的形式存在，原始数据的个数即向量的维数，数据个数必须为2的整数次幂，比如2048(211),4096(212).输出变量有一个：为“经过异常数据平滑算法之后的结果数据”，结果数据是和原始数据的维度相同的列向量，并填回excel表格。2)将原数据进行基于快速傅里叶变换的数据异常值平滑流程。下面结合附图和具体实施方式，进一步详细说明本专利技术。这里以实测甲醛随时间的变化数据曲线为实例(见图1)：取含有2048个数据的数据向量。图1带有数据跳变的实测甲醛随时间的变化数据曲线。图2是对原数据曲线进行快速傅里叶变换之后的频率强度曲线，此曲线比较对称，曲线两端的对应的横坐标频率最低，越向曲线中央频率越高；图3是对图2曲线去掉低频成分的频率强度曲线，即残差曲线数据的频域曲线；图4是对图3中的曲线进行反快速傅里叶变换得到的时域曲线，即残差曲线，也称噪声曲线，由此可见，针状的高频数据跳变都被从原数据中分离了出来。图5是对图4中的残差曲线根据拉依达准则判定，去掉不符合判定的跳变数据，然后在原始数据曲线上用正常数据两端的插值替代已经去掉的跳变数据，即得到了经过数据异常值平滑的数据曲线。图6本专利技术流程图。参考文献：[1]SalvadorGarcía,JulianLuengo,Tutorialonpracticaltipsofthemostinfluentialdatapreprocessingalgorithmsindatamining.Knowledge-BasedSystems,2016；98:1-29..[2]J.R.Quinlan,C4.5:ProgramsforMachineLearning,MorganKaufmannPub-lishersInc.,1993.[3]HaoZhou；LifengQiao,Ph.D.；YiJiang,Ph.D.；HejiangSun,Ph.D.；QingyanChen,Ph.D.Recognitionofair-conditioneroperationfromindoorairtemperatureandrelativehumiditybyadataminingapproach.EnergyandBuildings,2016；111:233-241.[4]C.E.Brodley,M.A.Friedl,Identifyingmislabeledtrainingdata,J.Artif.Intell.Res.1999；11:131–167.[5]T.M.Khoshgoftaar,P.Rebours,Improvingsoftwarequalitypredictionbynoisefilteringtechniques,J.Comput.Sci.Technol.2007；22:387–396本文档来自技高网...

【技术保护点】
一种基于快速傅里叶变换的室内空气数据异常值平滑方法，其特征是，步骤如下：1)将原数据曲线进行快速傅里叶变换，将时域数据转化到频域，得到原数据的离散频谱图。2)设置提取频率的阈值，将所有的大于这个阈值的频谱曲线保留，对于小于这个阈值的频谱曲线，将其幅度清零。再将处理结束的频谱曲线反快速傅里叶变换变回时域曲线，所得的时域曲线就是想要获得的残差曲线；3)求残差曲线的平均值和标准差；4)遍历所有的残差数据，利用拉依达准则，挑选出所有超出限制的数据；5)获取4中选中的数据的标号，并将对应标号中的原数据即跳变数据替换成跳变数据两端的正常数据之间的插值，达到平滑的目的。

【技术特征摘要】
1.一种基于快速傅里叶变换的室内空气数据异常值平滑方法，其特征是，步骤如下：1)将原数据曲线进行快速傅里叶变换，将时域数据转化到频域，得到原数据的离散频谱图。2)设置提取频率的阈值，将所有的大于这个阈值的频谱曲线保留，对于小于这个阈值的频谱曲线，将其幅度清零。再将处理结束的频谱曲线反快速傅里叶变换变回时域曲线，所得的时域曲线就是想要获得的残差曲线；3)求残差曲线的平均值和标准差；4)遍历所有...

【专利技术属性】
技术研发人员：孙贺江，徐崇，刘俊杰，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12