一种剔除异常值的方法和装置制造方法及图纸

本发明专利技术公开了一种剔除异常值的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：以消除增长趋势的方式对周期性历史时序数据进行平滑处理，得到平滑时序数据；采用隐马尔科夫模型对所述平滑时序数据进行计算，得到计算时序数据；基于所述计算时序数据识别所述平滑时序数据中的异常值，并剔除所述异常值。该实施方式能够解决无法准确识别周期性历史时序数据中的异常值的技术问题。

【技术实现步骤摘要】
一种剔除异常值的方法和装置
本专利技术涉及计算机
，尤其涉及一种剔除异常值的方法和装置。
技术介绍
目前，针对周期性历史时序数据的异常值剔除方法，一般采用利用各个数据的周边数据的统计信息，比如均值、方差等信息，设置一定的阈值范围，对于不在该范围的异常值进行剔除；同样，也可以采用样条拟合的方法，对数据进行平滑，然后对异常范围的数据进行剔除。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：现有技术针对这种周期性历史时序数据，并未考虑到数据的增长性、周期性等因素。比如历史数据是一个持续高速增长的序列，利用历史数据的统计值信息，未来的很多数据可能都会被认为是异常值，从而被剔除。另外，针对很多周期性数据，只是利用数据附近的序列来分析，其很大可能被认为是异常值。考虑到历史同期的序列数据，这是数据的一个正常表现，不能当作异常值进行剔除。
技术实现思路
有鉴于此，本专利技术实施例提供一种剔除异常值的方法和装置，以解决无法准确识别周期性历史时序数据中的异常值的技术问题。为实现上述目的，根据本专利本文档来自技高网...

【技术保护点】
1.一种剔除异常值的方法，其特征在于，包括：/n以消除增长趋势的方式对周期性历史时序数据进行平滑处理，得到平滑时序数据；/n采用隐马尔科夫模型对所述平滑时序数据进行计算，得到计算时序数据；/n基于所述计算时序数据识别所述平滑时序数据中的异常值，并剔除所述异常值。/n

【技术特征摘要】
1.一种剔除异常值的方法，其特征在于，包括：
以消除增长趋势的方式对周期性历史时序数据进行平滑处理，得到平滑时序数据；
采用隐马尔科夫模型对所述平滑时序数据进行计算，得到计算时序数据；
基于所述计算时序数据识别所述平滑时序数据中的异常值，并剔除所述异常值。


2.根据权利要求1所述的方法，其特征在于，以消除增长趋势的方式对周期性历史时序数据进行平滑处理，得到平滑时序数据，包括：
对周期性历史时序数据中每个周期内的时序数据分别进行求和，得到转换时序数据；
计算所述转换时序数据的增长速度；
根据所述转换时序数据的增长速度和所述周期性历史时序数据的周期，计算所述周期性历史时序数据的增长速度；
采用所述周期性历史时序数据的增长速度对所述周期性历史时序数据进行平滑处理，得到平滑时序数据。


3.根据权利要求2所述的方法，其特征在于，计算所述转换时序数据的增长速度，包括：
采用线性回归方法计算所述转换时序数据的增长速度；
和/或，
根据所述转换时序数据的增长速度和所述周期性历史时序数据的周期，计算所述周期性历史时序数据的增长速度，包括：
将所述转换时序数据的增长速度除以所述周期性历史时序数据的周期，得到的商作为所述周期性历史时序数据的增长速度。


4.根据权利要求3所述的方法，其特征在于，采用所述周期性历史时序数据的增长速度对所述周期性历史时序数据进行平滑处理，得到平滑时序数据，包括：
平滑时序数据中的数据点描述为：
Xi-(posi-1)*t/m
其中，posi为所述数据点在所述周期性历史时序数据中的位置，Xi为所述周期性历史时序数据中posi位置的数据，t为所述转换时序数据的增长速度，m为所述周期性历史时序数据的周期。
<...

【专利技术属性】
技术研发人员：崔汝伟，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：北京;11