System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据分析,尤其是涉及一种时间序列数据检重的方法、装置和设备。
技术介绍
1、随着物联网相关技术的发展时序数据正在大量产生,针对时序时间的分析处理可以挖掘出有价值的数据,但是在时序数据的产生和处理过程中,由于数据源头抖动或者中间环节处理程序的异常等会产生重复的时序数据。
2、因为时序数据本身具有数量大的特点,因此重复的时序数据将会极大的降低时序数据的质量。
技术实现思路
1、本专利技术的目的在于提供一种时间序列数据检重的方法、装置和设备,以缓解了现有技术中存在的时序数据质量较低的技术问题。
2、本专利技术提供了一种时间序列数据检重方法,包括:
3、设置去重周期;
4、获取待处理时序数据,所述待处理时序数据具有对应的时序值;
5、当所述待处理时序数据的时序值不在当前时序数据的去重周期内时,将所述待处理时序数据保存至时序数据集合,所述当前时序数据为所述时序数据集合中的任意一条时序数据,所述时序数据集合中的时序数据为已处理过的时序数据。
6、在可能的实施方式中,确定所述待处理时序数据的时序值是否在当前时序数据的去重周期内,包括:
7、基于所述待处理时序数据的时序值与所述当前时序数据的时序值之间的绝对差值,判断所述绝对差值是否在所述当前时序数据的去重周期内。
8、在可能的实施方式中,确定所述待处理时序数据的时序值是否在当前时序数据的去重周期内,包括:
9、当所述待处理时序
10、在可能的实施方式中,确定所述待处理时序数据的时序值是否在当前时序数据的去重周期内之前,包括:
11、获取所述当前时序数据的当前标识位状态,所述标识位状态包括无数据状态和有数据状态。
12、在可能的实施方式中,确定所述待处理时序数据的时序值是否在当前时序数据的去重周期内之后,包括:
13、若保存所述待处理时序数据,则更新所述当前标识位状态。
14、在可能的实施方式中,更新所述当前标识位状态,包括:
15、保存待处理时序数据时,获取当前时序数据的当前标识位状态,所述当前标识位状态为无数据状态,将所述当前标识位状态更新为有数据状态。
16、在可能的实施方式中,更新所述当前标识位状态,包括:
17、删除待处理时序数据时,获取当前时序数据的当前标识位状态,所述当前标识位状态为有数据状态,所述当前时序数据的标识位状态不变。
18、在可能的实施方式中,所述设置去重周期,包括:
19、根据业务场景确定所述去重周期的大小。
20、在可能的实施方式中,所述获取待处理时序数据,包括:
21、基于预处理规则,对时序数据进行分组,得到若干个待处理时序数据组。
22、本专利技术还提供一种时间序列数据检重装置,包括:
23、设置模块,用于设置去重周期;
24、获取模块,用于获取待处理时序数据,所述待处理时序数据具有对应的时序值;
25、检重模块,用于当所述待处理时序数据的时序值不在当前时序数据的去重周期内时,将所述待处理时序数据保存至时序数据集合,所述当前时序数据为所述时序数据集合中的任意一条时序数据,所述时序数据集合中的时序数据为已处理过的时序数据。
26、本专利技术还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序实现如上述任一项所述一种时间序列数据检重方法的步骤。
27、本专利技术提供的一种时间序列数据检重的方法、装置和设备,通过设置去重周期,确认待处理时序数据是否落入当前时序数据的去重周期内,若未落入,则保留当前时序数据,从而提高时序数据的质量。
本文档来自技高网...【技术保护点】
1.一种时间序列数据检重方法,其特征在于,包括:
2.根据权利要求1所述的一种时间序列数据检重方法,其特征在于,确定所述待处理时序数据的时序值是否在当前时序数据的去重周期内,包括:
3.根据权利要求1所述的一种时间序列数据检重方法,其特征在于,确定所述待处理时序数据的时序值是否在当前时序数据的去重周期内,包括:
4.根据权利要求1所述的一种时间序列数据检重方法,其特征在于,确定所述待处理时序数据的时序值是否在当前时序数据的去重周期内之前,包括:
5.根据权利要求4所述的一种时间序列数据检重方法,其特征在于,确定所述待处理时序数据的时序值是否在当前时序数据的去重周期内之后,包括:
6.根据权利要求5所述的一种时间序列数据检重方法,其特征在于,更新所述当前标识位状态,包括:
7.根据权利要求5所述的一种时间序列数据检重方法,其特征在于,更新所述当前标识位状态,包括:
8.根据权利要求1所述的一种时间序列数据检重方法,其特征在于,所述设置去重周期,包括:
9.一种时间序列数据检重装置,其特征
10.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序实现如权利要求1至8任一项所述一种时间序列数据检重方法的步骤。
...【技术特征摘要】
1.一种时间序列数据检重方法,其特征在于,包括:
2.根据权利要求1所述的一种时间序列数据检重方法,其特征在于,确定所述待处理时序数据的时序值是否在当前时序数据的去重周期内,包括:
3.根据权利要求1所述的一种时间序列数据检重方法,其特征在于,确定所述待处理时序数据的时序值是否在当前时序数据的去重周期内,包括:
4.根据权利要求1所述的一种时间序列数据检重方法,其特征在于,确定所述待处理时序数据的时序值是否在当前时序数据的去重周期内之前,包括:
5.根据权利要求4所述的一种时间序列数据检重方法,其特征在于,确定所述待处理时序数据的时序值是否在当前时序数...
【专利技术属性】
技术研发人员:白晨旭,曹文洁,万月亮,
申请(专利权)人:北京锐安科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。