System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、设备及存储介质制造方法及图纸_技高网

数据处理方法、装置、设备及存储介质制造方法及图纸

技术编号:40555960 阅读:9 留言:0更新日期:2024-03-05 19:16
本发明专利技术涉及计算机领域,公开了一种数据处理方法、装置、设备及存储介质。该方法包括:接收数据处理请求,并根据待处理数据,生成时间序列数据;根据时间序列数据,获取时间序列数据中的空值,并通过滑动窗口算法,从待处理数据中获取距离空值对应时间点最近的对应数据;根据距离空值对应时间点最近的对应数据、以及预设最大空值时间,将距离空值对应时间点最近的对应数据填入到空值对应的位置;导出填入空值后的时间序列数据。在本发明专利技术实施例中,能将不标准的时间序列数据变成均匀化时间序列数据,并对对应时间序列数据进行补全处理操作,从而提高时间序列数据值的精度。

【技术实现步骤摘要】

本专利技术涉及计算机领域,尤其涉及一种数据处理方法、装置、设备及存储介质


技术介绍

1、随着计算机智能感知技术、计算能力以及存储技术的不断发展,每天都能获取到十分庞大的数据量,在这些数据中有很多知识是值得我们去挖掘的。时间序列数据是一种按时间顺序进行观测得到的观测数据集合,其在很多不同种类的应用中都广泛出现。

2、目前绝大部分的对时间序列数据进行预处理的方法都是基于简单的进行线性插值、补充前/后值、删除数据行的操作,或者是直接对一整段连续空白时间段补全数据的解决方法。所以现有对时序数据预处理方法较为简单,导致时间序列数据的值的精度低。


技术实现思路

1、本专利技术的主要目的在于解决时间序列数据值的精度低的技术问题。

2、本专利技术第一方面提供了一种数据处理方法,所述数据处理方法包括:

3、接收数据处理请求,所述数据处理请求中携带有待处理数据,并根据所述待处理数据,生成时间序列数据,所述时间序列数据是根据预设时间间隔生成的;

4、根据所述时间序列数据,获取所述时间序列数据中的空值,并通过滑动窗口算法,从所述待处理数据中获取距离空值对应时间点最近的对应数据;

5、根据所述距离空值对应时间点最近的对应数据、以及预设最大空值时间,将所述距离空值对应时间点最近的对应数据填入到所述空值对应的位置;

6、导出填入空值后的时间序列数据。

7、可选的,在本专利技术第一方面的第一种实现方式中,所述时间序列数据中的空值有多个;

8、所述根据所述距离空值对应时间点最近的对应数据、以及预设最大空值时间,将所述距离空值对应时间点最近的对应数据填入到所述空值对应的位置包括:

9、获取第一空值,所述第一空值是从所述时间序列数据中随机抽取的首个空值;

10、获取距离第一空值对应时间点最近的对应数据,根据所述距离第一空值对应时间点最近的对应数据、以及所述第一空值,得到所述对应数据与所述第一空值的时间差;

11、将所述时间差与预设最大空值时间比较,判断是否将所述距离第一空值对应时间点最近的对应数据填入到所述第一空值对应的位置。

12、可选的,在本专利技术第一方面的第二种实现方式中,所述将所述时间差与预设最大空值时间比较,判断是否将所述距离第一空值对应时间点最近的对应数据填入到所述第一空值对应的位置包括:

13、将所述时间差与预设最大空值时间比较,若所述时间差不大于预设最大空值时间,则将所述距离第一空值对应时间点最近的对应数据填入到所述第一空值对应的位置;

14、若所述时间差大于预设最大空值时间,则删除所述第一空值在所述时间序列数据中对应的数据行。

15、可选的,在本专利技术第一方面的第三种实现方式中,所述若所述时间差大于预设最大空值时间,则删除所述第一空值在所述时间序列数据中对应的数据行包括:

16、若所述时间差大于预设最大空值时间,则删除所述第一空值在所述时间序列数据中对应的数据行,并获取第二空值,所述第二空值是从所述时间序列数据的剩下空值中随机抽取的;

17、通过滑动窗口算法,从所述待处理数据中获取距离第二空值对应时间点最近的对应数据,以将所述距离第二空值对应时间点最近的对应数据填入到所述第二空值对应的位置;

18、获取下个空值对应时间点最近的对应数据来填充空值,直至所述时间序列数据中的空值为空。

19、可选的,在本专利技术第一方面的第四种实现方式中,所述根据所述时间序列数据,获取所述时间序列数据中的空值,并通过滑动窗口算法,从所述待处理数据中获取距离空值对应时间点最近的对应数据包括:

20、设置滑动窗口大小;

21、获取所述时间序列数据中的空值;

22、根据所述滑动窗口大小,通过滑动窗口算法,从所述待处理数据中查找距离空值对应时间点最近的对应数据。

23、可选的,在本专利技术第一方面的第五种实现方式中,所述根据所述待处理数据,生成时间序列数据包括:

24、获取所述待处理数据中的坏点数据;

25、通过预设数据填充策略中一个或多个策略,处理所述坏点数据,所述预设数据填充策略包括线性插值、填充前值、填充后值、就近数据填充;

26、根据处理的坏点数据,生成时间序列数据。

27、可选的,在本专利技术第一方面的第六种实现方式中,所述根据处理的坏点数据,生成时间序列数据包括:

28、设置时间序列起始时间及间隔时间;

29、根据所述时间序列起始时间、所述间隔时间以及处理的坏点数据,生成时间序列数据。

30、本专利技术第二方面提供了一种数据处理设备,包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;所述至少一个处理器调用所述存储器中的所述指令,以使得所述数据处理设备执行上述的数据处理方法。

31、本专利技术的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述的数据处理方法。

32、在本专利技术实施例中,接收数据处理请求,所述数据处理请求中携带有待处理数据,并根据所述待处理数据,生成时间序列数据,所述时间序列数据是根据预设时间间隔生成的;根据所述时间序列数据,获取所述时间序列数据中的空值,并通过滑动窗口算法,从所述待处理数据中获取距离空值对应时间点最近的对应数据;根据所述距离空值对应时间点最近的对应数据、以及预设最大空值时间,将所述距离空值对应时间点最近的对应数据填入到所述空值对应的位置;导出填入空值后的时间序列数据。在本专利技术中,通过滑动窗口算法,从待处理数据中获取距离空值对应时间点最近的对应数据,根据预设最大空值时间,将距离空值对应时间点最近的对应数据填入到空值对应的位置,能将不标准的时间序列数据变成均匀化时间序列数据,并对对应时间序列数据进行补全处理操作,从而提高时间序列数据值的精度。

本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述数据处理方法包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述时间序列数据中的空值有多个;

3.根据权利要求2所述的数据处理方法,其特征在于,所述将所述时间差与预设最大空值时间比较,判断是否将所述距离第一空值对应时间点最近的对应数据填入到所述第一空值对应的位置包括:

4.根据权利要求3所述的数据处理方法,其特征在于,所述若所述时间差大于预设最大空值时间,则删除所述第一空值在所述时间序列数据中对应的数据行包括:

5.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述时间序列数据,获取所述时间序列数据中的空值,并通过滑动窗口算法,从所述待处理数据中获取距离空值对应时间点最近的对应数据包括:

6.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述待处理数据,生成时间序列数据包括:

7.根据权利要求6所述的数据处理方法,其特征在于,所述根据处理的坏点数据,生成时间序列数据包括:

8.一种数据处理装置,其特征在于,所述数据处理装置包括:>

9.一种数据处理设备,其特征在于,所述数据处理设备包括:存储器和至少一个处理器,所述存储器中存储有指令,所述存储器和所述至少一个处理器通过线路互连;

10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的数据处理方法。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述数据处理方法包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述时间序列数据中的空值有多个;

3.根据权利要求2所述的数据处理方法,其特征在于,所述将所述时间差与预设最大空值时间比较,判断是否将所述距离第一空值对应时间点最近的对应数据填入到所述第一空值对应的位置包括:

4.根据权利要求3所述的数据处理方法,其特征在于,所述若所述时间差大于预设最大空值时间,则删除所述第一空值在所述时间序列数据中对应的数据行包括:

5.根据权利要求1所述的数据处理方法,其特征在于,所述根据所述时间序列数据,获取所述时间序列数据中的空值,并通过滑动窗口算法,从所述待处理数据中获取距...

【专利技术属性】
技术研发人员:饶璐万正勇
申请(专利权)人:九科信息技术深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1