一种乱序流式数据的降频方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种乱序流式数据的降频方法、装置、设备及存储介质，其包括：获取乱序流式数据，并通过对所述乱序流式数据进行解析，获取所述乱序流式数据的时间序列值；根据所述乱序流式数据的时间序列值和预置的数据降频频率，计算所述乱序流式数据降频后的时间序列值；利用所述降频后的时间序列值对所述乱序流式数据进行数据降频处理，得到降频后的乱序流式数据。乱序流式数据。乱序流式数据。

【技术实现步骤摘要】
一种乱序流式数据的降频方法、装置、设备及存储介质


[0001]本申请涉及物联网通讯
，具体地，涉及一种乱序流式数据的降频方法、装置、设备及存储介质。

技术介绍

[0002]伴随着物联网、大数据等技术的不断发展和成熟，时序数据在工业界占据了很大的比重，时序数据是按时间戳排列形成的有序数据，比如一段时间内的空调温度、震动频率、服务器CPU使用率等。其通常具有写入速度快，写多读少等特点。
[0003]传统的降低时序数据频率方法，要求建立一个字典存储，将时间戳进行转换并且存储。每次读取到乱序时序数据时，需要判断该数据所在的时间区间是否已经存在数据，如果判断已经存在则直接丢弃，否则进行下一步的处理。
[0004]因为物联网时序数据的最大特点是高频及7*24小时不断运行，那么需要建立的字典存储需要较多的内存，且普通的字典只能由程序所在的服务器访问，无法支撑海量数据下的分布式场景。

技术实现思路

[0005]本申请实施例提供了一种乱序流式数据的降频方法、装置、设备及存储介质，以解决现有的在内存受限及分布式系统中无法运行的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种乱序流式数据的降频方法，其特征在于，包括：获取乱序流式数据，并通过对所述乱序流式数据进行解析，获取所述乱序流式数据的时间序列值；根据所述乱序流式数据的时间序列值和预置的数据降频频率，计算所述乱序流式数据降频后的时间序列值；利用所述降频后的时间序列值对所述乱序流式数据进行数据降频处理，得到降频后的乱序流式数据。2.根据权利要求1所述的方法，其特征在于，还包括：通过对所述乱序流式数据进行解析，获取所述乱序流式数据的关键字信息；根据所述关键字信息，查询Redis Cluster数据分片集群中是否已构建所述关键字信息相对应的Bloom Filter数据结构；当查询Redis Cluster数据分片集群中已构建所述关键字信息相对应的Bloom Filter数据结构时，则获取所述Bloom Filter数据结构的对象引用；当查询Redis Cluster数据分片集群中未构建所述关键字信息相对应的Bloom Filter数据结构时，则构建所述关键字信息相对应的Bloom Filter数据结构，并为所述关键字信息的Bloom Filter数据结构配置对象引用。3.根据权利要求2所述的方法，其特征在于，所述构建所述关键字信息相对应的Bloom Filter数据结构包括：设置乱序流式数据的最大数据个数；设置允许的误差几率；设置多个hash函数。4.根据权利要求1所述的方法，其特征在于，所述根据所述乱序流式数据的时间序列值和预置的数据降频频率，计算所述乱序流式数据降频后的时间序列值包括：降频后的时间序列值＝时间序列值/数据降频频率*1000。5.根据权利要求2所述的方法，其特征在于，所述利用所述降频后的时间序列值对所述乱序流式数据进行数据降频处理，得到降频后的乱序流式数据包括：判断所述Bloom Filter数据结构中是否已存储所述降频后的时间序列值；当判断所述Bloom Filter数据结构中已存储所述降频后的时间序列值，则丢弃所述降频后的时间序列值；当判断所述Bloom Filter数据结构中未存储所述降频后的时间序列值，则将所述降频后的时间序列值保存至所述Bloom Filt...

【专利技术属性】
技术研发人员：臧大昕，王浩强，司红燕，程臻，谢葳，刘中林，
申请(专利权)人：中车信息技术有限公司，
类型：发明
国别省市：