System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据处理方法、装置、设备及存储介质制造方法及图纸_技高网

数据处理方法、装置、设备及存储介质制造方法及图纸

技术编号:40415695 阅读:9 留言:0更新日期:2024-02-20 22:32
本申请提供一种数据处理方法、装置、设备及存储介质,应用于时序数据库中的存储引擎,该方法包括:获取数据存储语句,数据存储语句中包括:目标对象的标识以及目标对象的待存储数据,待存储数据中包括:存储时间;根据存储时间,确定目标对象在存储引擎中对应的目标存储分区,其中,存储引擎中包括多个分区,各分区分别用于存储一个预设时段的数据;根据目标对象的标识进行哈希处理,确定目标对象的标识以及待存储数据在目标存储分区中的目标存储位置;将目标对象的标识以及待存储数据存储至目标存储位置。减少索引数量,提高数据存储及查询效率。

【技术实现步骤摘要】

本申请涉及时序数据库,具体而言,涉及一种数据处理方法、装置、设备及存储介质


技术介绍

1、时序数据库是用于存储和查询时间序列数据的数据库系统,时序数据库最常见的应用场景为点查,点查表示在大量数据中查询某条时间线在某个时间段内的数据。时序数据库针对数据按时海量写入无更新的场景,追求快速写入、高压缩以及快速检索数据。时序数据库会建立索引,以提高查询性能。

2、当时间线较多,数据又较稀疏即每条时间线的数据都较少时,会存在索引数量过多的问题,进而导致索引占据内存过多、数据写入速度、压缩效率以及分析效率较低。


技术实现思路

1、本申请的目的在于,针对上述现有技术中的不足,提供一种数据处理方法、装置、设备及存储介质,以解决现有技术中索引占据内存过多、数据写入速度、压缩效率以及分析效率较低的实际需要的问题。

2、为实现上述目的,本申请实施例采用的技术方案如下:

3、第一方面,本申请实施例提供一种数据处理方法,应用于时序数据库中的存储引擎,所述方法包括:

4、获取数据存储语句,所述数据存储语句中包括:目标对象的标识以及所述目标对象的待存储数据,所述待存储数据中包括:存储时间;

5、根据所述存储时间,确定所述目标对象在所述存储引擎中对应的目标存储分区,其中,所述存储引擎中包括多个分区,各分区分别用于存储一个预设时段的数据;

6、根据所述目标对象的标识进行哈希处理,确定所述目标对象的标识以及所述待存储数据在所述目标存储分区中的目标存储位置;

7、将所述目标对象的标识以及所述待存储数据存储至所述目标存储位置。

8、作为一种可选的实现方式,所述根据所述存储时间,确定所述目标对象在所述存储引擎中对应的目标存储分区,包括:

9、根据所述存储时间,确定所述存储时间所在的目标存储时段;

10、将所述目标存储时段对应的分区作为所述目标对象在所述存储引擎中对应的目标存储分区。

11、作为一种可选的实现方式,所述根据所述目标对象的标识进行哈希处理,确定所述目标对象的标识以及所述待存储数据在所述目标存储分区中的目标存储位置,包括:

12、以所述目标对象的标识作为输入参数,调用所述存储引擎中的预设哈希函数,以通过所述预设哈希函数对所述目标对象的标识进行哈希处理,得到目标哈希值,根据所述目标哈希值确定所述目标存储位置。

13、作为一种可选的实现方式,所述方法还包括:

14、获取数据查询语句,所述数据查询语句中包括:所述目标对象的标识以及目标查询时间;

15、根据所述目标查询时间,确定目标查询分区;

16、根据所述目标对象的标识进行哈希处理,确定所述目标对象的查询结果在所述目标查询分区中的至少一个待选位置;

17、根据所述至少一个待选位置,确定所述查询结果在所述目标查询分区中的目标查询位置;

18、将所述目标查询位置上存储的数据作为所述目标对象的查询结果。

19、作为一种可选的实现方式,所述根据所述目标查询时间,确定目标查询分区,包括:

20、根据所述目标查询时间,确定所述目标查询时间所在的目标查询时段;

21、将所述目标查询时段对应的分区作为所述目标查询分区。

22、作为一种可选的实现方式,所述根据所述目标对象的标识进行哈希处理,确定所述目标对象的查询结果在所述目标查询分区中的至少一个待选位置,包括:

23、以所述目标对象的标识作为输入参数,调用所述存储引擎中的预设哈希函数,以通过所述预设哈希函数对所述目标对象的标识进行哈希处理,确定目标哈希值;

24、将所述目标哈希值对应的各位置分别作为一个待选位置。

25、作为一种可选的实现方式,所述根据所述至少一个待选位置,确定所述查询结果在所述目标查询分区中的目标查询位置,包括:

26、若所述数据查询语句中包括时间过滤信息,则根据所述时间过滤信息对所述至少一个待选位置进行过滤,得到所述目标查询位置。

27、第二方面,本申请实施例提供一种数据处理装置,应用于时序数据库中的存储引擎,所述装置包括:

28、获取模块,用于获取数据存储语句,所述数据存储语句中包括:目标对象的标识以及所述目标对象的待存储数据,所述待存储数据中包括:存储时间;

29、确定模块,用于根据所述存储时间,确定所述目标对象在所述存储引擎中对应的目标存储分区,其中,所述存储引擎中包括多个分区,各分区分别用于存储一个预设时段的数据;

30、所述确定模块,还用于根据所述目标对象的标识进行哈希处理,确定所述目标对象的标识以及所述待存储数据在所述目标存储分区中的目标存储位置;

31、存储模块,用于将所述目标对象的标识以及所述待存储数据存储至所述目标存储位置。

32、作为一种可选的实现方式,所述确定模块具体用于:

33、根据所述存储时间,确定所述存储时间所在的目标存储时段;

34、将所述目标存储时段对应的分区作为所述目标对象在所述存储引擎中对应的目标存储分区。

35、作为一种可选的实现方式,所述确定模块具体用于:

36、以所述目标对象的标识作为输入参数,调用所述存储引擎中的预设哈希函数,以通过所述预设哈希函数对所述目标对象的标识进行哈希处理,得到目标哈希值,根据所述目标哈希值确定所述目标存储位置。

37、作为一种可选的实现方式,所述确定模块还用于:

38、获取数据查询语句,所述数据查询语句中包括:所述目标对象的标识以及目标查询时间;

39、根据所述目标查询时间,确定目标查询分区;

40、根据所述目标对象的标识进行哈希处理,确定所述目标对象的查询结果在所述目标查询分区中的至少一个待选位置;

41、根据所述至少一个待选位置,确定所述查询结果在所述目标查询分区中的目标查询位置;

42、将所述目标查询位置上存储的数据作为所述目标对象的查询结果。

43、作为一种可选的实现方式,所述确定模块具体用于:

44、根据所述目标查询时间,确定所述目标查询时间所在的目标查询时段;

45、将所述目标查询时段对应的分区作为所述目标查询分区。

46、作为一种可选的实现方式,所述确定模块具体用于:

47、以所述目标对象的标识作为输入参数,调用所述存储引擎中的预设哈希函数,以通过所述预设哈希函数对所述目标对象的标识进行哈希处理,确定目标哈希值;

48、将所述目标哈希值对应的各位置分别作为一个待选位置。

49、作为一种可选的实现方式,所述确定模块具体用于:

50、若所述数据查询语句中包括时间过滤信息,则根据所述时间过滤信息对所述至少一个待选位置进行过滤,得到所述目标查询位置。

51、第三方面本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,应用于时序数据库中的存储引擎,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述存储时间,确定所述目标对象在所述存储引擎中对应的目标存储分区,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述目标对象的标识进行哈希处理,确定所述目标对象的标识以及所述待存储数据在所述目标存储分区中的目标存储位置,包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述目标查询时间,确定目标查询分区,包括:

6.根据权利要求4所述的方法,其特征在于,所述根据所述目标对象的标识进行哈希处理,确定所述目标对象的查询结果在所述目标查询分区中的至少一个待选位置,包括:

7.根据权利要求4所述的方法,其特征在于,所述根据所述至少一个待选位置,确定所述查询结果在所述目标查询分区中的目标查询位置,包括:

8.一种数据处理装置,其特征在于,应用于时序数据库中的存储引擎,所述装置包括:

9.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述处理器执行所述机器可读指令,以执行时执行如权利要求1至7任一所述的数据处理方法的步骤。

10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至7任一所述的数据处理方法的步骤。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,应用于时序数据库中的存储引擎,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述存储时间,确定所述目标对象在所述存储引擎中对应的目标存储分区,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述目标对象的标识进行哈希处理,确定所述目标对象的标识以及所述待存储数据在所述目标存储分区中的目标存储位置,包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述根据所述目标查询时间,确定目标查询分区,包括:

6.根据权利要求4所述的方法,其特征在于,所述根据所述目标对象的标识进行哈希处理,确定所述目标对象的查询结果在所述目标查询分...

【专利技术属性】
技术研发人员:胡津铭杨宇轩隋鹏飞周小华
申请(专利权)人:浙江智臾科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1