System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据库的数据处理方法及装置、存储介质及电子设备制造方法及图纸_技高网

数据库的数据处理方法及装置、存储介质及电子设备制造方法及图纸

技术编号:40039239 阅读:4 留言:0更新日期:2024-01-16 19:27
本申请实施例提供了一种数据库的数据处理方法及装置、存储介质及电子设备,其中,该方法包括:响应于获取到的业务查询指令,确定指定数据库中业务查询指令所查询的业务数据存储在的多个第一数据分片;根据多个第一数据分片中的每个第一数据分片对应的时间段将业务查询指令拆分为多个子查询指令;使用多个子查询指令中的每个子查询指令并行查询对应的第一数据分片,得到多个子查询结果,其中,多个子查询结果中的每个子查询结果包含从对应的第一数据分片中查询到的业务数据;将多个子查询结果合并为目标查询结果,并将目标查询结果发送给目标设备,其中,目标设备为发送业务查询指令的设备。通过本申请提高了业务数据的查询效率。

【技术实现步骤摘要】

本申请实施例涉及大数据,具体而言,涉及一种数据库的数据处理方法及装置、存储介质及电子设备


技术介绍

1、时序数据是随时间不断产生的一系列数据,即时序数据是携带有时间戳的数据。时序数据库(time series database,简称为tsdb)是优化用于摄取、处理和存储时间戳数据的数据库,此类数据可能包括来自服务器和应用程序的指标、来自物联网传感器的读数、网站或应用程序上的用户交互等。

2、在实际的业务场景中,时序数据库需要满足海量数据的存储、跨时间段的数据导出;针对海量数据处理的时序数据库需要部署多个物理节点,虽然能够提高时序数据库的负载能力,但会导致运维成本较高且资源浪费较多;而单机模式下的时序数据库虽然便于维护与部署,但数据查询响应速度较慢无法满足海量数据的快速查询。

3、由此可见,相关技术中数据库的数据处理方法,存在单机情况下数据查询响应速度较慢的技术问题。


技术实现思路

1、本申请实施例提供了一种数据库的数据处理方法及装置、存储介质及电子设备,以至少解决相关技术中数据库的数据处理方法存在单机模式下数据处理效率不高的技术问题。

2、根据本申请的一个实施例,提供了一种数据库的数据处理方法,包括:响应于获取到的业务查询指令,确定指定数据库中所述业务查询指令所查询的业务数据存储在的多个第一数据分片,其中,所述指定数据库中的业务数据按照所属的时间段被分别存储到对应的数据分片内,所述指定数据库中的每个数据分片用于存储一个时间段内的业务数据,所述多个第一数据分片所覆盖的时间范围包含所述业务查询指令所查询的业务数据所属的指定时间段;根据所述多个第一数据分片中的每个第一数据分片对应的时间段将所述业务查询指令拆分为多个子查询指令,其中,所述多个子查询指令中的子查询指令与所述多个第一数据分片中的第一数据分片一一对应;使用所述多个子查询指令中的每个子查询指令并行查询对应的第一数据分片,得到多个子查询结果,其中,所述多个子查询结果中的每个子查询结果包含从对应的第一数据分片中查询到的业务数据;将所述多个子查询结果合并为目标查询结果,并将所述目标查询结果发送给目标设备,其中,所述目标设备为发送所述业务查询指令的设备。

3、根据本申请的又一个实施例,提供了一种数据库的数据处理装置,其特征在于,包括:确定单元,用于响应于获取到的业务查询指令,确定指定数据库中所述业务查询指令所查询的业务数据存储在的多个第一数据分片,其中,所述指定数据库中的业务数据按照所属的时间段被分别存储到对应的数据分片内,所述指定数据库中的每个数据分片用于存储一个时间段内的业务数据,所述多个第一数据分片所覆盖的时间范围包含所述业务查询指令所查询的业务数据所属的指定时间段;拆分单元,用于根据所述多个第一数据分片中的每个第一数据分片对应的时间段将所述业务查询指令拆分为多个子查询指令,其中,所述多个子查询指令中的子查询指令与所述多个第一数据分片中的第一数据分片一一对应;使用单元,用于使用所述多个子查询指令中的每个子查询指令并行查询对应的第一数据分片,得到多个子查询结果,其中,所述多个子查询结果中的每个子查询结果包含从对应的第一数据分片中查询到的业务数据;合并单元,用于将所述多个子查询结果合并为目标查询结果,并将所述目标查询结果发送给目标设备,其中,所述目标设备为发送所述业务查询指令的设备。

4、根据本申请实施例的又一个方面,提供了一种计算机可读的存储介质,计算机可读的存储介质包括存储的程序,其中,程序运行时执行上述任一项方法实施例中的步骤。

5、根据本申请实施例的又一个方面,提供了一种电子设备,包括存储器和处理器,存储器中存储有计算机程序,处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

6、通过本申请实施例,响应于获取到的业务查询指令,确定指定数据库中所查询的业务数据与所属时间段对应的多个第一数据分片,由此,能够确定所查询的业务数据在指定数据库中的具体存储区域;根据多个第一数据分片对应的时间段将业务查询指令拆分为多个与第一数据分片分别对应的子查询指令,由此,能够将业务查询指令拆分为多个子查询指令以便于后续进行并行查询;使用多个子查询指令并行查询多个对应的第一数据分片,得到包含从对应的第一数据分片中查询到的业务数据的多个子查询结果,由此,通过与业务查询指令对应的多个子查询指令进行并行查询能够提高业务数据的查询效率;将多个子查询结果合并为目标查询结果并发送给目标设备,能够在提升查询效率的同时返回与业务查询指令对应的目标查询结果;在单一数据库处理海量数据的情况下,提高了业务数据的查询效率,进而解决了相关技术中数据库的数据处理方法存在单机情况下数据查询响应速度较慢的技术问题。

本文档来自技高网...

【技术保护点】

1.一种数据库的数据处理方法,其特征在于,

2.根据权利要求1所述的方法,其特征在于,所述响应于获取到的业务查询指令,确定指定数据库中所述业务查询指令所查询的业务数据存储在的多个第一数据分片,包括:

3.根据权利要求2所述的方法,其特征在于,所述第一数据表中的数据分片按照时间段的先后顺序依次存储业务数据;

4.根据权利要求1所述的方法,其特征在于,所述响应于获取到的业务查询指令,确定指定数据库中所述业务查询指令所查询的业务数据存储在的多个第一数据分片,包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述多个第一数据分片中的每个第一数据分片对应的时间段将所述业务查询指令拆分为多个子查询指令,包括:

6.根据权利要求1所述的方法,其特征在于,在所述响应于获取到的业务查询指令,确定指定数据库中所述业务查询指令所查询的业务数据存储在的多个第一数据分片之前,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述指令拦截器用于按照以下至少之一的拦截方式进行指令拦截:按照文件进行拦截,按照方法名称进行拦截,按照指定的文件通配符进行拦截;所述指令拦截器使用环绕通知的方式切入到指定业务,以与所述指定业务进行解耦,所述业务查询指令所查询的业务数据为所述指定业务的业务数据。

8.根据权利要求1所述的方法,其特征在于,所述使用所述多个子查询指令中的每个子查询指令并行查询对应的第一数据分片,得到多个子查询结果,包括:

9.根据权利要求8所述的方法,其特征在于,在所述使用所述每个子查询指令并行调用指令执行引擎之后,所述方法还包括:

10.根据权利要求9所述的方法,其特征在于,所述使用所述指定数据库标识、所述第一数据表标识、所述当前磁盘文件的文件标识以及所述当前时间段标识查询所述指定数据库,得到与所述当前子查询指令对应的子查询结果,包括:

11.根据权利要求10所述的方法,其特征在于,在所述调用所述指定数据库的超文本传输协议接口,将所述目标查询信息传入所述指定数据库,得到所述指定数据库返回的所述当前子查询结果之后,所述方法还包括:

12.根据权利要求1所述的方法,其特征在于,在所述将所述多个子查询结果合并为目标查询结果之前,所述方法还包括:

13.根据权利要求1所述的方法,其特征在于,所述使用所述多个子查询指令中的每个子查询指令并行查询对应的第一数据分片,得到多个子查询结果,包括:

14.根据权利要求1所述的方法,其特征在于,所述指定数据库中的每个数据分片与一组指定采集频率中的一个指定采集频率对应,与所述指定数据库中的每个数据分片对应的时间段和与所述指定数据库中的每个数据分片对应的指定采集频率匹配;

15.根据权利要求14所述的方法,其特征在于,在所述获取写入数据请求之后,所述方法还包括:

16.根据权利要求14所述的方法,其特征在于,所述第二数据分片为所述指定数据库中的第二数据表包含的数据分片;在所述将所述目标业务数据写入到所述指定数据库中为所述目标业务数据生成的第二数据分片中之后,所述方法还包括:

17.根据权利要求14所述的方法,其特征在于,在所述获取写入数据请求之后,所述方法还包括:

18.根据权利要求14所述的方法,其特征在于,获取采集到的业务数据以及将业务数据写入到所述指定数据库中的数据分片是由指定采集组件指定的;在所述获取写入数据请求之前,所述方法还包括:

19.根据权利要求1至18中任一项所述的方法,其特征在于,所述指定数据库为时序型数据库,所述时序型数据库以库为单位进行业务数据存储,所述时序型数据库中的每个库中允许存储的业务数据所属的时间段大于所述指定数据库中的每个数据分片中允许存储的同种业务数据所属的时间段;和/或,所述业务查询指令为结构化查询语言SQL查询语句;和/或,将所述业务查询指令拆分为所述多个子查询指令是由用于进行查询指令拆分的指令拆分组件执行的;和/或,使用所述每个子查询指令并行查询对应的第一数据分片是由SQL执行引擎执行的。

20.一种数据库的数据处理装置,其特征在于,

21.一种计算机可读存储介质,其特征在于,

22.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,

...

【技术特征摘要】

1.一种数据库的数据处理方法,其特征在于,

2.根据权利要求1所述的方法,其特征在于,所述响应于获取到的业务查询指令,确定指定数据库中所述业务查询指令所查询的业务数据存储在的多个第一数据分片,包括:

3.根据权利要求2所述的方法,其特征在于,所述第一数据表中的数据分片按照时间段的先后顺序依次存储业务数据;

4.根据权利要求1所述的方法,其特征在于,所述响应于获取到的业务查询指令,确定指定数据库中所述业务查询指令所查询的业务数据存储在的多个第一数据分片,包括:

5.根据权利要求1所述的方法,其特征在于,所述根据所述多个第一数据分片中的每个第一数据分片对应的时间段将所述业务查询指令拆分为多个子查询指令,包括:

6.根据权利要求1所述的方法,其特征在于,在所述响应于获取到的业务查询指令,确定指定数据库中所述业务查询指令所查询的业务数据存储在的多个第一数据分片之前,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述指令拦截器用于按照以下至少之一的拦截方式进行指令拦截:按照文件进行拦截,按照方法名称进行拦截,按照指定的文件通配符进行拦截;所述指令拦截器使用环绕通知的方式切入到指定业务,以与所述指定业务进行解耦,所述业务查询指令所查询的业务数据为所述指定业务的业务数据。

8.根据权利要求1所述的方法,其特征在于,所述使用所述多个子查询指令中的每个子查询指令并行查询对应的第一数据分片,得到多个子查询结果,包括:

9.根据权利要求8所述的方法,其特征在于,在所述使用所述每个子查询指令并行调用指令执行引擎之后,所述方法还包括:

10.根据权利要求9所述的方法,其特征在于,所述使用所述指定数据库标识、所述第一数据表标识、所述当前磁盘文件的文件标识以及所述当前时间段标识查询所述指定数据库,得到与所述当前子查询指令对应的子查询结果,包括:

11.根据权利要求10所述的方法,其特征在于,在所述调用所述指定数据库的超文本传输协议接口,将所述目标查询信息传入所述指定数据库,得到所述指定数据库返回的所述当前子查询结果之后,所述方法还包括:

<...

【专利技术属性】
技术研发人员:孙辽东李世刚张书博
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1