一种数据处理的方法和装置制造方法及图纸

技术编号:30798792 阅读:14 留言:0更新日期:2021-11-16 08:04
本发明专利技术公开了一种数据处理的方法和装置,涉及大数据技术领域。该方法的一具体实施方式包括:接收针对目标数据的获取请求,获取请求包括查询入参;对查询入参进行解析,确定与查询入参对应的各个查询标识;判断缓存中是否存在查询标识,若是,从缓存中获取查询标识对应的查询结果;若否,从数据库中获取查询标识对应的查询结果;拼接各个查询标识的查询结果,得到目标数据。该实施方式能够提升缓存命中率,提高数据查询的效率,缩短数据服务接口的响应时间,进而提升了用户体验。进而提升了用户体验。进而提升了用户体验。

【技术实现步骤摘要】
一种数据处理的方法和装置


[0001]本专利技术涉及大数据
,尤其涉及一种数据处理的方法和装置。

技术介绍

[0002]在互联网领域中,网站和不同移动端的应用程序通过数据服务接口查询数据,由于用户对的体验要求越来越高,对查询数据的要求也越来越高,既要求接口响应速度越来越来,又要求数据查询范围越来越广。
[0003]当用户选择任意组合的维度查询数据时,数据服务接口需要通过OLAP(Online Analytical Processing,联机分析处理)方式聚合数据,这种接口采用明细数据去聚合的方式,导致接口响应速度较慢,当高频次调用接口,且查询数据范围广时,数据处理效率较低,无法快速返回数据查询结果,用户体验较差。

技术实现思路

[0004]有鉴于此,本专利技术实施例提供一种数据处理的方法和装置,通过对目标数据的获取请求中的查询入参进行解析,获得与查询入参对应的各个查询标识,首先从缓存获取查询标识对应的查询结果,如果缓存中不存在对应的查询结果,再从数据库中获取对应的查询结果,进而得到目标数据,提高了查询效率,提升了接口响应速度,进而提升了用户体验。
[0005]为实现上述目的,根据本专利技术实施例的一个方面,提供了一种数据处理的方法,包括:
[0006]接收针对目标数据的获取请求,所述获取请求包括查询入参;
[0007]对所述查询入参进行解析,确定与所述查询入参对应的各个查询标识;
[0008]判断缓存中是否存在所述查询标识,若是,从所述缓存中获取所述查询标识对应的查询结果;若否,从数据库中获取所述查询标识对应的查询结果;
[0009]拼接所述各个查询标识的查询结果,得到所述目标数据。
[0010]可选地,对所述查询入参进行解析,确定与所述查询入参对应的各个查询标识,包括:
[0011]从所述查询入参中解析出时间属性;
[0012]根据所述时间属性,确定所述查询入参对应的待获取的返回值的个数;
[0013]根据所述待获取的返回值的个数,确定与所述查询入参对应的各个查询标识。
[0014]可选地,对所述查询入参进行解析,确定与所述查询入参对应的各个查询标识,包括:
[0015]从所述查询入参中解析出时间属性和维度类型;所述维度类型包括分组维度;
[0016]根据所述时间属性和所述分组维度,确定所述查询入参对应的待获取的返回值的个数;
[0017]根据所述待获取的返回值的个数,确定与所述查询入参对应的各个查询标识。
[0018]可选地,所述维度类型还包括排序维度,所述排序维度指示了排序字段和排序取
值范围;
[0019]拼接所述各个查询标识的查询结果,得到所述目标数据,包括:
[0020]根据所述排序字段,对所述各个查询标识的查询结果进行排序,并根据所述排序取值范围,获取与所述排序取值范围对应的查询结果,以得到所述目标数据。
[0021]可选地,根据所述时间属性和所述分组维度,确定所述查询入参对应的待获取的返回值的个数,包括:
[0022]判断所述分组维度与已配置的分组维度是否匹配;
[0023]若是,根据所述时间属性和所述分组维度的枚举值确定所述待获取的返回值的个数;若否,根据所述时间属性确定所述待获取的返回值的个数。
[0024]可选地,对所述查询入参进行解析,确定与所述查询入参对应的各个查询标识,包括:
[0025]从所述查询入参中解析出时间属性和维度类型;所述维度类型包括限制维度,所述限制维度指示了枚举值;
[0026]根据所述时间属性和所述枚举值,确定所述查询入参对应的待获取的返回值的个数;
[0027]根据所述待获取的返回值的个数,确定与所述查询入参对应的各个查询标识。
[0028]可选地,根据所述待获取的返回值的个数,确定与所述查询入参对应的各个查询标识,包括:
[0029]判断所述待获取的返回值的个数是否大于1;
[0030]若否,确定与所述查询入参对应的一个查询标识;
[0031]若是,判断所述缓存中所述待获取的返回值的个数是否不小于预设阈值,若是,对所述查询入参进行拆解,确定与所述查询入参对应的各个查询标识,若否,不进行拆解,确定与所述查询入参对应的一个查询标识。
[0032]可选地,对所述查询入参进行解析,确定与所述查询入参对应的各个查询标识,还包括:
[0033]从所述查询入参解析出时间属性,所述时间属性包括开始时间、结束时间和时间粒度,
[0034]根据所述开始时间、结束时间和时间粒度,异步生成与所述查询入参对应的新时间查询标识;
[0035]其中,所述新时间查询标识的结束时间为所述查询入参的结束时间与所述时间粒度的加和。
[0036]可选地,从数据库中获取所述查询标识对应的查询结果之后,还包括:
[0037]判断所述查询结果中返回值的个数是否大于1;
[0038]若是,将所述查询结果和所述查询结果对应的查询标识对应存储在缓存中;
[0039]若否,根据所述查询结果中返回值的个数,对所述查询结果与所述查询结果对应的查询标识进行拆解,获得子查询标识和所述子查询标识对应的返回值,并将所述子查询标识和所述子查询标识对应的返回值对应存储在所述缓存中。
[0040]本专利技术实施例的另一方面提供一种数据处理的装置,包括:
[0041]接收模块,接收针对目标数据的获取请求,所述获取请求包括查询入参;
[0042]确定模块,对所述查询入参进行解析,确定与所述查询入参对应的各个查询标识;
[0043]判断模块,判断缓存中是否存在所述查询标识,若是,从所述缓存中获取所述查询标识对应的查询结果;若否,从数据库中获取所述查询标识对应的查询结果;
[0044]拼接模块,拼接所述各个查询标识的查询结果,得到所述目标数据。
[0045]根据本专利技术实施例的另一个方面,提供了一种电子设备,包括:
[0046]一个或多个处理器;
[0047]存储装置,用于存储一个或多个程序,
[0048]当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本专利技术提供的数据处理的方法。
[0049]根据本专利技术实施例的还一个方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本专利技术提供的数据处理的方法。
[0050]上述专利技术中的一个实施例具有如下优点或有益效果:通过对目标数据的获取请求中的查询入参进行解析,获得与查询入参对应的各个查询标识,首先从缓存获取查询标识对应的查询结果,如果缓存中不存在对应的查询结果,再从数据库中获取对应的查询结果,进而得到目标数据,提高了查询效率,提升了接口响应速度,进而提升了用户体验。
[0051]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
[0052]本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据处理的方法,其特征在于,包括:接收针对目标数据的获取请求,所述获取请求包括查询入参;对所述查询入参进行解析,确定与所述查询入参对应的各个查询标识;判断缓存中是否存在所述查询标识,若是,从所述缓存中获取所述查询标识对应的查询结果;若否,从数据库中获取所述查询标识对应的查询结果;拼接所述各个查询标识的查询结果,得到所述目标数据。2.根据权利要求1所述的方法,其特征在于,对所述查询入参进行解析,确定与所述查询入参对应的各个查询标识,包括:从所述查询入参中解析出时间属性;根据所述时间属性,确定所述查询入参对应的待获取的返回值的个数;根据所述待获取的返回值的个数,确定与所述查询入参对应的各个查询标识。3.根据权利要求1所述的方法,其特征在于,对所述查询入参进行解析,确定与所述查询入参对应的各个查询标识,包括:从所述查询入参中解析出时间属性和维度类型;所述维度类型包括分组维度;根据所述时间属性和所述分组维度,确定所述查询入参对应的待获取的返回值的个数;根据所述待获取的返回值的个数,确定与所述查询入参对应的各个查询标识。4.根据权利要求3所述的方法,其特征在于,所述维度类型还包括排序维度,所述排序维度指示了排序字段和排序取值范围;拼接所述各个查询标识的查询结果,得到所述目标数据,包括:根据所述排序字段,对所述各个查询标识的查询结果进行排序,并根据所述排序取值范围,获取与所述排序取值范围对应的查询结果,以得到所述目标数据。5.根据权利要求3所述的方法,其特征在于,根据所述时间属性和所述分组维度,确定所述查询入参对应的待获取的返回值的个数,包括:判断所述分组维度与已配置的分组维度是否匹配;若是,根据所述时间属性和所述分组维度的枚举值确定所述待获取的返回值的个数;若否,根据所述时间属性确定所述待获取的返回值的个数。6.根据权利要求1所述的方法,其特征在于,对所述查询入参进行解析,确定与所述查询入参对应的各个查询标识,包括:从所述查询入参中解析出时间属性和维度类型;所述维度类型包括限制维度,所述限制维度指示了枚举值;根据所述时间属性和所述枚举值,确定所述查询入参对应的待获取的返回值的个数;根据所述待获取的返回值的个数,确定与所述查询入参对应的各个查询标识。7.根据权利要求2

...

【专利技术属性】
技术研发人员:屠志强
申请(专利权)人:北京京东世纪贸易有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1