度量平台数据查询方法及装置、可读存储介质及终端制造方法及图纸

本发明专利技术提供一种度量平台数据查询方法及装置、可读存储介质以及终端。其中方法包括：判断查询请求中的预查询条件是否符合预设过滤条件；根据预设切片条件对查询条件中的查询时间区间进行切片；并与查询条件中的其它条件组合成组合查询条件；依次根据组合查询条件在缓存数据库中查询缓存数据；若全查询到，则对查询到的所有缓存数据进行读取并聚合封装发送给客户端，否则依次根据未查询到缓存数据的组合查询条件在时序列数据库中查询指标数据，并将查询到的指标数据聚合封装发送给客户端。本发明专利技术提供的度量平台数据查询方法根据用户的查询条件智能对数据进行过滤拦截和数据聚合，在保证满足查询需求的前提下，减少传输的数据量。

【技术实现步骤摘要】
度量平台数据查询方法及装置、可读存储介质及终端
本专利技术属于数据查询领域，具体涉及一种度量平台数据查询方法及装置，以及度量平台数据查询方法相关的可读存储介质和终端。
技术介绍
现有的企业应用和网站发展运营过程中，度量平台通常会自动记录大量的数据指标信息，具体包括操作行为、交易流程和记录信息、第三方服务调用返回信息、底层的服务调用响应信息和数据库交互信息等类型指标数据。这些数据指标信息通常是以秒甚至毫秒单位进行记录的，进而随着企业的发展，度量平台中会存储大量的指标数据。当需要某些指标数据时，通常会在存储的数据指标中通过查询的技术进行查找。传统的数据查询过程中存在如下问题：首先，由于度量平台的存储指标数据量过大，而查询得到的数据都是实时从数据库或存储中获取，因此查询速度较为缓慢。其次，由于度量平台内存储了大量的指标数据，在查询过程中符合查询条件的数据过多，数据量大，占用大量的网络资源。再者度量平台的对数据进行查询时，会将查询的数据全部缓存到内存资源中，加大了数据库和系统服务的压力。即传统的查询技术存在查询速度缓慢，返回数据量巨大以及耗费资源多的问题。基于上述原因，亟需一种查询速度快、返回数据小以及节约网络资源的度量平台数据快查询方法。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种度量平台数据查询方法、度量平台数据查询装置、计可读存储介质以及终端，用于解决传统的查询技术存在的查询速度缓慢，返回数据量巨大和耗费资源多的问题。为实现上述目的及其他相关目的，本专利技术提供一种度量平台数据查询方法，包括：接收查询请求，判断所述查询请求中的预查询条件是否符合预设过滤条件，若符合则确定所述预查询条件为查询条件，否则向客户端发送异常信息；根据预设切片条件对所述查询条件中的查询时间区间进行切片，得到至少两片的时间切片；并将各个所述时间切片分别与所述查询条件中的其它条件进行组合形成多个组合查询条件；依次根据所述组合查询条件在缓存数据库中查询对应的缓存数据；判断在所述缓存数据库中是否查询到所有组合查询条件对应的缓存数据，若全部查询到，则对查询到的所有缓存数据进行读取并聚合封装，同时将聚合封装后的缓存数据发送给所述客户端；若在所述缓存数据库没有查询到所有组合查询条件对应的缓存数据，则根据所述组合查询条件中未查询到对应缓存数据的所述组合查询条件在时序列数据库中依次查询对应的指标数据，并将查询到的所有缓存数据和所有所述指标数据进行聚合封装，得到聚合封装数据；判断所述聚合封装数据是否满足预设被动缓存条件，若满足则将所述聚合封装数据缓存到所述缓存数据库中；所述度量平台将聚合封装的所述指标数据发送给所述客户端。优选的是，所述预查询条件包括预查询时间区间、预查询粒度、预指标条件和预聚合条件。优选的是，判断所述查询请求中的预查询条件是否符合预设过滤条件步骤包括：判断所述预查询时间区间和所述预查询粒度是否满足第一预设过滤条件；若所述预查询时间区间和所述预查询粒度满足所述第一预设过滤条件，则判断所述预指标条件和所述预聚合条件是否满足第二预设过滤条件，否则向所述客户端发送异常信息；若所述预指标条件和所述预聚合条件满足第二预设过滤条件，则确定所述预查询条件为查询条件，确定所述预查询条件中的预查询时间区间、预查询粒度、预指标条件和预聚合条件分别为所述查询条件中的查询时间区间、查询粒度、指标条件和聚合条件，否则向所述客户端发送异常信息。优选的是，判断所述查询请求中的预查询条件是否符合预设过滤条件步骤包括：判断所述预查询时间区间和所述预查询粒度是否满足第一预设过滤条件；若所述预查询时间区间和所述预查询粒度满足所述第一预设过滤条件，则判断所述预指标条件是否满足第三预设过滤条件，否则向所述客户端发送异常信息；若所述预指标条件满足第三预设过滤条件，则判断所述预聚合条件是否满足第四预设过滤条件，否则向所述客户端发送异常信息；若所述预聚合条件满足第四预设过滤条件，则确定所述预查询条件为查询条件，确定所述预查询条件中的预查询时间区间、预查询粒度、预指标条件和预聚合条件分别为所述查询条件中的查询时间区间、查询粒度、指标条件和聚合条件，否则向所述客户端发送异常信息。优选的是，所述第一过滤条件被配置为当所述预查询时间区间和所述预查询粒度满足所述第一预设过滤条件时，使得符合所述预查询时间区间和所述预查询粒度的所述指标数据实现降采样处理。优选的是，根据所述查询时间和所述查询粒度设置所述预设切片条件。优选的是，在得到聚合封装数据步骤和在判断所述聚合封装数据是否满足预设被动缓存条件，若满足则将所述聚合封装数据缓存到所述缓存数据库中步骤之间还包括如下步骤；根据主动缓存配置信息将符合预设主动缓存条件的指标数据缓存到所述缓存数据库中。优选的是，根据主动缓存配置信息将符合预设主动缓存条件的指标数据缓存到所述缓存数据库中步骤包括：判断关系型数据库中是否设置有主动缓存配置信息；若所述关系型数据库中设置有主动缓存配置信息，则根据所述主动缓存配置信息中的预设主动缓存条件在所述时序列数据库中查询符合所述预设主动缓存条件的指标数据，并将查询结果缓存到所述缓存数据库中，同时将所述预设主动缓存条件生成查询关键字后存储于所述缓存数据库中；否则结束主动缓存。优选的是，依次根据所述组合查询条件在缓存数据库中查询对应的缓存数据步骤包括：将各个所述组合查询条件生成对应的查询关键字；依次根据各个所述查询关键字在所述缓存数据库中查询缓存数据。优选的是，所述聚合的算法包括：求和、求数量、平均数、最大值和最小值。根据本专利技术的另一个方面，提供了一种度量平台数据查询装置，包括依次连接的查询条件判断模块、切片组合模块、缓存查询模块、缓存判断模块、指标数据查询模块、被动缓存模块和发送模块；所述查询条件判断模块，用于判断所述查询请求中的查询条件是否符合预设过滤条件，若不符合则向客户端异常信息，否则将所述查询条件传输给所述切片组合模块；所述切片组合模块，用于根据预设切片条件对所述查询条件中的查询时间区间进行切片，得到至少两片的时间切片，并将各个所述时间切片分别与所述查询条件中的其它条件进行组合形成多个组合查询条件，将所述组合查询条件发送给所述缓存查询模块；所述缓存查询模块，用于依次根据所述组合查询条件在缓存数据库中查询对应的缓存数据；所述缓存判断模块，用于判断在所述缓存数据库中是否查询到所有组合查询条件对应的缓存数据，若全部查询到，则对查询到的所有缓存数据进行读取并聚合封装，同时将聚合封装后的缓存数据发送给所述客户端；否则，将所述组合查询条件中未查询到对应缓存数据的所述组合查询条件发送给指标数据查询模块；所述指标数据查询模块，用于根据所述组合查询条件中未查询到对应缓存数据的所述组合查询条件在时序列数据库中依次查询对应的指标数据，并将查询到的所有缓存数据和所有所述指标数据进行聚合封装，得到聚合封装数据，之后将所述聚合封装数据发送给所述被动缓存模块；所述被动缓存模块，用于判断所述聚合封装数据是否满足预设被动缓存条件，若满足则将所述聚合封装数据缓存到所述缓存数据库中，否则将所述聚合封装的所述指标数据发送到所述发送模块；所述发送模块，用于将聚合封装的所述指标数据发送给所述客户端。根据本专利技术的另一个方面，提供了一种可读本文档来自技高网...

【技术保护点】
1.一种度量平台数据查询方法，包括：接收查询请求，判断所述查询请求中的预查询条件是否符合预设过滤条件，若符合则确定所述预查询条件为查询条件，否则向客户端发送异常信息；根据预设切片条件对所述查询条件中的查询时间区间进行切片，得到至少两片的时间切片；并将各个所述时间切片分别与所述查询条件中的其它条件进行组合形成多个组合查询条件；依次根据所述组合查询条件在缓存数据库中查询对应的缓存数据；判断在所述缓存数据库中是否查询到所有组合查询条件对应的缓存数据，若全部查询到，则对查询到的所有缓存数据进行读取并聚合封装，同时将聚合封装后的缓存数据发送给所述客户端；若在所述缓存数据库没有查询到所有组合查询条件对应的缓存数据，则根据所述组合查询条件中未查询到对应缓存数据的所述组合查询条件在时序列数据库中依次查询对应的指标数据，并将查询到的所有缓存数据和所有所述指标数据进行聚合封装，得到聚合封装数据；判断所述聚合封装数据是否满足预设被动缓存条件，若满足则将所述聚合封装数据缓存到所述缓存数据库中；所述度量平台将聚合封装的所述指标数据发送给所述客户端。

【技术特征摘要】
1.一种度量平台数据查询方法，包括：接收查询请求，判断所述查询请求中的预查询条件是否符合预设过滤条件，若符合则确定所述预查询条件为查询条件，否则向客户端发送异常信息；根据预设切片条件对所述查询条件中的查询时间区间进行切片，得到至少两片的时间切片；并将各个所述时间切片分别与所述查询条件中的其它条件进行组合形成多个组合查询条件；依次根据所述组合查询条件在缓存数据库中查询对应的缓存数据；判断在所述缓存数据库中是否查询到所有组合查询条件对应的缓存数据，若全部查询到，则对查询到的所有缓存数据进行读取并聚合封装，同时将聚合封装后的缓存数据发送给所述客户端；若在所述缓存数据库没有查询到所有组合查询条件对应的缓存数据，则根据所述组合查询条件中未查询到对应缓存数据的所述组合查询条件在时序列数据库中依次查询对应的指标数据，并将查询到的所有缓存数据和所有所述指标数据进行聚合封装，得到聚合封装数据；判断所述聚合封装数据是否满足预设被动缓存条件，若满足则将所述聚合封装数据缓存到所述缓存数据库中；所述度量平台将聚合封装的所述指标数据发送给所述客户端。2.根据权利要求1所述的方法，其特征在于，所述预查询条件包括预查询时间区间、预查询粒度、预指标条件和预聚合条件。3.根据权利要求2所述的方法，其特征在于，判断所述查询请求中的预查询条件是否符合预设过滤条件步骤包括：判断所述预查询时间区间和所述预查询粒度是否满足第一预设过滤条件；若所述预查询时间区间和所述预查询粒度满足所述第一预设过滤条件，则判断所述预指标条件和所述预聚合条件是否满足第二预设过滤条件，否则向所述客户端发送异常信息；若所述预指标条件和所述预聚合条件满足第二预设过滤条件，则确定所述预查询条件为查询条件，确定所述预查询条件中的预查询时间区间、预查询粒度、预指标条件和预聚合条件分别为所述查询条件中的查询时间区间、查询粒度、指标条件和聚合条件，否则向所述客户端发送异常信息。4.根据权利要求2所述的方法，其特征在于，判断所述查询请求中的预查询条件是否符合预设过滤条件步骤包括：判断所述预查询时间区间和所述预查询粒度是否满足第一预设过滤条件；若所述预查询时间区间和所述预查询粒度满足所述第一预设过滤条件，则判断所述预指标条件是否满足第三预设过滤条件，否则向所述客户端发送异常信息；若所述预指标条件满足第三预设过滤条件，则判断所述预聚合条件是否满足第四预设过滤条件，否则向所述客户端发送异常信息；若所述预聚合条件满足第四预设过滤条件，则确定所述预查询条件为查询条件，确定所述预查询条件中的预查询时间区间、预查询粒度、预指标条件和预聚合条件分别为所述查询条件中的查询时间区间、查询粒度、指标条件和聚合条件，否则向所述客户端发送异常信息。5.根据权利要求3或4所述的方法，其特征在于，所述第一过滤条件被配置为当所述预查询时间区间和所述预查询粒度满足所述第一预设过滤条件时，使得符合所述预查询时间区间和所述预查询粒度的所述指标数据实现降采样处理。6.根据权利要求1所述的方法，其特征在于，根据所述查询时间和所述查询粒度设置所述预设切片条件。7.根据权利要求1所述的方法，其特征在于，在得到聚合封装数据步骤和在判断所述聚合封装...

【专利技术属性】
技术研发人员：王新涵，徐刚，汤恒杰，聂庆刚，
申请(专利权)人：上海前隆信息科技有限公司，
类型：发明
国别省市：上海,31