一种基于预处理的数据查询优化方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及前端应用技术领域，公开了一种基于预处理的数据查询优化方法、装置、设备及介质，通过获取DSL查询请求，对DSL查询请求进行合法性校验及熔断规则判断，若DSL查询请求不满足合法性校验和/或熔断规则时，终止DSL查询请求，返回查询异常值，若DSL查询请求满足合法性校验及熔断规则时，对DSL查询请求进行查询优化处理，查询优化处理包括业务归一化处理、搜索语法优化处理和异步查询优化处理，执行优化后的所述DSL查询请求的搜索，返回查询结果。实现了ES查询请求的预处理操作，提高了ES查询的可扩展性和兼容性，解决了并发查询、复杂查询容易导致集群过载崩溃，耗尽ES集群的计算资源的技术问题。计算资源的技术问题。计算资源的技术问题。

【技术实现步骤摘要】
一种基于预处理的数据查询优化方法、装置、设备及介质


[0001]本申请涉及前端应用
，尤其是涉及到一种基于预处理的数据查询优化方法、装置、设备及介质。

技术介绍

[0002]Elasticsearch，简称ES，是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便地使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性，能使数据在生产环境变得更有价值。现有技术中，基于ES查询的产品端并没有对DSL(领域专用语言，Domain SpecificLanguage)进行限制和兼容，对于高并发查询、复杂查询容易导致集群过载崩溃，耗尽ES集群的计算资源，业务缺少可扩展性。

技术实现思路

[0003]有鉴于此，本申请提供了一种基于预处理的数据查询优化方法、装置、设备及介质，实现了ES查询请求的预处理操作，提高了ES查询的可扩展性和兼容性，解决了并发查询、复杂查询容易导致集群过载崩溃，耗尽ES集群的计算资源的技术问题。
[0004]根据本申请的第一方面，提供了一种基于预处理的数据查询优化方法，包括：
[0005]获取DSL查询请求，其中，所述DSL查询请求携带Header头信息、查询参数，所述查询参数包括时间范围、查询逻辑、检索词、字段信息和匹配逻辑；
[0006]对所述DSL查询请求进行合法性校验及熔断规则判断；
[0007]若所述DSL查询请求不满足合法性校验和/或熔断规则时，终止所述DSL查询请求，返回查询异常值；
[0008]若所述DSL查询请求满足合法性校验及熔断规则时，对所述DSL查询请求进行查询优化处理，其中，查询优化处理包括业务归一化处理、搜索语法优化处理和异步查询优化处理；
[0009]执行优化后的所述DSL查询请求的搜索，返回查询结果。
[0010]根据本申请的第二方面，提供了一种基于预处理的数据查询优化装置，包括：
[0011]获取模块，用于获取DSL查询请求，其中，所述DSL查询请求携带Header头信息、查询参数，所述查询参数包括时间范围、查询逻辑、检索词、字段信息和匹配逻辑；
[0012]校验模块，用于对所述DSL查询请求进行合法性校验及熔断规则判断；
[0013]响应模块，用于若所述DSL查询请求不满足合法性校验和/或熔断规则时，终止所述DSL查询请求，返回查询异常值；
[0014]优化模块，用于若所述DSL查询请求满足合法性校验及熔断规则时，对所述DSL查询请求进行查询优化处理，其中，查询优化处理包括业务归一化处理、搜索语法优化处理和异步查询优化处理；
[0015]执行模块，用于执行优化后的所述DSL查询请求的搜索，返回查询结果。
[0016]根据本申请的第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在
存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述基于预处理的数据查询优化方法的步骤。
[0017]根据本申请的第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述基于预处理的数据查询优化方法的步骤。
[0018]借由上述技术方案，本申请提供的一种基于预处理的数据查询优化方法、装置、设备及介质，首先，获取DSL查询请求，对DSL查询请求进行合法性校验及熔断规则判断，若DSL查询请求不满足合法性校验和/或熔断规则时，终止DSL查询请求，返回查询异常值，若DSL查询请求满足合法性校验及熔断规则时，对DSL查询请求进行查询优化处理，查询优化处理包括业务归一化处理、搜索语法优化处理和异步查询优化处理，执行优化后的所述DSL查询请求的搜索，返回查询结果。实现了ES查询请求的预处理操作，提高了ES查询的可扩展性和兼容性，解决了并发查询、复杂查询容易导致集群过载崩溃，耗尽ES集群的计算资源的技术问题。
[0019]实现了个性化的入口页面搭建，自定义设置每个子应用的标题、名称、标识、页面地址、布局属性、尺寸属性、监听事件和触发事件，解决现有微前端设计模式不能灵活配置入口页面及布局的技术问题。
[0020]上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特列举本申请的具体实施方式。
附图说明
[0021]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0022]图1示出了本专利技术实施例中提供的一种基于预处理的数据查询优化方法应用场景的示意图；
[0023]图2示出了本专利技术实施例中提供的一种基于预处理的数据查询优化方法流程示意图；
[0024]图3示出了本专利技术实施例中提供的一种基于预处理的数据查询优化装置示意图。
[0025]具体实施方式
[0026]下文中将参考附图并结合实施例来详细说明本申请的技术方案。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0027]如图1所示，为本专利技术实施例中提供的一种基于预处理的数据查询优化方法应用场景的示意图，图中为ElasticSearch集群结构，ElasticSearch集群用于响应来自客户端的查询操作，客户端为接收用户查询操作的输入前端，图中单独一个ElasticSearch服务器实例称为一个node节点。ElasticSearch设置了CoordinateNode协调节点用来管理集群，这种设置对客户端(应用程序)来说是透明的，客户端可以请求任何一个它已知的node，如果该node是集群当前的Coordinate，那么它会将请求转发到相应的Node上进行处理，如果该
node不是Coordinate，那么该node会先将请求转交给CoordinateNode，再由Coordinate进行转发，各node返回的数据全部交由CoordinateNode进行汇总，最后返回给客户端。为了实现图1中基于预处理的数据查询优化，本专利技术实施例中提供了一种基于预处理的数据查询优化方法，Coordinate节点接收到数据查询请求后，执行本专利技术实施例提供的一种基于预处理的数据查询优化方法。为了更加清晰的描述本专利技术实施例中提供的一种基于预处理的数据查询优化方法，如图2所示，包括：
[0028]步骤201、获取DSL查询请求；
[0029]其中，所述DSL查询请求携带Header头信息、查询参数，所述查询参数包括时间范围、查询逻辑、检索词、字段信息和匹配逻辑；
[0030]DSL(DomainSpecificLanguage)是一种基于json形式，用于Elasticsearch查询的特定语法。DSL查询请求的请求参数包括DSL查询请求的时间范围、查询逻辑、检索词、字段信息和匹配逻辑等参数。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于预处理的数据查询优化方法，其特征在于，包括：获取DSL查询请求，其中，所述DSL查询请求携带Header头信息、查询参数，所述查询参数包括时间范围、查询逻辑、检索词、字段信息和匹配逻辑；对所述DSL查询请求进行合法性校验及熔断规则判断；若所述DSL查询请求不满足合法性校验和/或熔断规则时，终止所述DSL查询请求，返回查询异常值；若所述DSL查询请求满足合法性校验及熔断规则时，对所述DSL查询请求进行查询优化处理，其中，查询优化处理包括业务归一化处理、搜索语法优化处理和异步查询优化处理；执行优化后的所述DSL查询请求的搜索，返回查询结果。2.根据权利要求1所述的方法，其特征在于，所述对所述DSL查询请求进行合法性校验及熔断规则判断的步骤之前，包括：根据所述Header头信息中的业务信息，为所述DSL查询请求分配与所述业务信息对应的集群地址；将与所述业务信息对应的集群地址注入到DSL查询请求上下文中，转发所述DSL查询请求。3.根据权利要求1所述的方法，其特征在于，所述对所述DSL查询请求进行合法性校验及熔断规则判断包括：验证所述DSL查询请求是否符合搜索引擎的查询权限；判断所述DSL查询请求中的时间参数，判断range字段中的时间范围是否超范围；判断所述DSL查询请求中的过滤器中的搜索词个数是否超过预设阈值；判断所述DSL查询请求中的搜索词是否属于漏洞攻击或敏感词；判断所述DSL查询请求的访问频次是否超限。4.根据权利要求1所述的方法，其特征在于，所述业务归一化处理包括：根据所述Header头信息中的业务信息，拼接与业务信息对应的参数，根据所述Header头信息中的业务信息，对查询参数进行归一化。5.根据权利要求1所述的方法，其特征在于，所述搜索语法优化处理包括：根据所述DSL查询请求中的时间参数，对时间范围range进行判断，根据年月日的不同粒度生成查询索引；根据所述DSL查询请求中的查询参数的类型，将特定...

【专利技术属性】
技术研发人员：邢宸，宋岩强，白剑波，李青龙，
申请(专利权)人：北京智慧星光信息技术有限公司，
类型：发明
国别省市：