基于ES服务的深度检索优化方法、系统、终端及存储介质技术方案

本发明专利技术提供一种基于ES服务的深度检索优化方法、系统、终端及存储介质，包括：采集检索目标的数据量并根据所述数据量和预先设置的深分页规则设定所述检索目标的起始值；根据起始值确定次级协调节点的目标数量，选取目标数量的次级协调节点；获取检索目标分布的所有分片，并将所有分片平均分配至各次级协调节点；汇总次级协调节点上传的检索结果得到查询数据i d和评分排序结果，并根据查询数据i d和评分排序结果向客户端返回查询数据。本发明专利技术降低了深度检索的内存溢出导致程序崩溃的风险，提升了ES服务深度检索的业务处理能力和可用性。升了ES服务深度检索的业务处理能力和可用性。升了ES服务深度检索的业务处理能力和可用性。

【技术实现步骤摘要】
基于ES服务的深度检索优化方法、系统、终端及存储介质


[0001]本专利技术涉及ES服务深度检索
，具体涉及一种基于ES服务的深度检索优化方法、系统、终端及存储介质。

技术介绍

[0002]ES服务是指一种分布式全文数据库系统服务Elasticsearch，ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。在ES的常规搜索中分为query和fetch两个步骤，第一步query阶段会根据查询条件由协调节点(一次查询任务中选取的固定处理汇总数据的节点)分发任务到所有实例的相关分片进行数据查询，取得符合条件的数据ID和评分信息排序后汇聚到协调节点。第二步为协调节点根据第一步取得的数据id汇总排序得到最终需要取得的数据信息，然后再次分发到数据所在分片将数据内容取出，最终将数据反馈给查询客户端。
[0003]ES服务的深度检索功能一般指ES检索过程中涉及深度分页的特殊检索功能。深度检索功能查询到的数据更为详实。虽然理论上在常规使用时query是一个轻量级操作，但在某些特殊的场景下，如深分页本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ES服务的深度检索优化方法，其特征在于，包括：采集检索目标的数据量并根据所述数据量和预先设置的深分页规则设定所述检索目标的起始值；根据起始值确定次级协调节点的目标数量，选取目标数量的次级协调节点；获取检索目标分布的所有分片，并将所有分片平均分配至各次级协调节点；汇总次级协调节点上传的检索结果得到查询数据id和评分排序结果，并根据查询数据id和评分排序结果向客户端返回查询数据。2.根据权利要求1所述的方法，其特征在于，采集检索目标的数据量并根据所述数据量和预先设置的深分页规则设定所述检索目标的起始值，包括：预先设置多个数据量等级并为每个数据量等级设定相应的起始值，将数据量等级与起始值的映射关系作为深分页规则保存；根据检索目标的数据量所属的数据量等级，将所属数据量等级相应的起始值设定为检索目标的起始值。3.根据权利要求2所述的方法，其特征在于，采集检索目标的数据量并根据所述数据量和预先设置的深分页规则设定所述检索目标的起始值，包括：解析检索目标的文档内容，统计数据量。4.根据权利要求1所述的方法，其特征在于，根据起始值确定次级协调节点的目标数量，选取目标数量的次级协调节点，包括：预先设定多个起始值等级并为每个起始值等级设定匹配的次级协调节点数量，将起始值等级与次级协调节点数量的匹配关系保存为资源分配规则；根据资源分配规则和所述检索目标的起始值确定次级协调节点的目标数量；从协调节点中选取处于空闲状态的目标数量的次级协调节点。5.根据权利要求4所述的方法，其特征在于，从协调节点中选取处于空闲状态的目标数量的次级协调节点，包括：采集各协调节点的可用内存资源，所述可用内存资源＝内存总量
‑
内存占用量；将可用内存资源超过预设资源阈值的协调节点标记为空闲状态的协调节点；从空闲状态的协调节点中随机选取目标数量的次级协调节点。6.根据权利要求1所述的方法，...

【专利技术属性】
技术研发人员：侯满，常洪耀，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：