一种基于分布式引擎实现数据检索的方法及系统技术方案

技术编号:42807799 阅读:25 留言:0更新日期:2024-09-24 20:51
本发明专利技术公开一种基于分布式引擎实现数据检索的方法及系统,涉及数据检索技术领域,所述方法包括:将检索池内的文档数据映射到若干个检索切片中;将检索切片存放于分布式引擎中的各个服务节点;测试分布式引擎的检索效率,并根据测试结果对分布式引擎调优;使用调优后的分布式引擎对用户发出的检索请求并行处理,返回检索结果;当检索池数据变更时同步更新分布式引擎。通过多台计算机协同工作,即使部分节点发生故障,系统整体仍能继续运行,提高了系统的可靠性,利用多台计算机的并行处理能力,提高数据检索速度和效率。

【技术实现步骤摘要】

本专利技术涉及数据检索,尤其涉及一种基于分布式引擎实现数据检索的方法及系统


技术介绍

1、传统的数据检索系统在面对海量数据时,往往处理速度慢,效率低下,难以满足大数据时代的需求;同时,集中式数据检索系统存在单点故障的风险,一旦中央服务器出现问题,整个系统可能瘫痪;并且随着数据量的增加,传统系统难以横向扩展,即增加更多的服务器来提高处理能力。而分布式结构有着高可靠性、可扩展性,实现引入分布式结构到数据检索工作中这项课题,就可以完美解决传统数据检索系统出现的问题了。


技术实现思路

1、本专利技术提供了一种基于分布式引擎实现数据检索的方法,包括:

2、step1、将检索池内的文档数据映射到若干个检索切片中;

3、step2、将检索切片存放于分布式引擎中的各个服务节点;

4、step3、测试分布式引擎的检索效率,并根据测试结果对分布式引擎调优;

5、step4、使用调优后的分布式引擎对用户发出的检索请求并行处理,返回检索结果;

6、step5、当检索池数据本文档来自技高网...

【技术保护点】

1.一种基于分布式引擎实现数据检索的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于分布式引擎实现数据检索的方法,其特征在于,将检索池内的文档数据映射到若干个检索切片中,具体包括以下子步骤:

3.根据权利要求1所述的一种基于分布式引擎实现数据检索的方法,其特征在于,测试分布式引擎的检索效率,并根据测试结果对分布式引擎调优,具体包括以下子步骤:

4.根据权利要求1所述的一种基于分布式引擎实现数据检索的方法,其特征在于,使用调优后的分布式引擎对用户发出的检索请求并行处理,具体包括以下子步骤:

5.根据权利要求1所述的一种基于分...

【技术特征摘要】

1.一种基于分布式引擎实现数据检索的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于分布式引擎实现数据检索的方法,其特征在于,将检索池内的文档数据映射到若干个检索切片中,具体包括以下子步骤:

3.根据权利要求1所述的一种基于分布式引擎实现数据检索的方法,其特征在于,测试分布式引擎的检索效率,并根据测试结果对分布式引擎调优,具体包括以下子步骤:

4.根据权利要求1所述的一种基于分布式引擎实现数据检索的方法,其特征在于,使用调优后的分布式引擎对用户发出的检索请求并行处理,具体包括以下子步骤:

5.根据权利要求1所述的一种基于分布式引擎实现数据检索的方法,其特征在于,当检索池数据变更时同步更新分布式引擎,具体包...

【专利技术属性】
技术研发人员:鲁圳周德尧杜军巩伟
申请(专利权)人:成都优卡数信信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1