【技术实现步骤摘要】
一种数据检索方法和装置
本专利技术涉及数据库领域，并且更具体地，特别是涉及一种数据检索方法与装置。
技术介绍
由于互联网物联网应用的发展，检索海量数据成为技术发展的挑战。传统的关系型数据库只能满足关系型数据的检索需要，而当前非结构化数据的增长已经超出了结构化关系型数据。为解决海量非结构化数据的全文检索需求，高效快速的全文检索引擎技术成为当前的技术热点。现有技术的全文检索引擎能够收集数据建立索引库，将现实中的结构化数据和非结构化数据进行提取信息创建索引。索引是为字符串到文件的映射，建立索引可以大大提高检索效率。问题在于，全文检索引擎将索引库、类型表、文档、映射表等等信息存储在磁盘中，磁盘读写性能限制了读取数据的速率；同时由于数据量大，读取的数据需要切分为多个分段文件，在进入内存时无法一次全部读入内存。这两个问题都会延长全文检索引擎的响应时间。针对现有技术中检索引擎读取数据的速度慢、加载数据分段的问题，目前尚未有有效的解决方案。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种数据检索方法与装置，能够以更快的速度检索非结构化数据，一次性载入数据并提高检索引擎读取...
【技术保护点】
1.一种数据检索方法，其特征在于，包括周期性地执行以下步骤：将检索引擎中的映射表和高频文档同步到非易失性内存储器；响应于接收到不同检索条件，通过所述映射表在易失性内存储器中执行反向索引，以获得不同被检索文档；根据所述不同被检索文档的各自的被检索频率重新确定所述高频文档；获取新增索引文档并写入所述非易失性内存储器，并在所述易失性内存储器中根据所述新增索引文档更新所述映射表；将重新确定的所述高频文档、所述新增索引文档、和更新的所述映射表反馈到所述检索引擎。
【技术特征摘要】
1.一种数据检索方法，其特征在于，包括周期性地执行以下步骤：将检索引擎中的映射表和高频文档同步到非易失性内存储器；响应于接收到不同检索条件，通过所述映射表在易失性内存储器中执行反向索引，以获得不同被检索文档；根据所述不同被检索文档的各自的被检索频率重新确定所述高频文档；获取新增索引文档并写入所述非易失性内存储器，并在所述易失性内存储器中根据所述新增索引文档更新所述映射表；将重新确定的所述高频文档、所述新增索引文档、和更新的所述映射表反馈到所述检索引擎。2.根据权利要求1所述的方法，其特征在于，所述检索引擎配置为包括用于连接到所述非易失性内存储器的非易失性内存储器接口；将所述检索引擎中的所述映射表和所述高频文档同步到所述非易失性内存储器包括：将所述检索引擎中的所述映射表和所述高频文档通过所述非易失性内存储器接口同步到所述非易失性内存储器。3.根据权利要求2所述的方法，其特征在于，将重新确定的所述高频文档、所述新增索引文档、和更新的所述映射表反馈到所述检索引擎包括：将重新确定的所述高频文档的文档标识、所述新增索引文档的文档数据、和更新的所述映射表的表数据通过所述非易失性内存储器接口发送到所述检索引擎。4.根据权利要求1所述的方法，其特征在于，所述接收到不同检索条件包括接收到一个或多个不同检索字符串；响应于接收到不同检索条件，通过所述映射表在所述易失性内存储器中执行反向索引，以获得不同被检索文档，包括针对所述一个或多个不同检索字符串分别执行以下步骤：根据所述一个或多个不同检索字符串分别从所述非易失性内存储器中存储的所述映射表中提取对应的文档链表；当所述一个或多个不同检索字符串为多个不同检索字符串时，还将所述多个不同检索字符串各自对应的文档链表根据所述不同检索条件合并为总链表；根据所述一个或多个不同检索字符串的所述文档...
【专利技术属性】
技术研发人员：胡德鹏，张远斌，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。