一种实现数据快速索引的检索系统和方法技术方案

本发明专利技术公开了一种实现数据快速索引的检索系统和方法，该系统包括：索引文档创建单元、索引文档存储单元和检索服务单元；其中，索引文档创建单元，用于在基于原始数据源和新增数据源形成主文档存储后，根据具体的检索服务需求，利用所述主文档中数据的不同属性作为索引关键字，创建一个以上不同级别的索引文档并存储在相对应的索引文档存储单元中；同时提供给所述检索服务单元进行检索服务。采用本发明专利技术的系统和方法，实现了新增数据源的快速索引。即使在新增数据源数量很多的情况下，也能满足用户即时快速检索的需求，而且达到很高的检索效率和检索精确度。从而使用户在检索服务中的用户体验感大大提高。

【技术实现步骤摘要】

本专利技术涉及检索技术，尤其涉及一种实现数据快速索引的检索系统和方法。
技术介绍
随着互联网技术的发展，目前用户普遍采用搜索引擎进行数据的检索服务。这里，所谓搜索引擎是给用户提供数据检索的在线网络工具。而基于搜索引擎进行检索服务的首要条件是：基于原始数据源创建数据索引，并对新增数据源进行顺排处理，然后全量生成倒排索引来提供检索服务。这里，顺排处理可以理解为对新增数据源进行处理，并将处理后的数据作为主文档进行存储的过程。由倒排索引构成基于主文档的索引文档。并且只有当该索引文档全部创建完毕后才能提供给用户进行检索服务。综上所述，由于现有技术是当索引文档全部创建完毕后才能提供给用户进行检索服务，而且在新增数据源数量很多的情况下仍然采用现有技术，创建索引文档的耗时会比较长。因此，采用现有技术，势必无法及时地基于新增数据源创建索引文档并提供给用户进行检索服务。从而无法满足用户即时快速检索的需求。而且导致用户在检索服务中，存在检索效率低和检索精确度不高的问题，使用户体验感降低。目前针对上述满足用户即时快速检索的需求、以及检索效率低和检索精确度不高的问题，还没有有效地解决方案。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种实现数据快速索引的检索系统，实现了新增数据源的快速索引。即使在新增数据源数量很多的情况下，也能满足用户即时快速检索的需求，而且达到很高的检索效率和检索精确度。从而使用户在检索服务中的用户体验感大大提高。-->本专利技术的另一目的在于提供一种实现数据快速索引的检索方法，实现了新增数据源的快速索引。即使在新增数据源数量很多的情况下，也能满足用户即时快速检索的需求，而且达到很高的检索效率和检索精确度。从而使用户在检索服务中的用户体验感大大提高。为达到上述目的，本专利技术的技术方案是这样实现的：一种实现数据快速索引的检索系统，该系统包括：索引文档创建单元、索引文档存储单元和检索服务单元；其中，索引文档创建单元，用于在基于原始数据源和新增数据源形成主文档存储后，根据具体的检索服务需求，利用所述主文档中数据的不同属性作为索引关键字，创建一个以上不同级别的索引文档并存储在相对应的索引文档存储单元中；同时提供给所述检索服务单元进行检索服务；索引文档存储单元，用于存储已创建的一个以上不同级别的索引文档；检索服务单元，用于从所述索引文档存储单元获取所述不同级别的索引文档完成检索服务。其中，所述索引文档存储单元为至少两个。其中，所述索引文档存储单元的存储形式为数据库形式。其中，所述索引文档存储单元包括：微型库、小型库和中型库；相应的，所述索引文档创建单元为索引库创建单元；并且，所述微型库、所述小型库和所述中型库中皆包括主索引库存储模块和备索引库存储模块；其中，所述主索引库存储模块，用于存储主索引库，并将所述主索引库作为当前索引库提供给所述检索服务单元完成检索服务；所述备索引库存储模块，用于存储备索引库，并将所述备索引库作为更新索引库提供给所述索引库创建单元完成基于所述新增数据源的索引库更新操作。其中，该系统还包括主备索引库切换单元，用于获得所述索引库创建单元的通知后，在所述主索引库存储模块与所述备索引库存储模块之间，切换主索引库和备索引库，完成所述检索服务和所述基于新增数据源的索引库更新操作。一种实现数据快速索引的检索方法，该方法包括：在基于原始数据源和新-->增数据源形成主文档存储后，根据具体的检索服务需求，利用所述主文档中数据的不同属性作为索引关键字，创建一个以上不同级别的索引文档并存储在相对应的索引文档存储单元中；同时提供给所述检索服务单元进行检索服务。其中，相应于所述一个以上不同级别的索引文档，索引文档存储单元为一个以上不同级别的索引库，该方法进一步包括：A、预先设置所述一个以上不同级别索引库的容量，以及基于所述预先设置的容量获得一个以上不同级别索引库的级别；B、根据当前新增数据源，以及所述一个以上不同级别索引库的级别更新已创建的所述一个以上不同级别索引库。其中，所述预先设置容量小的索引库为预先设置容量大的索引库的上级索引库；预先设置容量大的索引库为预先设置容量小的索引库的下级索引库，则步骤B具体为：B1、当上级索引库达到预先设置的容量后，索引库创建单元通知与所述上级索引库对应的下级索引库，使所述下级索引库基于所述当前新增数据源和为其预先设置的容量更新并重新创建索引文档；当下级索引库创建完毕后，所述索引库创建单元通知上级索引库重新创建索引文档。其中，步骤B进一步为：对所述一个以上不同级别索引库预先设置状态标识后，根据当前具体需求修改所述状态标识，并采用基于状态标识记录一个以上不同级别索引库的状态变迁的方式实现总索引数据的完整性。其中，步骤B后还包括：主备索引库切换单元启动切换线程，在所述一个以上不同级别索引库中，切换每一级别索引库中的主索引库和备索引库。本专利技术基于原始数据源和新增数据源形成主文档存储后，针对具体的检索服务需求，利用主文档中数据的不同属性作为索引关键字，创建了多个不同级别的索引文档并存储在相对应的索引库中，以便于将多个不同级别的索引文档同时提供给用户进行检索服务。这里，该索引文档是基于主文档的多级别的索引文档。具体来说，针对主文档中的数据，创建多级别的索引文档并存储在相对应的索引库中。比如按照索引文档中的数据量，多级别的索引文档包括三个-->级别，那么相应于该多级别的索引文档，索引库也包括微型库、小型库和中型库三个级别。而且三个级别索引库的容量各不相同，微型库容量最小。这样当有新增数据源时，基于新增数据源形成主文档存储后，对微型库中的索引文档进行重建，该过程能控制在几秒完成，能够快速的提供给用户进行检索服务，满足了用户即时快速检索的需求。而且基于新增数据源重建的索引文档能完成及时更新，可以达到很高的检索效率和检索精确度。从而使用户在检索服务中的用户体验感大大提高。综上所述，采用本专利技术，一方面，当有新增数据源时，能够及时快速地创建索引文档并提供给用户进行检索服务，满足了用户即时快速检索的需求。另一方面，本专利技术采用多级别的索引文档优化了检索效率和检索精确度，从而减轻了检索系统全量重建索引文档的压力，能够提供给用户更好的用户体验感。附图说明图1为本专利技术系统一实施例的组成结构示意图；图2为本专利技术方法的实现流程示意图；图3为本专利技术的各级别索引库中索引数据的一变化示意图；图4为本专利技术的各级别索引库中索引数据的一变化示意图；图5为本专利技术的各级别索引库中索引数据的一变化示意图；图6为本专利技术的各级别索引库中索引数据的一变化示意图；图7为本专利技术的各级别索引库中索引数据的一变化示意图；图8为本专利技术的各级别索引库中索引数据的一变化示意图；图9为本专利技术的各级别索引库中索引数据的一变化示意图；图10为本专利技术的各级别索引库中索引数据的一变化示意图；图11为本专利技术的各级别索引库中索引数据的一变化示意图。具体实施方式本专利技术的核心思想是：本专利技术基于原始数据源和新增数据源形成主文档存-->储后，根据具体的检索服务需求，利用主文档中数据的不同属性作为索引关键字，创建了多个不同级别的索引文档并存储在相对应的索引库中，以便于同时提供给用户进行检索服务。满足了用户即时快速检索的需求。而且基于新增数据源重建的索引文档能完成及时更新，可以本文档来自技高网...

【技术保护点】
一种实现数据快速索引的检索系统，其特征在于，该系统包括：索引文档创建单元、索引文档存储单元和检索服务单元；其中，　　　　索引文档创建单元，用于在基于原始数据源和新增数据源形成主文档存储后，根据具体的检索服务需求，利用所述主文档中数据的不同属性作为索引关键字，创建一个以上不同级别的索引文档并存储在相对应的索引文档存储单元中；同时提供给所述检索服务单元进行检索服务；　　　　索引文档存储单元，用于存储已创建的一个以上不同级别的索引文档；　　　　检索服务单元，用于从所述索引文档存储单元获取所述不同级别的索引文档完成检索服务。

【技术特征摘要】
1、一种实现数据快速索引的检索系统，其特征在于，该系统包括：索引文档创建单元、索引文档存储单元和检索服务单元；其中，索引文档创建单元，用于在基于原始数据源和新增数据源形成主文档存储后，根据具体的检索服务需求，利用所述主文档中数据的不同属性作为索引关键字，创建一个以上不同级别的索引文档并存储在相对应的索引文档存储单元中；同时提供给所述检索服务单元进行检索服务；索引文档存储单元，用于存储已创建的一个以上不同级别的索引文档；检索服务单元，用于从所述索引文档存储单元获取所述不同级别的索引文档完成检索服务。2、根据权利要求1所述的系统，其特征在于，所述索引文档存储单元为至少两个。3、根据权利要求1或2所述的系统，其特征在于，所述索引文档存储单元的存储形式为数据库形式。4、根据权利要求3所述的系统，其特征在于，所述索引文档存储单元包括：微型库、小型库和中型库；相应的，所述索引文档创建单元为索引库创建单元；并且，所述微型库、所述小型库和所述中型库中皆包括主索引库存储模块和备索引库存储模块；其中，所述主索引库存储模块，用于存储主索引库，并将所述主索引库作为当前索引库提供给所述检索服务单元完成检索服务；所述备索引库存储模块，用于存储备索引库，并将所述备索引库作为更新索引库提供给所述索引库创建单元完成基于所述新增数据源的索引库更新操作。5、根据权利要求4所述的系统，其特征在于，该系统还包括主备索引库切换单元，用于获得所述索引库创建单元的通知后，在所述主索引库存储模块与所述备索引库存储模块之间，切换主索引库和备索引库，完成所述检索服务和所述基于新增数据源的索引库更新操作。6、一种实现数据快速索引的检索方法，其特征...

【专利技术属性】
技术研发人员：刘志坤，王志平，李强，孙良，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：94[中国|深圳]