海量数据多维快速智能搜索方法技术

本发明专利技术涉及海量数据多维快速智能搜索方法，通过Solr快速索引、IK分词、TF‑IDF排序等多种技术极大的提高了搜索的效率，并且应用多种查询方式，使得查询能够保质保量高效进行。本发明专利技术还可以通过部门、人员的搜索权限设置大大提高公安大数据的安全性。本发明专利技术与现有系统相比，在数据检索速度上大幅提升，其次本系统的准确度、难易度都能达到现有大数据搜索系统的最优效果。也可以通过对系统后台的配置，进行更加精准严密的资格权限划分，使得信息更加安全，其中后台配置中档案及概览的配置可以将不同维度的数据进行快速整合，将会节约大量的搜索资源与人力资源。

【技术实现步骤摘要】
海量数据多维快速智能搜索方法
本专利技术涉及大数据
，具体是海量数据多维快速智能搜索方法。
技术介绍
随着大数据技术的不断发展，已经进入到各个领域开始提供相应的辅助服务工作，但是相较于以往的大数据搜索系统来说，依旧存在着大量的数据无法被有效合理的应用，且应用人随着年龄的增长无法有效掌握新技术的发展。
技术实现思路
有鉴于此，本专利技术的目的是提供海量数据多维快速智能搜索方法，能够简化搜索流程，整合数据源，统一配置、统一管理，并且自动整理所搜索出的数据。本专利技术的海量数据多维快速智能搜索方法，包括步骤创建空白数据库，通过数据接口接入多个源数据库，并将多个源数据库的数据导入至空白数据库中生成数据源；对数据源中的数据进行创建Solr索引、IK分词和TF-IDF排序；数据源接入至检索系统中，并对检索系统进行检索权限配置，数据源根据用户的检索主题给出对应的符合权限的数据，如果数据源中没有对应的数据，则对该主题进行记录；数据接口根据用户的检索主题，将不同的实体数据加入至数据源中；不同的实体数据加入至数据源中时，需要按照创建Solr索引、IK分词和TF-IDF排序的方式加入数据源中。进一步地，所述检索系统包括注册和登录验证模块，注册和登录验证模块用于为用户分配账户，检索权限分配在账户中。进一步地，所述检索系统包括预览模块、检索项配置模块和档案配置模块，预览模块用于对用户在检索时对数据进行预览，检索项配置模块用于配置用于检索时的标准格式，档案配置模块用于选择数据接口接入的源数据库。进一步地，用户检索完毕后，所述检索系统对检索记录进行保存，并将检索记录中检索数量超过阈值的对相应的检索主题放入至高频检索库中，下一次检索时，优先在高频检索库中进行检索。本专利技术的有益效果是：本专利技术的海量数据多维快速智能搜索方法，通过Solr快速索引、IK分词、TF-IDF排序等多种技术极大的提高了搜索的效率，并且应用多种查询方式，使得查询能够保质保量高效进行。其次，本专利技术自由灵活的后台配置可以满足各种用户、各种单位的搜索需求与展示需求，包括概览配置，搜索项配置，档案配置等等。最后，本专利技术还可以通过部门、人员的搜索权限设置大大提高公安大数据的安全性。本专利技术与现有系统相比，在数据检索速度上大幅提升，其次本系统的准确度、难易度都能达到现有大数据搜索系统的最优效果。也可以通过对系统后台的配置，进行更加精准严密的资格权限划分，使得信息更加安全，其中后台配置中档案及概览的配置可以将不同维度的数据进行快速整合，将会节约大量的搜索资源与人力资源。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。图1为本专利技术的搜索数据流向示意图；图2为本专利技术的内容新增的过程示意图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。如图1所示：本实施例的海量数据多维快速智能搜索方法，包括步骤创建空白数据库，通过数据接口接入多个源数据库，并将多个源数据库的数据导入至空白数据库中生成数据源；对数据源中的数据进行创建Solr索引、IK分词和TF-IDF排序；数据源接入至检索系统中，并对检索系统进行检索权限配置，数据源根据用户的检索主题给出对应的符合权限的数据，如果数据源中没有对应的数据，则对该主题进行记录；数据接口根据用户的检索主题，将不同的实体数据加入至数据源中；不同的实体数据加入至数据源中时，需要按照创建Solr索引、IK分词和TF-IDF排序的方式加入数据源中。本实施例中，检索系统包括注册和登录验证模块，注册和登录验证模块用于为用户分配账户，检索权限分配在账户中。本实施例中，检索系统包括预览模块、检索项配置模块和档案配置模块，预览模块用于对用户在检索时对数据进行预览，检索项配置模块用于配置用于检索时的标准格式，档案配置模块用于选择数据接口接入的源数据库。本实施例中，用户检索完毕后，检索系统对检索记录进行保存，并将检索记录中检索数量超过阈值的对相应的检索主题放入至高频检索库中，下一次检索时，优先在高频检索库中进行检索。本专利技术的数据源将由公安系统内部不同来源的源数据库及接口等多接入方式进行接入，该部分数据经过创建Solr索引、IK分词和TF-IDF排序等数据治理后统一接入至数据源，数据通过接口取数进入实体后，会根据用户的搜索选项最终显示在搜索界面中。后续搜索过程如图2，本专利技术中的检索系统以及检索方法将从后台配置以及前台呈现两个模块进行设计。后台配置：1、通过新建实体及实体任务的方式将底层数据筛选所需字段进行取数进行数据的初步提取整合。2、针对不同实体可以设置可搜索字段、概览显示字段、详情展示字段等。为前台搜索界面功能提供支撑。3、根据不同搜索主题的需求，将不同的实体数据加入主题搜索内容中。4、根据部门、人员级别设置能够搜索的数据字段权限和查看权限。前台呈现：使用者在主界面针对相关主题进行一键搜索(也可以多选主题或者全量数据搜索)，显示界面中将显示后台配置中涉及的概览、档案界面等字段信息，还可以进行相关搜索数据收藏，根据索引路线进行搜索定位，调取搜索数据的相关档案等。本专利技术的海量数据多维快速智能搜索方法，通过Solr快速索引、IK分词、TF-IDF排序等多种技术极大的提高了搜索的效率，并且应用多种查询方式，使得查询能够保质保量高效进行。其次，本专利技术自由灵活的后台配置可以满足各种用户、各种单位的搜索需求与展示需求，包括概览配置，搜索项配置，档案配置等等。最后，本专利技术还可以通过部门、人员的搜索权限设置大大提高公安大数据的安全性。本专利技术与现有系统相比，在数据检索速度上大幅提升，其次本系统的准确度、难易度都能达到现有大数据搜索系统的最优效果。也可以通过对系统后台的配置，进行更加精准严密的资格权限划分，使得信息更加安全，其中后台配置中档案及概览的配置可以将不同维度的数据进行快速整合，将会节约大量的搜索资源与人力资源。最后说明的是，以上实施例仅用以说明本专利技术的技术方案而非限制，尽管参照较佳实施例对本专利技术进行了详细说明，本领域的普通技术人员应当理解，可以对本专利技术的技本文档来自技高网...

【技术保护点】
1.海量数据多维快速智能搜索方法，其特征在于：包括步骤/n创建空白数据库，通过数据接口接入多个源数据库，并将多个源数据库的数据导入至空白数据库中生成数据源；/n对数据源中的数据进行创建Solr索引、IK分词和TF-IDF排序；/n数据源接入至检索系统中，并对检索系统进行检索权限配置，数据源根据用户的检索主题给出对应的符合权限的数据，如果数据源中没有对应的数据，则对该主题进行记录；/n数据接口根据用户的检索主题，将不同的实体数据加入至数据源中；/n不同的实体数据加入至数据源中时，需要按照创建Solr索引、IK分词和TF-IDF排序的方式加入数据源中。/n

【技术特征摘要】
1.海量数据多维快速智能搜索方法，其特征在于：包括步骤
创建空白数据库，通过数据接口接入多个源数据库，并将多个源数据库的数据导入至空白数据库中生成数据源；
对数据源中的数据进行创建Solr索引、IK分词和TF-IDF排序；
数据源接入至检索系统中，并对检索系统进行检索权限配置，数据源根据用户的检索主题给出对应的符合权限的数据，如果数据源中没有对应的数据，则对该主题进行记录；
数据接口根据用户的检索主题，将不同的实体数据加入至数据源中；
不同的实体数据加入至数据源中时，需要按照创建Solr索引、IK分词和TF-IDF排序的方式加入数据源中。


2.根据权利要求1所述的海量数据多维快速智能...

【专利技术属性】
技术研发人员：邓昌智，魏友平，郑红艳，
申请(专利权)人：中科金审北京科技有限公司，
类型：发明
国别省市：北京;11