基于搜索分析引擎的文档模型的搭建方法及其应用技术

本方案提供一种基于搜索分析引擎的文档模型的搭建方法及其应用，用于对目标人群的查询，获取目标人群的人口基础信息和业务信息搭建对应的文档模型，所述文档模型的检索字段填入所述人口基础信息，所述文档模型的业务字段填入所述业务信息，形成对应每一目标人群的文档，从而实现大数据量下通过不同条件对目标人群的快速查询。群的快速查询。群的快速查询。

Construction method and application of document model based on search analysis engine

【技术实现步骤摘要】
基于搜索分析引擎的文档模型的搭建方法及其应用


[0001]本专利技术涉及检索和查询领域，特别涉及一种基于搜索分析引擎的文档模型的搭建方法及其应用。

技术介绍

[0002]随着社会的高速发展和通信设备的普及，数据正在迅速膨胀变大，尤其是社交网络和移动通信把人类带入了一个海量数据信息的时代，庞大的数据量导致对数据的检索和查询变的非常复杂，在数据量巨大的数据库中精确查询一条数据所需要的时间成本极高，如何对海量信息进行高效处理成为了很多企业和机构的一个难题。
[0003]数据分为结构化数据和非结构化数据，结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理，与结构化数据相对的是不适于由数据库二维表来表现的非结构化数据，包括所有格式的办公文档、XML、HTML、各类报表、图片和音频、视频信息等。
[0004]目标人群的数据以结构化数据的形式被存在，目标人群库的数据量持续增长，同时用户的查询需求增多，这对目标人群库的数据存储能力，和对外提供检索服务的能力，提出了更高的要求。目前的数据库层面的索引、分区等优化方案不能满足在数据大量汇聚查询时的时效性。当需要查询特定信息时需要查询关联所有可能涉及的表，这就带来了数据查询实时性以及对系统高负载运作的问题，不利于大数据量下的业务应用。

技术实现思路

[0005]本方案提供一种基于搜索分析引擎的文档模型的搭建方法及其应用，基于目标人群的人口基础信息和业务信息搭建对应的文档模型，并在搜索分析引擎中实现
[0006]第一方面，本专利技术是一种基于搜索分析引擎的文档模型的搭建方法，包括：获取至少一目标人群的人口基础信息和业务信息，其中所述人口基础信息包括对应不同类型目标人群的通用属性，所述业务信息包括对应目标人群的人群类型、业务项以及归属地信息；
[0007]搭建对应每一目标人群的文档模型，所述文档模型的检索字段填入对应所述目标人群的人口基础信息，所述文档模型的业务字段填入对应所述目标人群的业务信息，得到对应所述目标目人群的文档。
[0008]在一些实施例中，所述业务项为对应不同类型的目标人群的特殊属性，所述特殊属性用于区分不同类型的目标人群。
[0009]在一些实施例中，所述归属地信息为所述目标人群所述的区划代码及所属网格。
[0010]在一些实施例中，每一文档以文档统一前缀和网格编号命名，所述网格编号为对应的文档中所述归属网格信息对应的编码。
[0011]在一些实施例中，每一所述文档包含文档目录元数据和文档标识元数据，所述文档的文档标识元数据和目标人群唯一标识对应，所述文档标识元数据和所述文档目录元数据定位一个特定的文档。
[0012]在一些实施例中，所述文档模型内的非时间字段采用关键词，所述时间字段采用时间戳。
[0013]第二方面，本方案提供一种基于上述方法搭建的文档模型。
[0014]第三方面，本方案提供一种基于上述方法搭建的文档模型的查询方法包括以下步骤：
[0015]获取查询请求，其中所述查询请求内记录目标人群的业务信息；
[0016]基于所述查询请求查询对应的文档模型。
[0017]在获取查询请求时，预先定义查询语句并预留所述查询语句的参数，获取记录传入参数的查询条件，将所述传入参数带入所述查询语句内封装成所述查询请求。
[0018]第四方面，本方案提供一种目标人群查询装置，包括：
[0019]文档搭建模块，用于搭建对应每一目标人群的文档模型，所述文档模型的检索字段填入所述目标人群的人口基础信息，所述文档模型的业务字段填入所述目标人群的业务信息，其中所述人口基础信息包括对应不同类型目标人群的通用属性，所述业务信息包括对应目标人群的人群类型、业务项以及归属地信息，得到对应所述目标人群的文档，以所述业务信息和文档统一前缀命名所述文档；
[0020]查询模块，用于基于所述查询请求查询对应的文档。
[0021]第五方面，本方案提供一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述的基于搜索分析引擎的文档模型的搭建方法和上述的目标人群查询方法。
[0022]第六方面，本方案提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括上述的基于搜索分析引擎的文档模型的搭建方法和上述的目标人群查询方法。
[0023]相较现有技术，本技术方案具有以下有益效果：基于对不同类型目标人群数据特点及应用场景的分析，基于业务对目标人群数据进行文档模型设计，采用分文档设计，可支持大量目标人群的汇聚查询；
[0024]另外，将目标人群在搜索分析引擎中模型化存储，利用不同条件的查询，可快速查询结果，相比于传统的结构化数据库表设计，避免了复杂的SQL设计和关联所有分表的查询方法，在拓展性和性能上得到了明显的提升。利用普通的_search请求，能实现在大量数据中快速查找到目标数据需求，相比于单表查询，性能有明显的提升；相比于分表查询，避免了复杂查询算法的设计，支持全量数据下所有字段的查询。
附图说明
[0025]图1为本方案提供的基于Elasticsearch的document模型的搭建方法的流程图。
[0026]图2为document模型示意图。
[0027]图3为通过Logstash进行数据录入示意图。
[0028]图4为本方案提供的目标人群查询方法的流程图。
[0029]图5为业务系统查询示意图。
[0030]图6为目标人群的统一属性信息示意图。
[0031]图7是根据本申请实施例的目标人群查询装置的结构框图；
[0032]图8是根据本申请实施例的电子装置的硬件结构示意图。
具体实施方式
[0033]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
[0034]需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
[0035]通过本专利技术，可建立一种基于搜索分析引擎服务的目标人群应用模型，用于目标人群的汇聚查询。基于目标人群各数据项的业务特点，对搜索分析引擎的文档进行结构化设计(基础信息、业务信息)，分析每部分结构化数据的汇聚和共享场景，进一步对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于搜索分析引擎的文档模型的搭建方法，其特征在于：获取至少一目标人群的人口基础信息和业务信息，其中所述人口基础信息包括对应不同类型目标人群的通用属性，所述业务信息包括对应目标人群的人群类型、业务项以及归属地信息；搭建对应每一目标人群的文档模型，所述文档模型的检索字段填入对应所述目标人群的人口基础信息，所述文档模型的业务字段填入对应所述目标人群的业务信息，得到对应所述目标目人群的文档。2.根据权利要求1所述的基于搜索分析引擎的文档模型的搭建方法，其特征在于，所述业务项为对应不同类型的目标人群的特殊属性，所述特殊属性用于区分不同类型的目标人群。3.根据权利要求1所述的基于搜索分析引擎的文档模型的搭建方法，其特征在于，所述归属地信息为所述目标人群所属的区划代码及所属网格。4.根据权利要求1所述的基于搜索分析引擎的文档模型的搭建方法，其特征在于，以文档统一前缀和网格编号命名每一文档，所述网格编号为对应的文档中记录的所述归属网格信息对应的编码。5.根据权利要求1所述的基于搜索分析引擎的文档模型的搭建方法，其特征在于，每一所述文档包含文档目录元数据和文档识别元数据，所述文档的文档识别元数据和目标人群唯一标识对应，所述文档识别元数据和所述文档目录元数据定位一个特定的文档。6.根据权利要求1所述的基于搜索分析引擎的文档模型的搭建方法，其特征在于，所述文档模型内的非时间字段采用关键词，所述时间字段采用时间戳。7.一种基于搜索分析引擎的文档模型，其特征在于，采用以上权利要求1到6任一所述的基于搜索分析引擎的文档模型的搭建方法搭建得到。8.一种目标人群查询方法，其特征在于，包括以下步骤：搭建对应每一目标人群的文档模型，所述文档模型的检索字段填入所述目标人群的人口基础信息，所述文档模型的业务字段填入所述目标人群的业务信息，其中所述人口基础信息包括对应不同类型目标人群的通用属性，所述业务信息包括对应目标人群的人群类型、业务项...

【专利技术属性】
技术研发人员：黄练纲，张翔宇，张帅，
申请(专利权)人：城云科技中国有限公司，
类型：发明
国别省市：