数据查询方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术涉及数据处理技术领域，公开了一种数据查询方法，该方法包括：接收用户触发的数据查询指令并解析，获取待查询数据对应的字段信息；根据所述字段信息，利用Elastic Search对所述字段信息进行数据搜索，获取所述字段信息对应的特征信息；基于利用Elastic Search查询得到的所述特征信息，在HBase数据库中查找并获取所述特征信息对应的存储在HBase数据库中的用户数据。本发明专利技术还提出一种数据查询装置以及一种计算机可读存储介质。本发明专利技术实现了一种快速查询用户大量信息的方案，提高了数据查询的便捷性和数据查询的效率，节约了查询时间。

Data query method, device and computer readable storage medium

The invention relates to the technical field of data processing, and discloses a data query method, which includes: receiving the data query instruction triggered by the user and analyzing, obtaining the field information corresponding to the data to be queried; according to the field information, using elastic search to search the field information, obtaining the characteristic information corresponding to the field information; based on using elastic search The feature information obtained by search is searched in HBase database and the user data stored in HBase database corresponding to the feature information is obtained. The invention also provides a data query device and a computer readable storage medium. The invention realizes a scheme for quickly querying a large amount of user information, improves the convenience of data query and the efficiency of data query, and saves query time.

【技术实现步骤摘要】
数据查询方法、装置及计算机可读存储介质
本专利技术涉及数据处理
，尤其涉及一种数据查询方法、装置及计算机可读存储介质。
技术介绍
针对HBase这一开源数据库，利用HBase技术可在廉价的PCServer上搭建起大规模的结构化存储集群，虽然HBase点查速度极快，但它不支持多条件数据查询。而ES(ElasticSearch，弹性分布式全文搜索)是一个基于Lucene的搜索服务器，虽然ElasticSearch多条件查询极快，但ElasticSearch不适合存储用户所有字段数据；由于ElasticSearch和HBase不同交互系统之间的查询条件差异较大，因此，构建HBase对应的rowKey则需要较大的数据计算量；因此，在满足数据计算便捷的前提下，如何将ElasticSearch搜索服务器与HBase数据库这两种交互系统进行结合以达到快速查询数据从而便捷地获取到相应信息，成为目前亟待解决的问题之一。
技术实现思路
本专利技术提供一种数据查询方法、装置及计算机可读存储介质，其主要目的在于提供一种将ElasticSearch搜索服务器与HBase数据库这两种交互系统进行结合以进行便捷、快速地查询数据的方案，提高数据查询效率。为实现上述目的，本专利技术还提供一种数据查询方法，该方法包括：接收用户触发的数据查询指令并解析，获取待查询数据对应的字段信息；根据所述字段信息，利用ElasticSearch对所述字段信息进行数据搜索，获取所述字段信息对应的特征信息；基于利用ElasticSearch查询得到的所述特征信息，在HBase数据库中查找并获取所述特征信息对应的存储在HBase数据库中的用户数据。可选地，所述接收用户触发的数据查询指令并解析，获取待查询数据对应的字段信息，之前还包括：按照数据查询需求，配置ElasticSearch和HBase数据库。可选地，所述按照数据查询需求，配置ElasticSearch和HBase数据库，包括：按照数据查询需求，设置每个用户分别对应的自定义字段信息；将自定义的所述字段信息写入HBase数据库对应的预设组件中，得到HBase数据查询组件；将得到的所述HBase数据查询组件写入ElasticSearch对应的查询字段中，并在ElasticSearch中建立包含所述查询字段的索引信息。可选地，所述按照数据查询需求，设置每个用户分别对应的自定义字段信息，包括：根据数据查询应用场景，确定为获取用户数据所对应的待抽取的字段数量；根据确定的所述待抽取的字段数量，从每个用户信息中抽取出所述待抽取字段数量对应的用户字段信息，并将抽取出的所述用户字段信息组成对应的自定义字段信息；其中，所述用户字段信息包括：用户识别码、身份证号码、合同编号、投保编码以及用户年龄、性别和用户职业信息。可选地，所述根据所述字段信息，利用ElasticSearch对所述字段信息进行数据搜索，获取所述字段信息对应的特征信息，包括：将所述字段信息中的多个字段同时作为搜索目标，利用ElasticSearch进行所有字段的多维度同时搜索；若第一时间匹配到其中一个字段对应的唯一特征信息，则将搜索到的唯一特征信息作为所述字段信息对应的特征信息；若第一时间匹配到其中一个字段对应的特征信息有多个，则利用ElasticSearch继续搜索，直至所述字段信息中包含的所有字段均能匹配到对应的特征信息且匹配到的所述特征信息是唯一的，则将匹配到的唯一的所述特征信息作为所述字段信息对应的特征信息。此外，为实现上述目的，本专利技术还提供一种数据查询装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的数据查询程序，所述数据查询程序被所述处理器执行时实现如下步骤：接收用户触发的数据查询指令并解析，获取待查询数据对应的字段信息；根据所述字段信息，利用ElasticSearch对所述字段信息进行数据搜索，获取所述字段信息对应的特征信息；基于利用ElasticSearch查询得到的所述特征信息，在HBase数据库中查找并获取所述特征信息对应的存储在HBase数据库中的用户数据。可选地，所述数据查询程序还可被所述处理器执行，以在“接收用户触发的数据查询指令并解析，获取待查询数据对应的字段信息”步骤之前，还实现如下步骤：按照数据查询需求，配置ElasticSearch和HBase数据库。可选地，所述数据查询程序还可被所述处理器执行，以在按照数据查询需求，配置ElasticSearch和HBase数据库，包括：按照数据查询需求，设置每个用户分别对应的自定义字段信息；将自定义的所述字段信息写入HBase数据库对应的预设组件中，得到HBase数据查询组件；将得到的所述HBase数据查询组件写入ElasticSearch对应的查询字段中，并在ElasticSearch中建立包含所述查询字段的索引信息。可选地，所述数据查询程序还可被所述处理器执行，以在根据所述字段信息，利用ElasticSearch对所述字段信息进行数据搜索，获取所述字段信息对应的特征信息，包括：将所述字段信息中的多个字段同时作为搜索目标，利用ElasticSearch进行所有字段的多维度同时搜索；若第一时间匹配到其中一个字段对应的唯一特征信息，则将搜索到的唯一特征信息作为所述字段信息对应的特征信息；若第一时间匹配到其中一个字段对应的特征信息有多个，则利用ElasticSearch继续搜索，直至所述字段信息中包含的所有字段均能匹配到对应的特征信息且匹配到的所述特征信息是唯一的，则将匹配到的唯一的所述特征信息作为所述字段信息对应的特征信息。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据查询程序，所述数据查询程序可被一个或者多个处理器执行，以实现如上所述的数据查询方法的步骤。本专利技术提出的数据查询方法、装置及计算机可读存储介质，接收用户触发的数据查询指令并解析，获取待查询数据对应的字段信息；根据所述字段信息，利用ElasticSearch对所述字段信息进行数据搜索，获取所述字段信息对应的特征信息；基于利用ElasticSearch查询得到的所述特征信息，在HBase数据库中查找并获取所述特征信息对应的存储在HBase数据库中的用户数据。本专利技术实施例充分利用了ElasticSearch和HBase这两种系统的优点并将二者的优点进行结合，利用ElasticSearch多条件查询极快这一特点，先根据待查询数据对应的字段信息通过ElasticSearch快速查询得到对应的特征信息(即定位用户)，再在ElasticSearch定位用户后，利用HBase极快的点查速度，获取特征信息对应的用户数据(即用户的详细信息)，达到了快速查询用户大量信息的目的，提高了数据查询的便捷性和数据查询的效率，节约了查询时间。本文档来自技高网...

【技术保护点】
1.一种数据查询方法，其特征在于，所述方法包括：/n接收用户触发的数据查询指令并解析，获取待查询数据对应的字段信息；/n根据所述字段信息，利用Elastic Search对所述字段信息进行数据搜索，获取所述字段信息对应的特征信息；/n基于利用Elastic Search查询得到的所述特征信息，在HBase数据库中查找并获取所述特征信息对应的存储在HBase数据库中的用户数据。/n

【技术特征摘要】
1.一种数据查询方法，其特征在于，所述方法包括：
接收用户触发的数据查询指令并解析，获取待查询数据对应的字段信息；
根据所述字段信息，利用ElasticSearch对所述字段信息进行数据搜索，获取所述字段信息对应的特征信息；
基于利用ElasticSearch查询得到的所述特征信息，在HBase数据库中查找并获取所述特征信息对应的存储在HBase数据库中的用户数据。


2.如权利要求1所述的数据查询方法，其特征在于，所述接收用户触发的数据查询指令并解析，获取待查询数据对应的字段信息，之前还包括：
按照数据查询需求，配置ElasticSearch和HBase数据库。


3.如权利要求2所述的数据查询方法，其特征在于，所述按照数据查询需求，配置ElasticSearch和HBase数据库，包括：
按照数据查询需求，设置每个用户分别对应的自定义字段信息；
将自定义的所述字段信息写入HBase数据库对应的预设组件中，得到HBase数据查询组件；
将得到的所述HBase数据查询组件写入ElasticSearch对应的查询字段中，并在ElasticSearch中建立包含所述查询字段的索引信息。


4.如权利要求3所述的数据查询方法，其特征在于，所述按照数据查询需求，设置每个用户分别对应的自定义字段信息，包括：
根据数据查询应用场景，确定为获取用户数据所对应的待抽取的字段数量；
根据确定的所述待抽取的字段数量，从每个用户信息中抽取出所述待抽取字段数量对应的用户字段信息，并将抽取出的所述用户字段信息组成对应的自定义字段信息；
其中，所述用户字段信息包括：用户识别码、身份证号码、合同编号、投保编码以及用户年龄、性别和用户职业信息。


5.如权利要求1至4任一项所述的数据查询方法，其特征在于，所述根据所述字段信息，利用ElasticSearch对所述字段信息进行数据搜索，获取所述字段信息对应的特征信息，包括：
将所述字段信息中的多个字段同时作为搜索目标，利用ElasticSearch进行所有字段的多维度同时搜索；
若第一时间匹配到其中一个字段对应的唯一特征信息，则将搜索到的唯一特征信息作为所述字段信息对应的特征信息；
若第一时间匹配到其中一个字段对应的特征信息有多个，则利用ElasticSearch继续搜索，直至所述字段信息中包含的所有字段均能匹配到对应的特征信息且匹配到的所述特征信息是唯一的，则将匹配到的唯一的所述特征信息作为所述字段信息对应的特征信息。...

【专利技术属性】
技术研发人员：章育涛，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：广东;44