一种支持多源异构数据的关联整合及快速检索方法技术

本公开涉及一种支持多源异构数据的关联整合及快速检索方法，该方法包括：接收一条或多条业务数据，为每一条所述业务数据生成唯一的索引标识；基于所述索引标识，在搜索引擎中建立索引目录；接收客户端发送的第一查询请求，所述第一查询请求中携带有搜索引擎从所述索引目录中获取的一个或多个索引标识；基于每一个所述索引标识，从所述业务数据中获取查询结果。本公开通过数据库协处理器对业务数据进行监听，并生成相应的索引标识，在搜索引擎中建立相应的索引目录，基于数据索引实现多条件快速查询，无需消耗过多的处理器资源及内存资源，从而提高了数据检索的效率与稳定性。从而提高了数据检索的效率与稳定性。从而提高了数据检索的效率与稳定性。

【技术实现步骤摘要】
一种支持多源异构数据的关联整合及快速检索方法


[0001]本公开涉及计算机
，尤其涉及一种支持多源异构数据的关联整合及快速检索方法。

技术介绍

[0002]在联机分析处理(Online Analytical Processing，OLAP)场景中，常用到Impala、Presto、SparkSQL等引擎对海量数据进行检索。
[0003]通常情况下，不同的业务场景所需要的数据检索条件不同，且同一个业务场景下也可能拥有多个查询条件，而常用的主流OLAP引擎在执行查询请求时，大多需要将数据全部放入内存中进行计算，在处理多条件查询的查询请求时，由于查询条件复杂，计算过程会消耗大量的内存资源，且效率低下，甚至会引起系统雪崩。

技术实现思路

[0004]为了解决上述技术问题，本公开提供了一种支持多源异构数据的关联整合及快速检索方法，以节省内存资源，提高数据的查询效率与稳定性。
[0005]第一方面，本公开实施例提供一种支持多源异构数据的关联整合及快速检索方法，其特征在于，应用于数据库，所述方法包括：
[0006本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持多源异构数据的关联整合及快速检索方法，其特征在于，应用于数据库，所述方法包括：接收一条或多条业务数据，为每一条所述业务数据生成唯一的索引标识；基于所述索引标识，在搜索引擎中建立索引目录；接收客户端发送的第一查询请求，所述第一查询请求中携带有搜索引擎从所述索引目录中获取的一个或多个索引标识；基于每一个所述索引标识，从所述业务数据中获取查询结果。2.根据权利要求1所述的方法，其特征在于，所述接收一条或多条业务数据，为所述每一条业务数据生成唯一的索引标识包括：接收一条或多条业务数据，获取所述业务数据中的字段信息；基于所述字段信息，为每一条所述业务数据生成唯一的索引标识。3.根据权利要求1所述的方法，其特征在于，所述基于每一个所述索引标识，从所述业务数据中获取查询结果之后，所述方法还包括：将所述查询结果发送至客户端。4.一种支持多源异构数据的关联整合及快速检索方法，其特征在于，应用于搜索引擎，所述方法包括：响应于数据库的操作，获取索引目录；接收客户端发送的第二查询请求，所述第二查询请求中携带有一个或多个查询条件；基于每一个所述查询条件，从所述索引目录中获取符合所述查询条件的索引标识；将所述索引标识发送至客户端。5.一种支持多源异构数据的关联整合及快速检索装置，其特征在于，所述装置位于数据库中，所述装置包括：标识生成模块，用于接收一条或多条业务数据，为每一条所述业务数据生成唯一的索引标识；索引建立模块，用于基于所述索引标识，在搜索...

【专利技术属性】
技术研发人员：贾皓立，陈庆国，梁凯鹏，粟文，程吉辉，宋萍，
申请(专利权)人：北京银丰新融科技开发有限公司，
类型：发明
国别省市：