多源数据查询系统、方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种多源数据查询系统、方法、装置、设备及存储介质，属于互联网技术领域。所述系统包括：业务系统、聚合系统和数据库；业务系统用于接收来自请求方的聚合查询请求；为聚合查询请求分配对应的请求标识；向聚合系统发送携带有请求标识的数据获取请求；聚合系统用于根据数据获取请求从多个数据源获取聚合查询请求所需的结果数据；将请求标识和结果数据对应存储至数据库中；从结果数据中选取第一批次返回数据，并向业务系统发送第一批次返回数据；业务系统还用于向请求方发送第一批次返回数据以及所述请求标识。本申请通过在实时聚合数据的过程中，分批次地将数据发送给用户，可在不影响用户查询的情况下实现多源数据的实时聚合提供。

【技术实现步骤摘要】
多源数据查询系统、方法、装置、设备及存储介质
本申请实施例涉及互联网
，特别涉及一种多源数据查询系统、方法、装置、设备及存储介质。
技术介绍
随着互联网技术的发展，用户可以在数据聚合平台上查询来自多个不同数据源平台的数据，也即数据聚合平台可以聚合来自多个不同数据源平台的数据(即多源数据)。其中，数据聚合平台是指可以从多数据源聚合数据的平台，数据源平台是指可作为数据源的平台。在相关技术中，数据聚合平台通过定时将各个数据源平台的数据聚合到自己的数据库中，当用户有多源数据的查询需求时，数据聚合平台再从自己的数据库中调取该用户所需的多源数据，并将其提供给用户。然而，相关技术不仅需要落地海量数据，而且存在较为严重的数据不一致性，数据实时性低。
技术实现思路
本申请实施例提供了一种多源数据查询系统、方法、装置、设备及存储介质，能够避免落地海量数据，在不影响用户查询体验的情况下实现多源数据的实时聚合提供。所述技术方案如下：根据本申请实施例的一个方面，提供了一种多源数据查询系统，所述系统包括：业务系统、聚合系统和数据库；所述业务系统，用于接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；为所述聚合查询请求分配对应的请求标识；以及，向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；所述聚合系统，用于根据所述数据获取请求，从所述多个数据源获取所述聚合查询请求所需的结果数据；将所述请求标识和所述结果数据对应存储至所述数据库中；以及，从所述结果数据中选取第一批次返回数据，并向所述业务系统发送所述第一批次返回数据；所述业务系统，还用于向所述请求方发送所述第一批次返回数据以及所述请求标识。根据本申请实施例的一个方面，提供了一种多源数据查询方法，应用于多源数据查询系统中，所述系统包括：业务系统、聚合系统和数据库；所述业务系统接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；为所述聚合查询请求分配对应的请求标识；以及，向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；所述聚合系统根据所述数据获取请求，从所述多个数据源获取所述聚合查询请求所需的结果数据；将所述请求标识和所述结果数据对应存储至所述数据库中；以及，从所述结果数据中选取第一批次返回数据，并向所述业务系统发送所述第一批次返回数据；所述业务系统向所述请求方发送所述第一批次返回数据以及所述请求标识。根据本申请实施例的一个方面，提供了一种多源数据查询方法，所述方法包括：接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；为所述聚合查询请求分配对应的请求标识；向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；接收来自所述聚合系统的第一批次返回数据，所述第一批次返回数据是所述聚合系统从查询获取的所述聚合查询请求所需的结果数据中选取的；向所述请求方发送所述第一批次返回数据以及所述请求标识。根据本申请实施例的一个方面，提供了一种多源数据查询方法，所述方法包括：接收来自业务系统的数据获取请求，所述数据获取请求用于请求获取聚合查询请求所需的结果数据，所述数据获取请求中包括所述聚合查询请求对应的请求标识；根据所述数据获取请求，从多个数据源获取所述聚合查询请求所需的结果数据；将所述请求标识和所述结果数据对应存储至数据库中；从所述结果数据中选取第一批次返回数据；向所述业务系统发送所述第一批次返回数据。根据本申请实施例的一个方面，提供了一种多源数据查询装置，所述装置包括：查询请求接收模块，用于接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；请求标识分配模块，用于为所述聚合查询请求分配对应的请求标识；获取请求发送模块，用于向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；返回数据接收模块，用于接收来自所述聚合系统的第一批次返回数据，所述第一批次返回数据是所述聚合系统从查询获取的所述聚合查询请求所需的结果数据中选取的；返回数据发送模块，用于向所述请求方发送所述第一批次返回数据以及所述请求标识。根据本申请实施例的一个方面，提供了一种多源数据查询装置，所述装置包括：获取请求接收模块，用于接收来自业务系统的数据获取请求，所述数据获取请求用于请求获取聚合查询请求所需的结果数据，所述数据获取请求中包括所述聚合查询请求对应的请求标识；结果数据获取模块，用于根据所述数据获取请求，从多个数据源获取所述聚合查询请求所需的结果数据；结果数据存储模块，用于将所述请求标识和所述结果数据对应存储至数据库中；返回数据选取模块，用于从所述结果数据中选取第一批次返回数据；数据发送模块，用于向所述业务系统发送所述第一批次返回数据。根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述多源数据查询方法。根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述多源数据查询方法。根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述多源数据查询方法。本申请实施例提供的技术方案可以带来如下有益效果：通过基于请求方的需求进行多源数据的实时聚合，并在多源数据实时聚合的过程中，以增量的形式(即分批次)将多源数据提供给请求方，从而避免了需要落地海量数据的问题，实现了在不影响用户查询体验的情况下进行多源数据的实时聚合，进而确保了多源数据的时效性和一致性。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请一个实施例提供的多源数据查询系统的架构图；图2是本申请一个实施例提供的多源数据查询方法的流程图；图3是本申请另一个实施例提供的多源数据查询方法的流程图；图4是本申请另一个实施例提供的多源数据查询方法的流程图；图5是本申请一个实施例提供的多源数据查询装置的框图；图本文档来自技高网...

【技术保护点】
1.一种多源数据查询系统，其特征在于，所述系统包括：业务系统、聚合系统和数据库；/n所述业务系统，用于接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；为所述聚合查询请求分配对应的请求标识；以及，向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；/n所述聚合系统，用于根据所述数据获取请求，从所述多个数据源获取所述聚合查询请求所需的结果数据；将所述请求标识和所述结果数据对应存储至所述数据库中；以及，从所述结果数据中选取第一批次返回数据，并向所述业务系统发送所述第一批次返回数据；/n所述业务系统，还用于向所述请求方发送所述第一批次返回数据以及所述请求标识。/n

【技术特征摘要】
1.一种多源数据查询系统，其特征在于，所述系统包括：业务系统、聚合系统和数据库；
所述业务系统，用于接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；为所述聚合查询请求分配对应的请求标识；以及，向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；
所述聚合系统，用于根据所述数据获取请求，从所述多个数据源获取所述聚合查询请求所需的结果数据；将所述请求标识和所述结果数据对应存储至所述数据库中；以及，从所述结果数据中选取第一批次返回数据，并向所述业务系统发送所述第一批次返回数据；
所述业务系统，还用于向所述请求方发送所述第一批次返回数据以及所述请求标识。


2.根据权利要求1所述的系统，其特征在于，所述聚合系统，具体用于：
在所述结果数据的数据量大于或等于所述聚合查询请求所需的数据量的情况下，从所述结果数据中选取目标数据量的数据，得到所述第一批次返回数据；
其中，所述目标数据量为所述聚合查询请求所需的数据量。


3.根据权利要求1所述的系统，其特征在于，所述聚合系统，还用于：
根据所述数据获取请求，从所述多个数据源持续获取所述聚合查询请求所需的结果数据；
将持续获取的所述结果数据存储至所述数据库中，且与所述请求标识对应存储。


4.根据权利要求1所述的系统，其特征在于，所述业务系统，还用于：
接收来自所述请求方的所述聚合查询请求的关联查询请求，所述关联查询请求中包括所述请求标识；
从所述数据库中获取与所述请求标识对应存储的未返回结果数据，得到第二批次返回数据；其中，所述未返回结果数据是指未发送给所述请求方的结果数据；
向所述请求方发送所述第二批次返回数据。


5.根据权利要求4所述的系统，其特征在于，所述业务系统，还用于：
在所述数据库中不存在与所述请求标识对应存储的未返回结果数据的情况下，向所述请求方发送查询结束响应；
其中，所述查询结束响应用于指示已提供全部所述聚合查询请求所需的结果数据。


6.一种多源数据查询方法，其特征在于，应用于多源数据查询系统中，所述系统包括：业务系统、聚合系统和数据库；
所述业务系统接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；为所述聚合查询请求分配对应的请求标识；以及，向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；
所述聚合系统根据所述数据获取请求，从所述多个数据源获取所述聚合查询请求所需的结果数据；将所述请求标识和所述结果数据对应存储至所述数据库中；以及，从所述结果数据中选取第一批次返回数据，并向所述业务系统发送所述第一批次返回数据；
所述业务系统向所述请求方发送所述第一批次返回数据以及所述请求标识。


7.一种多源数据查询方法，其特征在于，所述方法包括：
接收来自请求方的聚合查询请求，所述聚合查询请求用于请求查询来自多个数据源的数据；
为所述聚合查询请求分配对应的请求标识；
向所述聚合系统发送携带有所述请求标识的数据获取请求，所述数据获取请求用于请求获取所述聚合查询请求所需的结果数据；
接收来自所述聚合系统的第一批次返回数据，所述第一批次返回数据是所述聚合系统从查询获取的所述聚合查询请求所需的结果数据中选取的；
向所述请求方发送所述第一批次返回数据以及所述请求标识。


8.根据权利要求7所述的方法，其特征在于，所述向所述请求方发送所述第一批次返回数据以及所述请求标识之后，还包括：
接收来自所述请求方的所述聚合查询请求的关联查询请求，所述关联查询请求中包括所述请求标识；
从...

【专利技术属性】
技术研发人员：赵金雨，
申请(专利权)人：有半岛北京信息科技有限公司，
类型：发明
国别省市：北京;11