数据查询的方法及分布式联邦分析的方法技术

本公开提供了数据查询的方法及分布式联邦分析的方法，涉及人工智能技术领域，尤其涉及云计算、大数据技术领域，可应用于智能云场景。具体实现方案为：确定当前查询指令对应的目标数据源，其中，目标数据源中存储的目标属性数据被划分为多个区间；在确定多个区间中的第一区间整体位于当前查询指令的数据查询范围且存在对应的目标缓存的情况下，根据当前查询指令和目标缓存，确定第一查询结果。根据本公开技术，可以提高数据查询的效率。可以提高数据查询的效率。可以提高数据查询的效率。

【技术实现步骤摘要】
数据查询的方法及分布式联邦分析的方法


[0001]本公开涉及人工智能
，尤其涉及云计算、大数据
，可应用于智能云场景。

技术介绍

[0002]随着大数据技术的发展，以及传统数据库技术的进一步演进，企业在数据架构上的选择越来越多。目前一个企业中的数据通常存储在多个数据源，对于业务复杂的企业，数据源甚至数十个到上百个。对于数据的查询、挖掘分析，往往需要横跨多个业务系统，这时就需要具有联邦查询能力的分布式计算引擎，利用多个并行的节点从不同数据源中获取数据进行联邦分析。

技术实现思路

[0003]本公开提供了一种数据查询的方法及分布式联邦分析的方法。
[0004]根据本公开的一方面，提供了一种数据查询的方法，应用于分布式系统的工作节点，包括：
[0005]确定当前查询指令对应的目标数据源，其中，目标数据源中存储的目标属性数据被划分为多个区间；以及
[0006]在确定多个区间中的第一区间整体位于当前查询指令的数据查询范围且存在对应的目标缓存的情况下，根据当前查询指令和目标缓存，确定第一查询结果。
[0007]根据本公开的另一方面，提供了一种分布式联邦分析的方法，应用于分布式系统的调度节点，包括：
[0008]根据用户查询指令，从分布式系统中确定多个工作节点；
[0009]将用户查询指令拆分成的多个当前查询指令，一一对应的发送至多个工作节点，其中，多个工作节点根据本公开任一实施例的方法，基于多个当前查询指令执行数据查询；以及
[0010]根据多个工作节点反馈的查询结果，确定用户查询指令的联邦分析查询结果。
[0011]根据本公开的另一方面，提供了一种数据查询的装置，包括：
[0012]第一确定模块，用于确定当前查询指令对应的目标数据源，其中，目标数据源中存储的目标属性数据被划分为多个区间；以及
[0013]第二确定模块，用于在确定多个区间中的第一区间整体位于当前查询指令的数据查询范围且存在对应的目标缓存的情况下，根据当前查询指令和目标缓存，确定第一查询结果。
[0014]根据本公开的另一方面，提供了一种分布式联邦分析的装置，应用于分布式系统的调度节点，包括：
[0015]节点确定模块，用于根据用户查询指令，从分布式系统中确定多个工作节点；
[0016]发送模块，用于将用户查询指令拆分成的多个当前查询指令，一一对应的发送至
多个工作节点，其中，多个工作节点根据本公开任一实施例的方法，基于多个当前查询指令执行数据查询；以及
[0017]结果确定模块，用于根据多个工作节点反馈的查询结果，确定用户查询指令的联邦分析查询结果。
[0018]根据本公开的另一方面，提供了一种电子设备，包括：
[0019]至少一个处理器；以及
[0020]与该至少一个处理器通信连接的存储器；其中，
[0021]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
[0022]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
[0023]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
[0024]根据本公开技术，可以提高数据查询的效率。
[0025]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0026]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0027]图1是根据本公开实施例的数据查询的方法的示意图；
[0028]图2是根据本公开实施例的应用场景示意图；
[0029]图3是根据本公开实施例的应用场景示意图；
[0030]图4是根据本公开实施例的应用场景示意图；
[0031]图5是根据本公开实施例的分布式联邦分析的方法的示意图；
[0032]图6是根据本公开实施例的数据查询的装置的示意图；
[0033]图7是根据本公开实施例的分布式联邦分析的装置的示意图；
[0034]图8是用来实现本公开实施例的数据查询的方法和/或分布式联邦分析的方法的电子设备的框图。
具体实施方式
[0035]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0036]如图1所示，本公开实施例提供了一种数据查询的方法，应用于分布式系统的工作节点，包括：
[0037]步骤S101：确定当前查询指令对应的目标数据源，其中，目标数据源中存储的目标属性数据被划分为多个区间。
[0038]步骤S102：在确定多个区间中的第一区间整体位于当前查询指令的数据查询范围
且存在对应的目标缓存的情况下，根据当前查询指令和目标缓存，确定第一查询结果。
[0039]根据本公开实施例，需要说明的是：
[0040]分布式系统可以理解为现有技术中的任意分布式联邦分析引擎。工作节点可以理解为分布式联邦分析引擎中用于执行数据查询、挖掘、分析和计算的节点。工作节点可以由分布式联邦分析引擎中的调度节点分配当前查询指令，以使工作节点基于分配的当前查询指令执行数据查询的任务。本公开实施例的数据查询的方法的执行主体，可以理解为是工作节点。分布式联邦分析引擎的架构可以参考图2，图2中的工作节点1、工作节点2和工作节点3均可以作为本公开实施例的数据查询的方法的执行主体。需要说明的是，图2仅用于示例性说明分布式联邦分析引擎的架构，具体所采用的分布式联邦分析引擎可以根据需要进行调整，分布式联邦分析引擎中工作节点的数量、工作节点之间的连接关系、工作节点与调度节点之间的连接关系，均可以根据需要进行调整。
[0041]本公开实施例的数据查询的方法，可以应用于任何业务场景，在此不做具体限定。
[0042]目标数据源，可以理解为任何结构形式的数据库。例如，目标数据源可以为MySQL(关系型数据库管理系统)数据库、Hive(数据仓库工具)数据库或Oracle(甲骨文)数据库。目标数据源与工作节点连接，目标数据源中至少存储有与当前查询指令相关的业务数据。
[0043]当前查询指令，可以理解为用户直接发送的查询指令，也可以理解为调度节点在用户发送的查询指令基础上进行拆分而得到的子查询指令。
[0044]当前查询指令对应的目标数据源，可以理解为存储有查询指令所需查询的业务数据的数据源。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据查询的方法，应用于分布式系统的工作节点，包括：确定当前查询指令对应的目标数据源，其中，所述目标数据源中存储的目标属性数据被划分为多个区间；以及在确定所述多个区间中的第一区间整体位于所述当前查询指令的数据查询范围且存在对应的目标缓存的情况下，根据所述当前查询指令和所述目标缓存，确定第一查询结果。2.根据权利要求1所述的方法，其中，所述在确定所述多个区间中的第一区间整体位于所述当前查询指令的数据查询范围且存在对应的目标缓存的情况下，根据所述当前查询指令和所述目标缓存，确定第一查询结果，包括：确定所述多个区间中整体位于所述当前查询指令的数据查询范围的目标区间；在确定所述目标区间存在对应的目标缓存的情况下，将所述目标区间确定为第一区间；根据所述当前查询指令，基于所述目标缓存中存储的所述第一区间对应的目标属性数据，和/或，所述第一区间对应的历史查询指令的查询结果，确定第一查询结果。3.根据权利要求2所述的方法，其中，所述确定所述多个区间中整体位于所述当前查询指令的数据查询范围的目标区间，包括：将所述当前查询指令的数据查询范围与所述多个区间中的每个区间的首端数据和尾端数据进行比较，确定整体位于所述当前查询指令的数据查询范围中的目标区间。4.根据权利要求1至3任一项所述的方法，还包括：在确定所述多个区间中的第二区间的部分区间位于所述数据查询范围的情况下，根据所述当前查询指令，基于所述部分区间对应的目标属性数据，确定第二查询结果；根据所述第一查询结果和所述第二查询结果，确定所述当前查询指令的总查询结果。5.根据权利要求1至3任一项所述的方法，还包括：在确定所述多个区间中的第三区间整体位于所述当前查询指令的数据查询范围且不存在对应的目标缓存的情况下，根据所述当前查询指令，基于所述第三区间对应的目标属性数据，确定第三查询结果；根据所述第一查询结果和所述第三查询结果，确定所述当前查询指令的总查询结果。6.根据权利要求1至3任一项所述的方法，还包括：在确定所述多个区间中的第二区间的部分区间位于所述数据查询范围的情况下，根据所述当前查询指令，基于所述部分区间对应的目标属性数据，确定第二查询结果；在确定所述多个区间中的第三区间整体位于所述当前查询指令的数据查询范围且不存在对应的目标缓存的情况下，根据所述当前查询指令，基于所述第三区间对应的目标属性数据，确定第三查询结果；根据所述第一查询结果、所述第二查询结果和所述第三查询结果，确定所述当前查询指令的总查询结果。7.根据权利要求4所述的方法，其中，所述在确定所述多个区间中的第二区间的部分区间位于所述数据查询范围的情况下，根据所述当前查询指令，基于所述部分区间对应的目标属性数据，确定第二查询结果，包括：将所述当前查询指令的数据查询范围与所述多个区间中的每个区间的首端数据和尾端数据进行比较，确定整体不位于所述当前查询指令的数据查询范围中的第四区间和部分
区间位于所述数据查询范围的第二区间；根据所述第一区间和所述第四区间，将第一数据查询任务更新为第二数据查询任务，其中，所述第一数据查询任务用于查询所述目标数据源中存储的全部的目标属性数据和/或所述目标数据源中与所述全部的目标属性数据的关联数据；所述第二数据查询任务用于仅查询所述部分区间对应的目标属性数据；根据所述第二数据查询任务，获取所述部分区间对应的目标属性数据；根据所述当前查询指令，基于所述部分区间对应的目标属性数据，确定第二查询结果。8.根据权利要求5所述的方法，其中，所述在确定所述多个区间中的第三区间整体位于所述当前查询指令的数据查询范围且不存在对应的目标缓存的情况下，根据所述当前查询指令，基于所述第三区间对应的目标属性数据，确定第三查询结果，包括：将所述当前查询指令的数据查询范围与所述多个区间中的每个区间的首端数据和尾端数据进行比较，确定整体不位于所述当前查询指令的数据查询范围中的第四区间和整体位于所述数据查询范围且不存在对应的目标缓存的第三区间；根据所述第一区间和所述第四区间，将第一数据查询任务更新为第三数据查询任务，其中，所述第一数据查询任务用于查询所述目标数据源中存储的全部的目标属性数据和/或所述目标数据源中与所述全部的目标属性数据的关联数据；所述第三数据查询任务用于仅查询所述第三区间对应的目标属性数据；根据所述第三数据查询任务，获取所述第三区间对应的目标属性数据；根据所述当前查询指令，基于所述第三区间对应的目标属性数据，确定第三查询结果。9.根据权利要求5所述的方法，还包括：将所述第三查询结果和/或所述第三区间对应的目标属性数据，存入预设缓存。10.一种分布式联邦分析的方法，应用于分布式系统的调度节点，包括：根据用户查询指令，从所述分布式系统中确定多个工作节点；将所述用户查询指令拆分成的多个当前查询指令，一一对应的发送至所述多个工作节点，其中，所述多个工作节点根据权利要求1至9中任一项所述的方法，基于所述多个当前查询指令执行数据查询；以及根据所述多个工作节点反馈的查询结果，确定所述用户查询指令的联邦分析查询结果。11.一种数据查询的装置，应用于分布式系统的工作节点，包括：第一确定模块，用于确定当前查询指令对应的目标数据源，其中，所述目标数据源中存储的目标属性数据被划分为多个区间；以及第二确定模块，用于在确定所述多个区间中的第一区间整体位于所述当前查询指令的数据查询...

【专利技术属性】
技术研发人员：张奇伟，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：