一种数据处理方法、装置及设备制造方法及图纸

本申请提供一种数据处理方法、装置及设备，该方法包括：获取与用户对应的数据请求；根据所述数据请求获取第一类执行计划和第二类执行计划；利用所述用户对应的用户独占资源处理所述第一类执行计划；利用全局共享资源处理所述第二类执行计划。通过本申请的技术方案，可以利用用户的空闲资源处理第一类执行计划，大幅降低用户的成本，提高处理性能。

A data processing method, device and equipment

【技术实现步骤摘要】
一种数据处理方法、装置及设备
本申请涉及互联网
，尤其涉及一种数据处理方法、装置及设备。
技术介绍
数据湖分析(DataLakeAnalytics)用于为用户提供无服务器化(Serverless)的查询分析服务，能够对海量的数据进行任意维度的分析和查询，支持高并发、低延时(毫秒级响应)、实时在线分析、海量数据查询等功能。在数据湖分析系统中，为了支持查询分析服务，需要提供大量计算资源，使用这些计算资源实现任意维度的分析和查询。例如，在接收到SQL((StructuredQueryLanguage，结构化查询语言)语句后，需要从数据库中获取与该SQL语句对应的所有数据，这个任务的工作量非常大，需要使用大量计算资源。又例如，针对获取到的数据，可能对数据进行过滤、聚合等，这些任务也需要使用大量计算资源。综上所述，在现有技术中，数据湖分析系统需要使用大量计算资源来处理每个用户的SQL语句，随着用户数量的增加，对计算资源的需求也随之增加。
技术实现思路
本申请提供一种数据处理方法，所述方法包括：获取与用户对应的数据请求；根据所述数据请求获取第一类执行计划和第二类执行计划；利用所述用户对应的用户独占资源处理所述第一类执行计划；利用全局共享资源处理所述第二类执行计划。本申请提供一种数据处理方法，所述方法包括：获取与用户对应的数据请求；根据所述数据请求获取第一类执行计划和第二类执行计划；将所述第一类执行计划发送给所述用户对应的用户独占资源对应的云服务器，以使所述云服务器利用所述用户独占资源处理所述第一类执行计划；将所述第二类执行计划发送给计算节点，以使所述计算节点利用全局共享资源处理所述第二类执行计划。本申请提供一种数据处理方法，所述方法包括：获取与用户对应的数据请求；根据所述数据请求获取执行计划；利用所述用户对应的用户独占资源处理所述执行计划。本申请提供一种数据处理装置，所述装置包括：获取模块，用于获取与用户对应的数据请求；根据所述数据请求获取第一类执行计划和第二类执行计划；处理模块，用于利用所述用户对应的用户独占资源处理所述第一类执行计划，并利用全局共享资源处理所述第二类执行计划。本申请提供一种数据处理装置，所述装置包括：获取模块，用于获取与用户对应的数据请求；根据所述数据请求获取第一类执行计划和第二类执行计划；发送模块，用于将所述第一类执行计划发送给所述用户对应的用户独占资源对应的云服务器，以使所述云服务器利用所述用户独占资源处理所述第一类执行计划；将所述第二类执行计划发送给计算节点，以使所述计算节点利用全局共享资源处理所述第二类执行计划。本申请提供一种数据处理设备，包括：处理器和机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述处理器执行所述计算机指令时进行如下处理：获取与用户对应的数据请求；根据所述数据请求获取第一类执行计划和第二类执行计划；利用所述用户对应的用户独占资源处理所述第一类执行计划；利用全局共享资源处理所述第二类执行计划。本申请提供一种数据处理设备，包括：处理器和机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述处理器执行所述计算机指令时进行如下处理：获取与用户对应的数据请求；根据所述数据请求获取第一类执行计划和第二类执行计划；将所述第一类执行计划发送给所述用户对应的用户独占资源对应的云服务器，以使所述云服务器利用所述用户独占资源处理所述第一类执行计划；将所述第二类执行计划发送给计算节点，以使所述计算节点利用全局共享资源处理所述第二类执行计划。基于上述技术方案，本申请实施例中，可以根据数据请求获取第一类执行计划和第二类执行计划，并利用用户独占资源处理第一类执行计划，利用全局共享资源处理第二类执行计划，这样，可以利用用户的空闲资源处理第一类执行计划，从而大幅降低用户的成本，提高数据请求的处理性能。而且，可以避免利用全局共享资源处理所有执行计划，节省数据湖分析系统的计算资源。附图说明为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其它的附图。图1是本申请一种实施方式中的数据处理方法的流程图；图2是本申请另一种实施方式中的数据处理方法的流程图；图3是本申请一种实施方式中的数据湖分析系统的结构示意图；图4是本申请一种实施方式中的前端节点的操作示意图；图5是本申请一种实施方式中的数据处理方法的流程图；图6是本申请一种实施方式中的数据处理装置的结构图；图7是本申请另一种实施方式中的数据处理装置的结构图；图8是本申请一种实施方式中的数据处理设备的硬件结构图。具体实施方式在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。本申请实施例中提出一种数据处理方法，该方法可以应用于数据湖分析系统中的前端节点，参见图1所示，为该方法的流程图，该方法可以包括：步骤101，获取与用户对应的数据请求，如SQL语句等。步骤102，根据该数据请求获取第一类执行计划和第二类执行计划。具体的，可以根据该数据请求获取多个待执行计划，并根据用户独占资源的能力信息，从多个待执行计划中选择与该能力信息匹配的待执行计划，并将选择的待执行计划确定为第一类执行计划；将多个待执行计划中剩余的待执行计划(即第一类执行计划之外的其它待执行计划)确定为第二类执行计划。在一个例子中，在根据用户独占资源的能力信息，从多个待执行计划中选择与该能力信息匹配的待执行计划之前，还可以获取与该用户独占资源对应的能力列表；其中，该能力列表可以包括该用户独占资源的能力信息。在一个例子中，获取与该用户独占资源对应的能力列表，可以包括：方式一、与用户独占资源对应的云服务器建立连接；接收云服务器通过该连接发送的用户独占资源的能力信息；将该能力信息记录到该用户独占资源对应的能力列本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取与用户对应的数据请求；/n根据所述数据请求获取第一类执行计划和第二类执行计划；/n利用所述用户对应的用户独占资源处理所述第一类执行计划；/n利用全局共享资源处理所述第二类执行计划。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取与用户对应的数据请求；
根据所述数据请求获取第一类执行计划和第二类执行计划；
利用所述用户对应的用户独占资源处理所述第一类执行计划；
利用全局共享资源处理所述第二类执行计划。


2.根据权利要求1所述的方法，其特征在于，
所述根据所述数据请求获取第一类执行计划和第二类执行计划，包括：
根据所述数据请求获取多个待执行计划；
根据所述用户独占资源的能力信息，从所述多个待执行计划中选择与所述能力信息匹配的待执行计划，并将选择的待执行计划确定为第一类执行计划；
将所述多个待执行计划中剩余的待执行计划确定为第二类执行计划。


3.根据权利要求2所述的方法，其特征在于，
所述根据所述用户独占资源的能力信息，从所述多个待执行计划中选择与所述能力信息匹配的待执行计划之前，所述方法还包括：
获取与所述用户独占资源对应的能力列表；
其中，所述能力列表包括所述用户独占资源的能力信息。


4.根据权利要求3所述的方法，其特征在于，
所述获取与所述用户独占资源对应的能力列表，包括：
与所述用户独占资源对应的云服务器建立连接；
接收所述云服务器通过所述连接发送的所述用户独占资源的能力信息；
将所述能力信息记录到所述用户独占资源对应的能力列表中；或者，
从登记服务器获取与所述用户独占资源对应的能力列表。


5.根据权利要求1所述的方法，其特征在于，
所述利用所述用户对应的用户独占资源处理所述第一类执行计划，包括：
将所述第一类执行计划发送给所述用户独占资源对应的云服务器，以使所述云服务器利用所述用户独占资源处理所述第一类执行计划。


6.根据权利要求1所述的方法，其特征在于，
所述利用全局共享资源处理所述第二类执行计划，包括：
将所述第二类执行计划发送给计算节点，以使所述计算节点利用所述全局共享资源处理所述第二类执行计划。


7.根据权利要求1所述的方法，其特征在于，
所述利用全局共享资源处理所述第二类执行计划，包括：
获取所述第一类执行计划的处理结果；
基于所述处理结果，利用全局共享资源处理所述第二类执行计划。


8.根据权利要求7所述的方法，其特征在于，所述基于所述处理结果，利用全局共享资源处理所述第二类执行计划，包括：
将所述第二类执行计划以及处理结果发送给计算节点，以使计算节点利用所述全局共享资源和所述处理结果处理第二类执行计划。


9.根据权利要求1所述的方法，其特征在于，
所述第一类执行计划包括以下之一或任意组合：与扫描操作相关的待执行计划；与过滤操作相关的待执行计划；与聚合操作相关的待执行计划。


10.一种数据处理方法，其特征在于，所述方法包括：
获取与用户对应的数据请求；
根据所述数据请求获取第一类执行计划和第二类执行计划；
将所述第一类执行计划发送给所述用户对应的用户独占资源对应的云服务器，以使所述云服务器利用所述用户独占资源处理所述第一类执行计划；
将所述第二类执行计划发送给计算节点，以使所述计算节点利用全局共享资源处理所述第二类执行计划。


11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
获取所述第一类执行计划的处理结果；
将...

【专利技术属性】
技术研发人员：王烨，周祥，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY