【技术实现步骤摘要】
一种数据处理方法、装置及设备
本申请涉及互联网
，尤其涉及一种数据处理方法、装置及设备。
技术介绍
数据湖分析(DataLakeAnalytics)用于为用户提供无服务器化(Serverless)的查询分析服务，能够对海量的数据进行任意维度的分析和查询，支持高并发、低延时(毫秒级响应)、实时在线分析、海量数据查询等功能。在数据湖分析系统中，为了支持查询分析服务，需要提供大量计算资源，使用这些计算资源实现任意维度的分析和查询。例如，在接收到SQL((StructuredQueryLanguage，结构化查询语言)语句后，需要从数据库中获取与该SQL语句对应的所有数据，这个任务的工作量非常大，需要使用大量计算资源。又例如，针对获取到的数据，可能对数据进行过滤、聚合等，这些任务也需要使用大量计算资源。综上所述，在现有技术中，数据湖分析系统需要使用大量计算资源来处理每个用户的SQL语句，随着用户数量的增加，对计算资源的需求也随之增加。
技术实现思路
本申请提供一种数据处理方法，所述方法包括：...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取与用户对应的数据请求；/n根据所述数据请求获取第一类执行计划和第二类执行计划；/n利用所述用户对应的用户独占资源处理所述第一类执行计划；/n利用全局共享资源处理所述第二类执行计划。/n
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取与用户对应的数据请求；
根据所述数据请求获取第一类执行计划和第二类执行计划；
利用所述用户对应的用户独占资源处理所述第一类执行计划；
利用全局共享资源处理所述第二类执行计划。
2.根据权利要求1所述的方法，其特征在于，
所述根据所述数据请求获取第一类执行计划和第二类执行计划，包括：
根据所述数据请求获取多个待执行计划；
根据所述用户独占资源的能力信息，从所述多个待执行计划中选择与所述能力信息匹配的待执行计划，并将选择的待执行计划确定为第一类执行计划；
将所述多个待执行计划中剩余的待执行计划确定为第二类执行计划。
3.根据权利要求2所述的方法，其特征在于，
所述根据所述用户独占资源的能力信息，从所述多个待执行计划中选择与所述能力信息匹配的待执行计划之前，所述方法还包括：
获取与所述用户独占资源对应的能力列表；
其中，所述能力列表包括所述用户独占资源的能力信息。
4.根据权利要求3所述的方法，其特征在于，
所述获取与所述用户独占资源对应的能力列表，包括：
与所述用户独占资源对应的云服务器建立连接；
接收所述云服务器通过所述连接发送的所述用户独占资源的能力信息；
将所述能力信息记录到所述用户独占资源对应的能力列表中；或者，
从登记服务器获取与所述用户独占资源对应的能力列表。
5.根据权利要求1所述的方法，其特征在于，
所述利用所述用户对应的用户独占资源处理所述第一类执行计划，包括：
将所述第一类执行计划发送给所述用户独占资源对应的云服务器，以使所述云服务器利用所述用户独占资源处理所述第一类执行计划。
6.根据权利要求1所述的方法，其特征在于，
所述利用全局共享资源处理所述第二类执行计划，包括：
将所述第二类执行计划发送给计算节点，以使所述计算节点利用所述全局共享资源处理所述第二类执行计划。
7.根据权利要求1所述的方法，其特征在于，
所述利用全局共享资源处理所述第二类执行计划，包括：
获取所述第一类执行计划的处理结果；
基于所述处理结果，利用全局共享资源处理所述第二类执行计划。
8.根据权利要求7所述的方法，其特征在于，所述基于所述处理结果，利用全局共享资源处理所述第二类执行计划，包括：
将所述第二类执行计划以及处理结果发送给计算节点，以使计算节点利用所述全局共享资源和所述处理结果处理第二类执行计划。
9.根据权利要求1所述的方法，其特征在于，
所述第一类执行计划包括以下之一或任意组合：与扫描操作相关的待执行计划；与过滤操作相关的待执行计划；与聚合操作相关的待执行计划。
10.一种数据处理方法，其特征在于，所述方法包括：
获取与用户对应的数据请求；
根据所述数据请求获取第一类执行计划和第二类执行计划；
将所述第一类执行计划发送给所述用户对应的用户独占资源对应的云服务器，以使所述云服务器利用所述用户独占资源处理所述第一类执行计划；
将所述第二类执行计划发送给计算节点，以使所述计算节点利用全局共享资源处理所述第二类执行计划。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
获取所述第一类执行计划的处理结果；
将...
【专利技术属性】
技术研发人员：王烨，周祥，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。