【技术实现步骤摘要】
数据处理方法及装置、计算机设备和存储介质
本公开涉及数据处理
,尤其涉及一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
技术介绍
随着互联网技术的发展以及移动设备、传感设备等的不断普及,各行各业产生了大量数据。在一些情况中,用户希望对已有的数据进行分析处理,以从中提取出自己需要的信息。当待处理的数据量较大或数据存储位置多样时,数据处理耗时较长,难以令用户满意。在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地,除非另有指明,否则此部分中提及的问题不应认为在任何现有技术中已被公认。
技术实现思路
提供一种缓解、减轻或甚至消除上述问题中的一个或多个的机制将是有利的。根据本公开的一方面,提供了一种数据处理方法,包括:接收数据处理请求,数据处理请求包括输入数据的源存储位置、对应于至少一个数据处理操作的至少一个算子、以及输出数据的目标存储位置;根据上述源存储位置、目标存 ...
【技术保护点】
1.一种数据处理方法,包括:/n接收数据处理请求,所述数据处理请求包括输入数据的源存储位置、对应于至少一个数据处理操作的至少一个算子、以及输出数据的目标存储位置;/n根据所述源存储位置、目标存储位置和所述至少一个算子来确定所述数据处理请求的执行引擎;以及/n将所述数据处理请求提交至所述执行引擎,以便所述执行引擎对所述输入数据执行所述至少一个数据处理操作以得到输出数据,并将所述输出数据存储至所述目标存储位置。/n
【技术特征摘要】
1.一种数据处理方法,包括:
接收数据处理请求,所述数据处理请求包括输入数据的源存储位置、对应于至少一个数据处理操作的至少一个算子、以及输出数据的目标存储位置;
根据所述源存储位置、目标存储位置和所述至少一个算子来确定所述数据处理请求的执行引擎;以及
将所述数据处理请求提交至所述执行引擎,以便所述执行引擎对所述输入数据执行所述至少一个数据处理操作以得到输出数据,并将所述输出数据存储至所述目标存储位置。
2.根据权利要求1所述的方法,其中,所述根据所述源存储位置、目标存储位置和所述至少一个算子来确定所述数据处理请求的执行引擎包括:
响应于确定所述源存储位置和所述目标存储位置属于同一个关系型数据库管理系统,且所述至少一个数据处理操作为关系型数据库查询操作,将所述关系型数据库管理系统作为所述执行引擎。
3.根据权利要求2所述的方法,其中,所述将所述数据处理请求提交至所述执行引擎包括:
确定所述数据处理请求所对应的查询语句;
将所述查询语句发送至所述执行引擎。
4.根据权利要求1所述的方法,其中,所述根据所述源存储位置、目标存储位置和所述至少一个算子来确定所述数据处理请求的执行引擎包括:
响应于确定以下情况中的任一,确定执行所述数据处理请求过程中的最大数据量,并根据所述最大数据量来确定执行引擎:
所述源存储位置和所述目标存储位置不属于同一个关系型数据库管理系统;或者
所述源存储位置和所述目标存储位置属于同一个关系型数据库管理系统,且所述至少一个数据处理操作之一不是关系型数据库查询操作。
5.根据权利要求4所述的方法,其中,所述根据所述最大数据量来确定执行引擎包括:
响应于确定所述最大数据量小于等于预设的数据量阈值,将本地内存计算引擎作为所述执行引擎。
6.根据权利要求5所述的方法,其中,所述根据所述最大数据量来确定执行引擎还包括:
响应于确定所述最大数据量大于预设的数据量阈值,将分布式计算引擎作为所述执行引擎。
7.根据权利要求4-6中任一项所述的...
【专利技术属性】
技术研发人员:杨令卿,青楚楚,袁昆鹏,
申请(专利权)人:北京中经惠众科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。