数据处理的方法技术

技术编号:39587420 阅读:29 留言:0更新日期:2023-12-03 19:39
本申请涉及数据处理技术领域,具体提供了一种数据处理的方法

【技术实现步骤摘要】
数据处理的方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理
,具体涉及一种数据处理的方法

装置

电子设备及存储介质


技术介绍

[0002]随着互联网技术的发展,人们对数据处理的效率要求越来越高

现有技术下,在进行数据聚合时,执行引擎通常读取存储层存储的原始数据,并对该原始数据进行分组以及聚合

其中,执行引擎和存储层为同一设备的不同模块

[0003]但是,采用这种方式,存储层需要向执行引擎传输大量数据,存在数据处理效率较低的问题


技术实现思路

[0004]本申请实施例的目的在于提供一种数据处理的方法

装置

电子设备以及存储介质,用以在进行数据处理时,可以提高数据处理的效率

[0005]第一方面,本申请实施方式提供了一种数据处理的方法,应用于电子设备中的存储层,方法包括:
[0006]基于执行引擎的数据聚合指令,对目标数据块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据处理的方法,应用于电子设备中的存储层,所述方法包括:基于执行引擎的数据聚合指令,对目标数据块进行数据读取,获得类别值集合;所述类别值集合是基于数值转换关系对类别参数进行转换获得的类别值的集合;所述数值转换关系是针对所述目标数据块设置的类别参数和数值之间的对应关系;所述电子设备还包含所述执行引擎;根据所述类别值集合中的类别值,对待聚合数据进行分组和聚合,获得每一类别值对应的聚合结果;基于所述数值转换关系,分别获得每一类别值对应的类别参数;将所述类别参数及其对应的聚合结果,发送给所述执行引擎
。2.
如权利要求1所述的方法,在基于执行引擎的数据聚合指令,对目标数据块进行数据读取,获得类别值集合之前,所述方法还包括:确定接收到针对所述目标数据块的数据存储指令时,获取所述数据存储指令中的待存储数据;根据所述数值转换关系,对所述待存储数据数值转换,获得所述待存储数据对应的至少一个待存储数值;将所述待存储数值,写入所述目标数据块
。3.
如权利要求1或2所述的方法,所述基于执行引擎的数据聚合指令,对目标数据块进行数据读取,获得类别值集合,包括:确定接收到所述执行引擎发送的数据聚合指令时,获取所述数据聚合指令中的第一区域信息;从所述目标数据块中,读取所述第一区域信息对应的数据块数据,获得所述类别值集合
。4.
如权利要求3所述的方法,所述根据所述类别值集合中的类别值,对待聚合数据进行分组和聚合,获得每一类别值对应的聚合结果,包括:根据所述数据聚合指令中还包含的第二区域信息,进行数据读取,获得所述待聚合数据;根据所述待聚合数据中各待聚合数值对应的类别值,将所述待聚合数据进行划分,获得每一类别值对应的待聚合组合;分别对每一待聚合组合进行聚合计算,获得每一类别值对应的聚合结果
。5.
如权利要求4所述的方法,所述第一区域信息为第一列名称,所述第二区域信息为第二列名称,所述根据所述待聚合数据中各待聚合数值对应的类别值,将所述待聚合数据进行划分,获得每一类别值对应的待聚合组合,包括:根据每一类别值的行名称,获得每一类别值对应的行名称集合;分别确定每一类别值对应的行名称集合,以及每一待聚合数值的行名称;将行名称属于同一行名称集合的待聚合数值,划分为同一待聚合组合,获得每一类别值对应的待聚合组合
。6.
一种数据处理的装...

【专利技术属性】
技术研发人员:杨海涛
申请(专利权)人:北京奥星贝斯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1