System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开涉及计算机,尤其涉及一种数据聚合处理方法、装置、设备及存储介质。
技术介绍
1、随着计算机技术的发展,磁盘读写、网络带宽性能的不断提升,数据库领域的性能瓶颈已转移到算力上,目前数据库的聚合功能依托于中央处理器(central processingunit,cpu)架构对聚合函数的执行,在数据量较大时,cpu对数据进行聚合处理会产生很高的cpu占用率,进而导致计算机系统执行其他任务的响应时间较长,甚至无法处理其他的任务,严重时还会导致系统崩溃。
技术实现思路
1、为了解决上述技术问题,本公开提供了一种数据聚合处理方法、装置、设备及存储介质。
2、本公开实施例的第一方面提供了一种数据聚合处理方法,该方法适用于一种加速卡,该方法包括:
3、获取待处理数据集,以及目标执行的聚合处理的处理类型;
4、基于所述处理类型对所述待处理数据集中的数据进行聚合处理,得到聚合结果;
5、将所述聚合结果写入目标主机的内存。
6、本公开实施例的第二方面提供了一种数据聚合处理装置,该装置适用于一种加速卡,该装置包括:
7、数据获取模块,用于获取待处理数据集,以及目标执行的聚合处理的处理类型;
8、聚合模块,用于基于所述处理类型对所述待处理数据集中的数据进行聚合处理,得到聚合结果;
9、写入模块,用于将所述聚合结果写入所述加速卡连接的主机内存。
10、本公开实施例的第三方面提供了一种计算机设备,包括
11、本公开实施例的第四方面提供了一种计算机可读存储介质,存储介质中存储有计算机程序,当计算机程序被处理器执行时,实现如上述第一方面的数据聚合处理方法。
12、本公开实施例提供的技术方案与现有技术相比具有如下优点:
13、在本公开实施例提供的数据聚合处理方法、装置、设备及存储介质中,通过获取待处理数据集,以及目标执行的聚合处理的处理类型,基于处理类型对待处理数据集中的数据进行聚合处理,得到聚合结果,将聚合结果写入目标主机的内存,能够将待处理数据集转移到加速卡上,在加速卡上对待处理数据集中的数据进行聚合处理,并将聚合结果写入目标主机的内存,实现了数据聚合功能的卸载,相较于传统的通过中央处理器进行数据聚合的方式,不仅释放了中央处理器的占用率,为其处理其他任务提供空间,还提高了聚合处理的整体速度。
本文档来自技高网...【技术保护点】
1.一种数据聚合处理方法,其特征在于,所述方法适用于一种加速卡,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述针对每个分组,基于所述处理类型对所述分组中的数据进行聚合处理,得到所述聚合结果,包括:
4.根据权利要求3所述的方法,其特征在于,所述针对每个分组,调用所述目标聚合处理块对所述分组中的数据进行聚合处理,得到分组聚合结果之前,所述方法还包括:
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述聚合处理的处理类型包括求和处理、求平均处理、计算最大值和计算最小值中的至少一种。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
7.根据权利要求1所述的方法,其特征在于,所述加速卡通过高速串行计算机扩展总线与所述目标主机连接。
8.一种数据聚合处理装置,其特征在于,所述装置适用于一种加速卡,所述装置包括:
9.一种计算机设备,其特征在于,包括:存储器;处理器;以及计算机程序;其中,所述计算机程序
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1-7中任一项所述的数据聚合处理方法。
...【技术特征摘要】
1.一种数据聚合处理方法,其特征在于,所述方法适用于一种加速卡,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述针对每个分组,基于所述处理类型对所述分组中的数据进行聚合处理,得到所述聚合结果,包括:
4.根据权利要求3所述的方法,其特征在于,所述针对每个分组,调用所述目标聚合处理块对所述分组中的数据进行聚合处理,得到分组聚合结果之前,所述方法还包括:
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述聚合处理的处理类型包括求和处理、求平均处理、计算最大值和计算最小值中的至少一种。
...
【专利技术属性】
技术研发人员:张宏,李晟,耿嘉,陈岩,张宇,鄢贵海,
申请(专利权)人:中科驭数北京科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。