映射归约任务处理方法、装置、相关设备和程序产品制造方法及图纸

技术编号:41131574 阅读:16 留言:0更新日期:2024-04-30 18:01
本申请提供一种映射归约任务处理方法、装置、相关设备和程序产品,涉及计算机与互联网技术领域。应用于存储设备,所述存储设备包括存储模块和计算模块,其中所述存储模块中存储有目标数据,映射归约任务处理方法包括:从主机侧接收针对所述目标数据的映射归约任务请求;所述计算模块从所述存储模块中获取所述目标数据;所述计算模块响应于所述映射归约任务请求对所述目标数据进行映射归约处理,获得映射归约结果;所述计算模块将所述映射归约结果发送给存储模块,以便所述存储模块对所述映射归约结果进行存储。本申请实施例可以提高映射归约任务处理效率。

【技术实现步骤摘要】

本申请涉及计算机与互联网,尤其涉及一种映射归约任务处理方法、装置、存储设备、计算机可读存储介质和计算机程序产品。


技术介绍

1、本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、在传统分布式计算和存储框架(apachehadoop,hadoop)的映射归约(mapreduce)架构下,主要包含映射(map)和归约(reduce)两大类任务,主要由cpu来进行相应的计算,并交由固态硬盘(solid state disk/drive,ssd)或者磁盘来做最终和临时数据的存储。

3、但是当前由cpu进行计算的映射归约任务的执行效率低同时还会消耗大量的cpu计算资源。


技术实现思路

1、本申请的目的在于提供一种映射归约任务处理方法、装置、电子设备以及计算机可读存储介质,能够提高映射归约任务的执行效率同时能够节约主机侧cpu计算资源。

2、本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而本文档来自技高网...

【技术保护点】

1.一种映射归约任务处理方法,其特征在于,应用于存储设备,所述存储设备包括存储模块和计算模块,其中所述存储模块中存储有目标数据,包括:

2.根据权利要求1所述方法,其特征在于,所述计算模块响应于所述映射归约任务请求对所述目标数据进行映射归约处理,获得映射归约结果,包括:

3.根据权利要求2所述方法,其特征在于,所述存储设备还包括内存模块;其中,所述方法还包括:

4.根据权利要求2所述方法,其特征在于,所述目标数据包括数据块;其中,所述计算模块通过所述映射归约任务请求对应的映射算法对所述目标数据进行映射处理,生成映射结果,包括:>

5.根据权利...

【技术特征摘要】

1.一种映射归约任务处理方法,其特征在于,应用于存储设备,所述存储设备包括存储模块和计算模块,其中所述存储模块中存储有目标数据,包括:

2.根据权利要求1所述方法,其特征在于,所述计算模块响应于所述映射归约任务请求对所述目标数据进行映射归约处理,获得映射归约结果,包括:

3.根据权利要求2所述方法,其特征在于,所述存储设备还包括内存模块;其中,所述方法还包括:

4.根据权利要求2所述方法,其特征在于,所述目标数据包括数据块;其中,所述计算模块通过所述映射归约任务请求对应的映射算法对所述目标数据进行映射处理,生成映射结果,包括:

5.根据权利要求4所述方法,其特征在于,所述计算模块通过所述映射归约任务请求对应的归约算法对各...

【专利技术属性】
技术研发人员:高翔刘荣凯林显成
申请(专利权)人:中国电信股份有限公司技术创新中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1