一种数据处理方法及其相关装置制造方法及图纸

技术编号:43566600 阅读:13 留言:0更新日期:2024-12-06 17:37
本申请实施例涉及计算机技术领域,提供一种数据处理方法及其相关装置,所述数据处理方法包括:基于输入数据,获取预传输数据量和预传输路径;基于所述预传输数据量和所述预传输路径,获取总传输时长;将所述预传输数据量发送至第二芯片,以使所述第二芯片能够基于所述预传输数据量和计算速度,获取计算时长;将所述总传输时长发送至所述第二芯片;基于所述输入数据,计算得到输出数据;将输出数据发送至所述第二芯片,以使所述第二芯片能够基于所述输出数据获取当前传输时长。本申请通过提前规划数据的传输路径,减少了数据传输过程中的等待时间,使得计算资源与数据传输资源能够更高效地协同工作,从而显著提升后续数据的处理速度和效率。

【技术实现步骤摘要】

本申请实施例涉及计算机,更具体地涉及一种数据处理方法及其相关装置


技术介绍

1、在推进高性能计算与构建大规模机器学习模型(例如,bloom模型)时,其核心挑战之一在于处理数量庞大且结构错综复杂的数据集。这需要频繁地在高带宽内存与各类存储设备(例如,共享内存和虚拟内存等)之间进行数据传输,以支撑模型的高效训练与精准推理。面对如此庞大的数据流,直接存储器访问(direct memory access,dma)技术不可或缺。

2、现有的dma技术,如图2所示,在每一轮计算过程中,数据传输需要在前一轮数据传输及所有前置计算任务彻底完成后方能启动,这种顺序执行模式极大的桎梏了系统整体的吞吐量与响应速度,难以满足大规模机器学习模型高效计算的需求。由于现有的dma技术中数据传输受限于僵化的串行处理流程,因此数据传输耗时往往成为限制大规模机器学习模型响应速度的主要因素。


技术实现思路

1、本申请提供一种数据处理方法及其相关装置的技术方案,本申请可以减少数据传输过程中的等待时间,使得计算资源与数据传输资源能够更高本文档来自技高网...

【技术保护点】

1.一种数据处理方法,应用于第一芯片;其特征在于,所述方法包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述将输出数据发送至所述第二芯片,包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述传输信号至少包括所述第二芯片的剩余存储空间;所述基于所述传输信号将所述输出数据发送至所述第二芯片,包括:

4.一种数据处理方法,应用于第二芯片;其特征在于,所述方法包括:

5.根据权利要求4所述的数据处理方法,其特征在于,所述接收所述第一芯片发送的输出数据之前,所述方法包括:

6.一种芯片,其特征在于,包括:

...

【技术特征摘要】

1.一种数据处理方法,应用于第一芯片;其特征在于,所述方法包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述将输出数据发送至所述第二芯片,包括:

3.根据权利要求2所述的数据处理方法,其特征在于,所述传输信号至少包括所述第二芯片的剩余存储空间;所述基于所述传输信号将所述输出数据发送至所述第二芯片,包括:

4.一种数据处理方法,应用于第二芯片;其特征在于,所述方法包括:

5.根据权利要求4所述的数据处理方法,其特征在于,所述接收所述第一芯片发送的输出数据之前,所述方法包括:

6.一种芯片,其特征在于,包括:

7.根据权利要求6所述的芯片,其特征在于,所述第一收发模块还用于,获取传输信号;所述传输信号由所述第二芯片基于所述第二芯片的剩余存储空间得到;

8.根据权利要求7所述的芯片,其特征在于,所述传输信号至少包括所述第二芯片的剩余存储空间;所述第一处理模块,还用于基于所述输出数据,获取多个时序数据段;...

【专利技术属性】
技术研发人员:杨龚轶凡朱国梁蒋壹钦申屠克勤胡光耀孙锦涛
申请(专利权)人:中昊芯英杭州科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1