【技术实现步骤摘要】
本申请实施例涉及计算机,更具体地涉及一种数据处理方法及其相关装置。
技术介绍
1、在推进高性能计算与构建大规模机器学习模型(例如,bloom模型)时,其核心挑战之一在于处理数量庞大且结构错综复杂的数据集。这需要频繁地在高带宽内存与各类存储设备(例如,共享内存和虚拟内存等)之间进行数据传输,以支撑模型的高效训练与精准推理。面对如此庞大的数据流,直接存储器访问(direct memory access,dma)技术不可或缺。
2、现有的dma技术,如图2所示,在每一轮计算过程中,数据传输需要在前一轮数据传输及所有前置计算任务彻底完成后方能启动,这种顺序执行模式极大的桎梏了系统整体的吞吐量与响应速度,难以满足大规模机器学习模型高效计算的需求。由于现有的dma技术中数据传输受限于僵化的串行处理流程,因此数据传输耗时往往成为限制大规模机器学习模型响应速度的主要因素。
技术实现思路
1、本申请提供一种数据处理方法及其相关装置的技术方案,本申请可以减少数据传输过程中的等待时间,使得计算资源与
...【技术保护点】
1.一种数据处理方法,应用于第一芯片;其特征在于,所述方法包括:
2.根据权利要求1所述的数据处理方法,其特征在于,所述将输出数据发送至所述第二芯片,包括:
3.根据权利要求2所述的数据处理方法,其特征在于,所述传输信号至少包括所述第二芯片的剩余存储空间;所述基于所述传输信号将所述输出数据发送至所述第二芯片,包括:
4.一种数据处理方法,应用于第二芯片;其特征在于,所述方法包括:
5.根据权利要求4所述的数据处理方法,其特征在于,所述接收所述第一芯片发送的输出数据之前,所述方法包括:
6.一种芯片,其特征在于
...
【技术特征摘要】
1.一种数据处理方法,应用于第一芯片;其特征在于,所述方法包括:
2.根据权利要求1所述的数据处理方法,其特征在于,所述将输出数据发送至所述第二芯片,包括:
3.根据权利要求2所述的数据处理方法,其特征在于,所述传输信号至少包括所述第二芯片的剩余存储空间;所述基于所述传输信号将所述输出数据发送至所述第二芯片,包括:
4.一种数据处理方法,应用于第二芯片;其特征在于,所述方法包括:
5.根据权利要求4所述的数据处理方法,其特征在于,所述接收所述第一芯片发送的输出数据之前,所述方法包括:
6.一种芯片,其特征在于,包括:
7.根据权利要求6所述的芯片,其特征在于,所述第一收发模块还用于,获取传输信号;所述传输信号由所述第二芯片基于所述第二芯片的剩余存储空间得到;
8.根据权利要求7所述的芯片,其特征在于,所述传输信号至少包括所述第二芯片的剩余存储空间;所述第一处理模块,还用于基于所述输出数据,获取多个时序数据段;...
【专利技术属性】
技术研发人员:杨龚轶凡,朱国梁,蒋壹钦,申屠克勤,胡光耀,孙锦涛,
申请(专利权)人:中昊芯英杭州科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。