一种数据处理方法、装置、设备及存储介质制造方法及图纸

技术编号:43141566 阅读:21 留言:0更新日期:2024-10-29 17:44
本申请公开了一种数据处理方法、装置、设备及存储介质,涉及人工智能领域,包括:从外部存储器读取串行的N级算子中第一级算子的输入数据;以第一级算子为始,根据N级算子的输入数据对串行的N级算子进行循环递进式运算,直至得到第N级算子的运算结果时,将第N级算子的运算结果写入外部存储器;其中,第n级算子的输入数据包括从本地读取的第n‑1级算子的至少部分运算结果,n为大于1且小于等于N的整数。通过串行循环递进实现网络计算,并且算子直接通过本地读取待处理数据,无需从外部存储器读取,由此在循环计算中没有总线和外部存储的数据交换,降低了网络运行的总线传输数据量,并且由于大幅节省了总线的数据交互,提高了网络计算的性能。

【技术实现步骤摘要】

本专利技术涉及人工智能领域,特别涉及一种数据处理方法、装置、设备及存储介质


技术介绍

1、目前基于硬件设备进行深度学习网络拆分运算时,针对单次算子运算通常需要进行两次数据搬运,即将当次算子运算所需的输入数据从外部存储器ddr(double data ratesynchronous dynamic random access memory,双倍速率同步动态随机存储器)搬运至内存,以及将运算得到的输出数据从内存搬运至外部存储器ddr。而由于硬件设备是从外部存储器ddr搬运数据,因此在进行数据搬运的过程中,需要频繁地利用总线进行数据交互。

2、然而,在深度学习网络这类大数据量交互的场景下,进行频繁地总线数据交互时会占用大量总线带宽,并且总线数据交互产生的时延会降低硬件的性能。


技术实现思路

1、有鉴于此,本专利技术的目的在于提供一种数据处理方法、装置、设备及存储介质,通过串行循环递进实现网络计算,并且算子直接通过本地进行待处理数据的读取,不需要从外部存储器读取,由此在循环计算中没有总线和外部存储器存储本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述以所述第一级算子为始,根据N级所述算子的输入数据对串行的N级所述算子进行循环递进式运算,直至得到第N级算子的运算结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述从串行的N级算子中选择所述第一目标算子的后一级算子作为第二目标算子之后,还包括:

4.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述第一目标算子的至少部分输入数据对第一目标算子进行运算之后,还包括:

5.根据权利要求4所述的数据处理方法,其特征在于,存储不同算子的输...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述以所述第一级算子为始,根据n级所述算子的输入数据对串行的n级所述算子进行循环递进式运算,直至得到第n级算子的运算结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述从串行的n级算子中选择所述第一目标算子的后一级算子作为第二目标算子之后,还包括:

4.根据权利要求2所述的数据处理方法,其特征在于,所述根据所述第一目标算子的至少部分输入数据对第一目标算子进行运算之后,还包括:

5.根据权利要求4所述的数据处理方法,其特征在于,存储不同算子的输入数据的本地缓存不同。

6.根...

【专利技术属性】
技术研发人员:张斌蒋生强禹治祥
申请(专利权)人:湖南国科微电子股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1