一种提高卷积计算过程中带宽利用率的方法技术

技术编号:41379122 阅读:22 留言:0更新日期:2024-05-20 10:21
本发明专利技术属于神经网络硬件架构设计领域,具体公开了一种提高卷积计算过程中带宽利用率的方法。本发明专利技术提出提出通过两级控制单元和地址生成单元,能够在两级控制单元中对特征图中的特征数据执行卷积计算,并进一步地根据对应的地址生成单元生成的地址从SPM中读取特征数据,从而将对应的特征数据传入本地缓存。本发明专利技术提出的方法能够一次并行处理2个点的特征数据,当SPM一行存储多个点的特征数据时,同样可以并行处理多点特征数据,有效地提高了卷积计算过程中数据存取的带宽利用率,增加了卷积计算的效率。

【技术实现步骤摘要】

本专利技术属于神经网络硬件架构设计领域,具体涉及一种提高卷积计算过程中带宽利用率的方法


技术介绍

1、随着人工智能进入大模型时代,神经网络模型的参数量、计算量也呈现出爆发式增长,对芯片计算的灵活度和效率也在不断地地提高。功能丰富的神经网络处理器往往需要支持多种格式的权重数据,如fp16、bf16、tf32等,这些权重数据一般会以特定的格式存放在内部存储器中,供神经网络处理器中的卷积计算单元进行读取和计算。

2、然而,由于卷积计算单元在进行卷积计算时需通过移动卷积核滑动窗口来计算特征数据,使得当前的神经网络处理器在进行卷积计算时,卷积计算单元每次读取某一行数据后,只能使用其中一个数据点,进而导致传统神经网络处理器进行卷积计算时宽带利用率低下,无法满足大规模数据计算下高计算能效的要求。


技术实现思路

1、为了解决上述
技术介绍
中提到的至少一个问题,本专利技术提出了提出了一种用于cnn计算的脉动阵列重构方法。

2、一种提高卷积计算过程中带宽利用率的方法,包括步骤:

3、步骤s1,本文档来自技高网...

【技术保护点】

1.一种提高卷积计算过程中带宽利用率的方法,其特征在于,包括步骤:

2.根据权利要求1所述的一种提高卷积计算过程中带宽利用率的方法,其特征在于,步骤S1中所述的执行第一级控制信号生成过程,包括步骤:

3.根据权利要求1所述的一种提高卷积计算过程中带宽利用率的方法,其特征在于,步骤S2中所述的根据第一级控制信号来生成对应的第一级地址信息,具体过程为:

4.根据权利要求1所述的一种提高卷积计算过程中带宽利用率的方法,其特征在于,步骤S3和步骤S6中所述的第一级堆栈单元和第二级堆栈单元,遵循数据先进先出的原则。

5.根据权利要求1所述的一种提高卷...

【技术特征摘要】

1.一种提高卷积计算过程中带宽利用率的方法,其特征在于,包括步骤:

2.根据权利要求1所述的一种提高卷积计算过程中带宽利用率的方法,其特征在于,步骤s1中所述的执行第一级控制信号生成过程,包括步骤:

3.根据权利要求1所述的一种提高卷积计算过程中带宽利用率的方法,其特征在于,步骤s2中所述的根据第一级控制信号来生成对应的第一级地址信息,具体过程为:

4.根据权利要求1所述的一种提高卷积计算...

【专利技术属性】
技术研发人员:费宝川崔云飞欧阳鹏
申请(专利权)人:江苏清微智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1