消除逐深度卷积的存储器瓶颈制造技术

技术编号:41179050 阅读:18 留言:0更新日期:2024-05-07 22:14
本公开的某些方面提供了用于高效逐深度卷积的技术。用存算一体(CIM)阵列执行卷积以生成CIM输出,并且将该CIM输出的对应于该CIM输出中的多个输出数据通道中的第一输出数据通道的至少一部分写入数字乘法累加(DMAC)激活缓冲器。从该DMAC激活缓冲器读取该CIM输出的小块,并且从DMAC权重缓冲器读取权重数据。用CIM输出的该小块和该权重数据执行乘法累加(MAC)运算以生成DMAC输出。

【技术实现步骤摘要】
【国外来华专利技术】


技术介绍


技术实现思路

1、某些方面提供一种方法,该方法包括:用存算一体(cim)阵列执行卷积以生成cim输出;将cim输出的对应于cim输出中的多个输出数据通道中的第一输出数据通道的至少一部分写入第一数字乘法累加(dmac)激活缓冲器;从第一dmac激活缓冲器读取cim输出的小块;从dmac权重缓冲器读取权重数据;以及用cim输出的小块和权重数据执行乘法累加(mac)运算以生成dmac输出。

2、其他方面提供了处理系统,这些处理系统被配置为执行前述方法以及本文所述的方法;非暂态计算机可读介质,该非暂态计算机可读介质包括指令,这些指令在由处理系统的一个或多个处理器执行时使处理系统执行前述方法以及本文所述的方法;计算机程序产品,该计算机程序产品实施在计算机可读存储介质上,该计算机可读存储介质包括用于执行前述方法以及本文进一步所述的方法的代码;以及处理系统,该处理系统包括用于执行前述方法以及本文进一步所述的方法的装置。

3、以下描述和相关附图详细阐述了一个或多个方面的某些例示性特征。

【技术保护点】

1.一种方法,所述方法包括:

2.根据权利要求1所述的方法,所述方法还包括基于所述多个输出数据通道中的每个相应输出数据通道的DMAC输出来生成逐深度卷积输出。

3.根据权利要求1所述的方法,其中通过在确定指定的数据元素已被写入所述第一DMAC激活缓冲器之际启动所述MAC运算而在所述CIM阵列后面流水线化用CIM输出的所述小块和所述权重数据执行所述MAC运算。

4.根据权利要求1所述的方法,其中将所述CIM输出写入所述第一DMAC激活缓冲器包括:

5.根据权利要求4所述的方法,其中基于所述分区将所述CIM输出选择性地写入所述第一DMAC激活缓...

【技术特征摘要】
【国外来华专利技术】

1.一种方法,所述方法包括:

2.根据权利要求1所述的方法,所述方法还包括基于所述多个输出数据通道中的每个相应输出数据通道的dmac输出来生成逐深度卷积输出。

3.根据权利要求1所述的方法,其中通过在确定指定的数据元素已被写入所述第一dmac激活缓冲器之际启动所述mac运算而在所述cim阵列后面流水线化用cim输出的所述小块和所述权重数据执行所述mac运算。

4.根据权利要求1所述的方法,其中将所述cim输出写入所述第一dmac激活缓冲器包括:

5.根据权利要求4所述的方法,其中基于所述分区将所述cim输出选择性地写入所述第一dmac激活缓冲器包括:

6.根据权利要求4所述的方法,其中将所述cim输出选择性地写入所述第一dmac激活缓冲器包括:

7.根据权利要求4所述的方法,其中从所述第一dmac激活缓冲器读取cim输出的所述小块非线性地执行并且包括:

8.根据权利要求1所述的方法,其中将cim输出写入所述第一dmac激活缓冲器以及从所述第一dmac激活缓冲器读取cim输出的所述小块是由可编程控制器控制的。

9.根据权利要求8所述的方法,其中:

10.根据权利要求8所述的方法,其中使用一个或多个可配置变量对所述可编程控制器进行编程,所述一个或多个可配置变量包括:

11.根据权利要求1所述的方法,所述方法还包括对于所述多个输出数据通道中的第二输出数据通道:

12.根据权利要求1所述的方法,其中所述第一dmac激活缓冲器通过从所述第一输出数据通道到所述第一dmac激活缓冲器的专用路径紧密耦合到所述cim阵列。

13.一种非暂态计算机可读介质,所述非暂态计算机可读介质包括计算机可执行指令,所述计算机可执行指令在由处理系统的一个或多个处理器执行时使所述处理系统执行操作,所述操作包括:

14.根据权利要求13所述的非暂态计算机可读介质,所述操作还包括基于所述多个输出数据通道中的每个相应输出数据通道的dmac输出来生成逐深度卷积输出。

15.根据权利要求13所述的非暂态计算机可读介质,其中通过在确定指定的数据元素已被写入所述第一dmac激活缓冲器之际启动所述mac运算而在所述cim阵列后面流水线化用cim输出的所述小块...

【专利技术属性】
技术研发人员:S·沃德瓦S·莫汉R·李A·斯里瓦斯塔瓦S·A·米哈伊J·沈
申请(专利权)人:高通股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1