串行压缩单元、深度神经网络加速器制造技术

技术编号:42338998 阅读:22 留言:0更新日期:2024-08-14 16:15
本发明专利技术提出一种串行压缩单元、深度神经网络加速器,该加速器的每一处理元件包含串行压缩单元与计算单元,其中:该串行压缩单元包含异步电路握手模块与锁存模块,相邻串行压缩单元的异步电路握手模块彼此之间串行连接,且每一异步电路握手模块由一握手信号控制,相邻二异步电路握手模块之间连接一延时匹配模块;相邻串行压缩单元的锁存模块彼此之间串行连接,且每一锁存模块对应连接异步电路握手模块,且于接收该异步电路握手模块输出的使能信号时被触发,每一锁存模块由该使能信号控制。该加速器性能与能效显著提高。

【技术实现步骤摘要】

本专利技术涉及神经网络加速器体系,尤其涉及一种串行压缩单元、深度神经网络加速器


技术介绍

1、深度神经网络 (dnn) 在很多场景下都得到了广泛的应用。由于不断增长的dnn模型计算需求往往难以得到满足,减少模型大小和计算量的剪枝技术引起了广泛的兴趣。剪枝后的模型是稀疏的,即:重要程度较小的权重被置为零。由于零权重对计算结果是无效的,所以可以在硬件上跳过零权重相关的计算来节约硬件资源。为了跳过无效的计算,神经网络加速器把操作数送入计算单元之前,必须将稀疏数据压缩为稠密格式,来避免无用的带宽消耗和计算资源占用。

2、现有神经网络加速器设计通常采用并行压缩的方法,即通过路由网络将稀疏数据映射到计算单元(cu)中。研究发现,即使对于非常有限的设计规模,也需要一个惊人的大电路来压缩稀疏数据。如图1a所示,其示出了现有稀疏dnn加速器的通用框架,通过在密集的计算单元前面放置一个稀疏数据压缩单元,在每个周期中,压缩单元可以并行地从n个稀疏数据中选择最多m个有效项,并将m项通过路由网络映射到m个相应的计算单元。在压缩单元的帮助下,较小的计算单元数组(即m×m本文档来自技高网...

【技术保护点】

1.一种串行压缩单元,其特征在于,包含:

2.根据权利要求1所述的串行压缩单元,其特征在于,

3.根据权利要求1所述的串行压缩单元,其特征在于,相邻二异步电路握手模块之间通过一请求回路与一应答回路连接,所述请求回路传输所述请求信号,所述应答回路传输所述应答信号,所述延时匹配模块配置于所述请求回路。

4.根据权利要求1所述的串行压缩单元,其特征在于,

5.一种深度神经网络加速器,其特征在于,包含:

6.根据权利要求5所述的深度神经网络加速器,其特征在于,

7.根据权利要求5所述的深度神经网络加速器,其特征在于,相邻二异...

【技术特征摘要】

1.一种串行压缩单元,其特征在于,包含:

2.根据权利要求1所述的串行压缩单元,其特征在于,

3.根据权利要求1所述的串行压缩单元,其特征在于,相邻二异步电路握手模块之间通过一请求回路与一应答回路连接,所述请求回路传输所述请求信号,所述应答回路传输所述应答信号,所述延时匹配模块配置于所述请求回路。

4.根据权利要求1所述的串行压缩单元,其特征在于,

5.一种深度神经网络加速器,其特征在于,包含:

6.根据权利要求5所述的深度神经网络加速器,其特征在于,

7.根据权利要求5所述的深度神经网络加速器,其特征在于,相邻二异步电路握手模块之间通过一请求回路与一应答回路连接,所述请求回路传输一请求信号,...

【专利技术属性】
技术研发人员:陈云霁刘洋赵永威杜子东郭崎
申请(专利权)人:中国科学院计算技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1