一种用于全连接层计算的硬件结构制造技术

技术编号:41686305 阅读:23 留言:0更新日期:2024-06-14 15:37
本发明专利技术公开了一种用于全连接层计算的硬件结构,属于全连接层优化领域,包括特征图存储模块、与特征图存储模块连接的稀疏特征图分组模块、分别与稀疏特征图分组模块连接的数据选择器和权重存储模块、分别与稀疏特征图分组模块和权重存储模块连接的权重数据选择器、与权重数据选择器连接的权重数据拼接模块、分别与权重数据选择器和数据选择器连接的乘法器阵列以及与乘法阵列器连接的累加缓存模块。本发明专利技术解决了现有稀疏优化方法无法针对动态变化的特征图数据进行优化且会消耗很多的额外逻辑资源的问题。

【技术实现步骤摘要】

本专利技术属于全连接层优化领域,尤其涉及一种用于全连接层计算的硬件结构


技术介绍

1、近年来深度学习模型在计算机视觉、自然语言处理、搜索推荐广告等各种领域,不断刷新传统模型性能,并得到了广泛应用。随着边缘端设备计算能力的不断提升,边缘端ai落地也成为了可能。相比于服务端,边缘端模型的优势包括实时性好、相应速度快,能够减轻服务器云端的计算压力,并且对用户的隐私性保护高等。

2、但是目前在边缘端的部署也存在着一些挑战,边缘端的一些嵌入式设备在计算能力和存储资源等方面是受限的。并且随着需求的多样化和复杂化以及神经网络的快速发展。边缘端模型部署的压缩、加速和低功耗设计就成为目前边缘ai部署的一个热门话题。

3、全连接层是神经网络中的一个重要组成部分,通常被用在神经网络的最后一层,是决定分类和识别结果的关键因素。目前很多的神经网络加速器聚焦于卷积神经网络的优化和加速,针对全连接层优化的研究较少。

4、稀疏化计算是在大规模的矩阵运算中的一种重要操作,其作用在于减少特征图数据中的0值所带来的冗余计算。特别是因为神经网络中常用relu本文档来自技高网...

【技术保护点】

1.一种用于全连接层计算的硬件结构,其特征在于,包括特征图存储模块、与特征图存储模块连接的稀疏特征图分组模块、分别与稀疏特征图分组模块连接的数据选择器和权重存储模块、分别与稀疏特征图分组模块和权重存储模块连接的权重数据选择器、与权重数据选择器连接的权重数据拼接模块、分别与权重数据选择器和数据选择器连接的乘法器阵列以及与乘法阵列器连接的累加缓存模块。

2.根据权利要求1所述用于全连接层计算的硬件结构,其特征在于,所述特征图存储模块,用于存储M1行N1列Z1通道的特征图数据;

3.根据权利要求2所述用于全连接层计算的硬件结构,其特征在于,所述特征图存储模块向稀疏特征图...

【技术特征摘要】

1.一种用于全连接层计算的硬件结构,其特征在于,包括特征图存储模块、与特征图存储模块连接的稀疏特征图分组模块、分别与稀疏特征图分组模块连接的数据选择器和权重存储模块、分别与稀疏特征图分组模块和权重存储模块连接的权重数据选择器、与权重数据选择器连接的权重数据拼接模块、分别与权重数据选择器和数据选择器连接的乘法器阵列以及与乘法阵列器连接的累加缓存模块。

2.根据权利要求1所述用于全连接层计算的硬件结构,其特征在于,所述特征图存储模块,用于存储m1行n1列z1通道的特征图数据;

3.根据权利要求2所述用于全连接层计算的硬件结构,其特征在于,所述特征图存储模块向稀疏特征图分组模块输入特征图数据的顺序具体为:以通道序号为第一优先级,以行序号为第二优先级,以列序号为第三优先级依次输入每一个通道的每一行的每一列的特征图数据。

4.根据权利要求2所述用于全连接层计算的硬件结构,...

【专利技术属性】
技术研发人员:肖卓凌郭伦壹邓伊洁张籍元覃昊洁
申请(专利权)人:电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1