一种用于加速神经网络模型推理的存内加速器制造技术

技术编号:46495903 阅读:5 留言:0更新日期:2025-09-26 19:13
本发明专利技术提供了一种用于加速神经网络模型推理的存内加速器,所述加速器包括存内计算处理单元、本地存储单元和后处理单元,其中:本地存储单元用于存储所述神经网络模型的输入数据;存内计算处理单元包括多个存内计算阵列,每个存内计算阵列用于执行计算操作,根据滑窗的大小按顺序从本地存储单元获取与计算操作对应的输入数据,并将输入数据以及对应的张量核根据预设的迭代流程进行矩阵‑向量乘法计算,其中,输入数据和张量核均根据其维度进行重新排列后进行矩阵‑向量乘法计算;张量核是将神经网络模型的原始权重进行张量分解得到并存储至存内计算阵列;后处理单元用于根据矩阵‑向量乘法计算的结果进行后处理,得到神经网络模型的推理结果。

【技术实现步骤摘要】

本专利技术涉及存内计算领域,具体来说涉及神经网络加速器,更具体地说,涉及一种用于加速神经网络模型推理的存内加速器


技术介绍

1、深度神经网络(deep neural network,dnn)因其强大的特征提取能力,在图像分类、视频分析、语音识别等各项实际应用中取得优秀的效果。深度神经网络能力的日益增长在很大程度上依赖于膨胀的模型参数。根据神经缩放定律,深度神经网络的模型目前仍然逐步扩展以提高性能并增强功能。

2、存内计算(processing-in-memory,pim)架构是一种突破传统冯诺依曼计算体系的新型计算模型,它将计算逻辑集成到内存单元中,使得数据在内存中就可以完成计算,从而避免了在传统计算模式下数据在处理器和内存之间频繁移动所带来的性能瓶颈。这种架构特别适合于深度神经网络的推理过程,因为dnn的推理需要大量的矩阵乘法和数据访问操作,而这些操作在pim架构下可以并行、原位进行,从而大大提高计算效率。

3、然而,存内计算加速器规模的增长速度远远落后于深度神经网络模型,即使是中等规模的深度神经网络模型也需要数十甚至数百个存内本文档来自技高网...

【技术保护点】

1.一种用于加速神经网络模型推理的存内加速器,其特征在于,所述加速器包括存内计算处理单元、本地存储单元和后处理单元,其中:

2.根据权利要求1所述的加速器,其特征在于,所述预设的迭代流程包括:

3.根据权利要求2所述的加速器,其特征在于,所述存内计算阵列被配置为:根据所述张量核的维度以及预设的分解秩将其进行重排,得到用于进行矩阵-向量乘法计算的张量核。

4.根据权利要求3所述的加速器,其特征在于,每次矩阵-向量乘法计算的步骤包括:

5.根据权利要求4所述的加速器,其特征在于,每层处理层的计算结果的计算方式为:

>6.根据权利要求1...

【技术特征摘要】

1.一种用于加速神经网络模型推理的存内加速器,其特征在于,所述加速器包括存内计算处理单元、本地存储单元和后处理单元,其中:

2.根据权利要求1所述的加速器,其特征在于,所述预设的迭代流程包括:

3.根据权利要求2所述的加速器,其特征在于,所述存内计算阵列被配置为:根据所述张量核的维度以及预设的分解秩将其进行重排,得到用于进行矩阵-向量乘法计算的张量核。

4.根据权利要求3所述的加速器,其特征在于,每次矩阵-向量乘法计算的步骤包括:

5.根据权利要求4所述的加速器,其特征在于,每层处理层的计算结果的计算方式为:

6.根据权利要求1-5之一所述的加速器,其特征在于,所述存内计算处理单元还包括数模转换...

【专利技术属性】
技术研发人员:孙晓天陈晓明韩银和
申请(专利权)人:中国科学院计算技术研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1