【技术实现步骤摘要】
本专利技术涉及存内计算领域,具体来说涉及神经网络加速器,更具体地说,涉及一种用于加速神经网络模型推理的存内加速器。
技术介绍
1、深度神经网络(deep neural network,dnn)因其强大的特征提取能力,在图像分类、视频分析、语音识别等各项实际应用中取得优秀的效果。深度神经网络能力的日益增长在很大程度上依赖于膨胀的模型参数。根据神经缩放定律,深度神经网络的模型目前仍然逐步扩展以提高性能并增强功能。
2、存内计算(processing-in-memory,pim)架构是一种突破传统冯诺依曼计算体系的新型计算模型,它将计算逻辑集成到内存单元中,使得数据在内存中就可以完成计算,从而避免了在传统计算模式下数据在处理器和内存之间频繁移动所带来的性能瓶颈。这种架构特别适合于深度神经网络的推理过程,因为dnn的推理需要大量的矩阵乘法和数据访问操作,而这些操作在pim架构下可以并行、原位进行,从而大大提高计算效率。
3、然而,存内计算加速器规模的增长速度远远落后于深度神经网络模型,即使是中等规模的深度神经网络模型也需
...【技术保护点】
1.一种用于加速神经网络模型推理的存内加速器,其特征在于,所述加速器包括存内计算处理单元、本地存储单元和后处理单元,其中:
2.根据权利要求1所述的加速器,其特征在于,所述预设的迭代流程包括:
3.根据权利要求2所述的加速器,其特征在于,所述存内计算阵列被配置为:根据所述张量核的维度以及预设的分解秩将其进行重排,得到用于进行矩阵-向量乘法计算的张量核。
4.根据权利要求3所述的加速器,其特征在于,每次矩阵-向量乘法计算的步骤包括:
5.根据权利要求4所述的加速器,其特征在于,每层处理层的计算结果的计算方式为:
【技术特征摘要】
1.一种用于加速神经网络模型推理的存内加速器,其特征在于,所述加速器包括存内计算处理单元、本地存储单元和后处理单元,其中:
2.根据权利要求1所述的加速器,其特征在于,所述预设的迭代流程包括:
3.根据权利要求2所述的加速器,其特征在于,所述存内计算阵列被配置为:根据所述张量核的维度以及预设的分解秩将其进行重排,得到用于进行矩阵-向量乘法计算的张量核。
4.根据权利要求3所述的加速器,其特征在于,每次矩阵-向量乘法计算的步骤包括:
5.根据权利要求4所述的加速器,其特征在于,每层处理层的计算结果的计算方式为:
6.根据权利要求1-5之一所述的加速器,其特征在于,所述存内计算处理单元还包括数模转换...
【专利技术属性】
技术研发人员:孙晓天,陈晓明,韩银和,
申请(专利权)人:中国科学院计算技术研究所,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。