【技术实现步骤摘要】
本专利技术涉及存内计算单元,具体地,涉及一种面向混合精度神经网络的存内计算单元设计方法和系统。
技术介绍
1、常见的硬件上神经网络加速有两种主要的实现方式,分别是加速器和存内计算的形式,下文分别列举这两种硬件加速方式的优缺点。
2、首先是加速器的实现方式,现有技术采用了二值分割算法作为混合精度乘积累加计算加速的基础,但其加速单元还需要频繁地与存储模块进行数据通信,这带来了较大的额外能耗和时间消耗。现有技术还提出了对不同精度的浮点数的乘积累加进行加速的模块,但是也存在加速单元和存储模块数据通信的问题,未能更大程度地降低能耗。
3、现有技术还提出了运用存内计算技术的计算精度可重构计算加速器,虽然这部分工作均提供了更好的能耗效率,但是设计复杂度高,对不同存储技术的适配性低,比如仅适用于六个晶体管组成的静态随机存取存储器,尽管对传统的静态随机存取存储还进行了额外改动,但所支持可重构的计算精度有限,不能满足日益多样化的模型精度需求。
4、专利文献cn113610222a公开了一种计算神经网络卷积运算的方法,所述
...【技术保护点】
1.一种面向混合精度神经网络的存内计算单元设计方法,其特征在于,包括:
2.根据权利要求1所述的面向混合精度神经网络的存内计算单元设计方法,其特征在于,所述步骤1包括:
3.根据权利要求1所述的面向混合精度神经网络的存内计算单元设计方法,其特征在于,所述步骤2包括:
4.根据权利要求3所述的面向混合精度神经网络的存内计算单元设计方法,其特征在于,模式切换的控制信号为is_pipe,当is_pipe为高电平时,当前为流水线模式,四个子乘法器共同计算一个32*32比特位的乘法,且每个子乘法器承担8*32比特位的部分乘法;当is_pipe
...【技术特征摘要】
1.一种面向混合精度神经网络的存内计算单元设计方法,其特征在于,包括:
2.根据权利要求1所述的面向混合精度神经网络的存内计算单元设计方法,其特征在于,所述步骤1包括:
3.根据权利要求1所述的面向混合精度神经网络的存内计算单元设计方法,其特征在于,所述步骤2包括:
4.根据权利要求3所述的面向混合精度神经网络的存内计算单元设计方法,其特征在于,模式切换的控制信号为is_pipe,当is_pipe为高电平时,当前为流水线模式,四个子乘法器共同计算一个32*32比特位的乘法,且每个子乘法器承担8*32比特位的部分乘法;当is_pipe为低电平时,当前为并行模式,四个子乘法器独立工作,分别承担一个独立的8*32比特位的乘法。
5.根据权利要求1所述的面向混合精度神经网络的存内计算单元设计方法,其特征在于,所述步骤3包括:当需要计算的操作元进入数据缓冲区,改进后混合精度矢量乘积累加计算方法的硬件单元读取缓冲区中的处于空闲状态的数据提前开始计算,完成补零操作并将处理好的操作元比特串放入操作元寄存器,双模式可重构乘法单元将从操作元寄存器中读取待计算的操作元比特串进行乘法计算,此处的计算模式由控制器发出的is_pipe信号控制,随后选择器将对双模式可重构乘法单元中得到的结果进行筛选,若目前is_pipe信号为高电平,选择器结果将直接进入可重构累加器,若当前计算的卷积层大小超出预设范围需要多次计算,可重构累加器将被启动进行累加操作,直到得到最终乘积累加结果;若目前is_pipe信号为低电平,选择器的结果将被忽略,此时双模式可重构乘法单元中每个子乘法单元的乘积将被成对相加,最终进入可重构累加器进行最后一次相加,如果本次计算的卷积层大小超出预设范围,可重构累加器将被启动进行累加操作,直到获得最终结果。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。