用于存内计算芯片的误差补偿方法、装置、芯片、设备制造方法及图纸

本发明专利技术实施例提供一种用于存内计算芯片的误差补偿方法、装置、芯片、设备，该方法包括：将样本图像输入目标神经网络模型，将各卷积层输出的特征图作为该卷积层的校准基准；根据对应样本图像的当前卷积层的输入特征图获取对应的索引矩阵；获取存内计算芯片输出的对应所述输入特征图的当前卷积层的计算结果；将所述校准基准与所述计算结果比对后，根据所述索引矩阵以及比对结果生成当前卷积层对应的索引值

【技术实现步骤摘要】
用于存内计算芯片的误差补偿方法、装置、芯片、设备


[0001]本专利技术涉及半导体
，尤其涉及一种用于存内计算芯片的误差补偿方法、装置、存内计算芯片、电子设备以及计算机可读存储介质。

技术介绍

[0002]传统数字芯片大多基于冯诺依曼架构，存储器与处理器在物理空间上分离造成了“存储墙”的性能瓶颈。近年来，为了解决该冯诺依曼计算体系的结构瓶颈，基于相变存储器(PCM)、电阻随机存取存储器(RRAM)和闪存(Nor Flash)等多种类型的存储单元的存内计算(CIM)芯片得到人们的广泛关注，其基本思想是直接利用模拟存储能力和基尔霍夫电路定律，使用存储器进行逻辑计算，从而减少存储器与处理器之间的数据传输量以及传输距离，降低功耗的同时提高性能。
[0003]与传统数字计算芯片不同，CIM芯片采用模拟电路和精准的电流控制来实现计算功能；例如，要相加两个模拟量，只需将表征该模拟量的两个电流连接起来，而当在数字域相加两个8位数字时，晶体管通过栅极电压通断来表征0/1，而一个加法器需要许多这样的晶体管(根据电路设计，每个位需要6到28个晶体管)。
[0004]但是，由于当前模拟芯片制程能力和存储器状态编程精度的限制，无法准确的控制存储单元浮栅上的电子数，另外，结合数模转换模块、模数转换模块的精度限制和其他因素，输入数据经过CIM芯片的存储单元阵列计算后的准确性与数字集成电路存在一定差距，导致当前CIM芯片只能应用于分类等计算精度要求较低的任务上，还未应用于图像处理等精度要求较高的场景。

技术实现思路
r/>[0005]针对现有技术中的问题，本专利技术提供一种用于存内计算芯片的误差补偿方法、装置、存内计算芯片、电子设备以及计算机可读存储介质，能够至少部分地解决现有技术中存在的问题。
[0006]为了实现上述目的，本专利技术采用如下技术方案：
[0007]第一方面，提供一种用于存内计算芯片的误差补偿方法，包括：
[0008]将样本图像输入目标神经网络模型，将各卷积层输出的特征图作为该卷积层的校准基准；
[0009]根据对应样本图像的当前卷积层的输入特征图获取对应的索引矩阵；
[0010]获取存内计算芯片输出的对应所述输入特征图的当前卷积层的计算结果，其中，所述存内计算芯片用于实现目标神经网络模型运算，所述输入特征图输入存内计算芯片的模拟域中对应当前卷积层的闪存单元阵列进行运算得到所述计算结果；
[0011]将所述校准基准与所述计算结果比对后，根据所述索引矩阵以及比对结果生成当前卷积层对应的索引值
‑
补偿向量对应关系表，所述索引值
‑
补偿向量对应关系表用于存内计算芯片在实现目标神经网络模型运算时在其数字域中对模拟域输出的计算结果进行补
偿。
[0012]进一步地，所述神经网络模型为直连神经网络模型、U型神经网络模型、残差结构网络模型、循环神经网络模型、MLP模型、Transformer网络模型或注意力机制神经网络模型。
[0013]进一步地，所述神经网络模型包括：1D卷积、2D卷积、3D卷积、全连接、转置卷积、通道可分离卷积、膨胀卷积神经网络算子。
[0014]进一步地，所述样本图像为灰度图格式、彩色图格式、彩色透明度图格式、灰阶色度图像格式或色调饱和度明度图像格式。
[0015]进一步地，所述将所述校准基准与所述计算结果比对后，根据所述索引矩阵以及比对结果生成当前卷积层对应的索引值
‑
补偿向量对应关系表，包括：
[0016]将所述校准基准与所述计算结果比对；
[0017]根据所述索引矩阵以及比对结果生成当前卷积层对应的索引值
‑
补偿向量对应关系表。
[0018]进一步地，所述根据对应样本图像的当前卷积层的输入特征图获取对应的索引矩阵包括：
[0019]若当前卷积层为第一卷积层，则根据当前卷积层的步长和卷积核尺寸对所述输入特征图按tensorflow的卷积算子补0方式进行补0；
[0020]若当前卷阶层为非第一卷积层且其上一层为卷积层，则根据当前卷积层的步长和卷积核尺寸对上一卷积层的平均值矩阵按tensorflow的卷积算子补0方式进行补0；
[0021]若当前卷积层为非第一卷积层且其上一层为非卷积层，则根据当前卷积层的步长和卷积核尺寸对上一非卷积层的掩膜前矩阵按tensorflow的卷积算子补0方式进行补0；
[0022]逐像素遍历补零后的图像，分通道计算各像素点周围预定区域的平均值，得到当前卷积层的平均值矩阵；
[0023]根据所述平均值矩阵计算当前卷积层的索引矩阵。
[0024]进一步地，若下一卷积层的步长等于1且下一卷积层与当前卷积层的卷积核尺寸相同，则下一卷积层的索引矩阵与当前卷积层的索引矩阵相同。
[0025]进一步地，所述将所述校准基准与所述计算结果比对后，根据所述索引矩阵以及比对结果生成对应的索引值
‑
补偿向量对应关系表，包括：
[0026]将所述校准基准与所述计算结果比对后，将差值依据所述索引矩阵，分类平均后得到对应的索引值
‑
补偿向量对应关系表。
[0027]第二方面，提供一种用于存内计算芯片的误差补偿方法，所述存内计算芯片用于实现目标神经网络模型运算，包括：数字域和模拟域，所述误差补偿方法应用于所述数字域中，所述误差补偿方法包括：
[0028]根据当前卷积层的输入特征图获取对应的索引矩阵；
[0029]根据所述索引矩阵，基于预获取的当前卷积层的索引值
‑
补偿向量对应关系表，得到所述输入特征图各像素对应的补偿向量；
[0030]获取模拟域中对应当前卷积层的闪存单元阵列输出的对应所述输入特征图的计算结果；
[0031]根据所述补偿向量对所述计算结果进行补偿。
[0032]进一步地，所述神经网络模型为直连神经网络模型、U型神经网络模型、残差结构网络模型、循环神经网络模型、MLP模型、Transformer网络模型或注意力机制神经网络模型。
[0033]进一步地，所述神经网络模型包括：1D卷积、2D卷积、3D卷积、全连接、转置卷积、通道可分离卷积、膨胀卷积神经网络算子。
[0034]进一步地，所述输入特征图为灰度图格式、彩色图格式、彩色透明度图格式、灰阶色度图像格式或色调饱和度明度图像格式。
[0035]进一步地，所述根据当前卷积层的输入特征图获取对应的索引矩阵，包括：
[0036]若当前卷积层为第一卷积层，则根据当前卷积层的步长和卷积核尺寸对所述输入特征图按tensorflow的卷积算子补0方式进行补0；
[0037]若当前卷阶层为非第一卷积层且其上一层为卷积层，则根据当前卷积层的步长和卷积核尺寸对上一卷积层的平均值矩阵按tensorflow的卷积算子补0方式进行补0；
[0038]若当前卷积层为非第一卷积层且其上一层为非卷积层，则根据当前卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于存内计算芯片的误差补偿方法，其特征在于，包括：将样本图像输入目标神经网络模型，将各卷积层输出的特征图作为该卷积层的校准基准；根据对应样本图像的当前卷积层的输入特征图获取对应的索引矩阵；获取存内计算芯片输出的对应所述输入特征图的当前卷积层的计算结果，其中，所述存内计算芯片用于实现目标神经网络模型运算，所述输入特征图输入存内计算芯片的模拟域中对应当前卷积层的闪存单元阵列进行运算得到所述计算结果；将所述校准基准与所述计算结果比对后，根据所述索引矩阵以及比对结果生成当前卷积层对应的索引值
‑
补偿向量对应关系表，所述索引值
‑
补偿向量对应关系表用于存内计算芯片在实现目标神经网络模型运算时在其数字域中对模拟域输出的计算结果进行补偿。2.根据权利要求1所述的用于存内计算芯片的误差补偿方法，其特征在于，所述神经网络模型为直连神经网络模型、U型神经网络模型、残差结构网络模型、循环神经网络模型、MLP模型、Transformer网络模型或注意力机制神经网络模型。3.根据权利要求1所述的用于存内计算芯片的误差补偿方法，其特征在于，所述神经网络模型包括：1D卷积、2D卷积、3D卷积、全连接、转置卷积、通道可分离卷积、膨胀卷积神经网络算子。4.根据权利要求1所述的用于存内计算芯片的误差补偿方法，其特征在于，所述样本图像为灰度图格式、彩色图格式、彩色透明度图格式、灰阶色度图像格式或色调饱和度明度图像格式。5.根据权利要求1所述的用于存内计算芯片的误差补偿方法，其特征在于，所述将所述校准基准与所述计算结果比对后，根据所述索引矩阵以及比对结果生成当前卷积层对应的索引值
‑
补偿向量对应关系表，包括：将所述校准基准与所述计算结果比对；根据所述索引矩阵以及比对结果生成当前卷积层对应的索引值
‑
补偿向量对应关系表。6.根据权利要求1所述的用于存内计算芯片的误差补偿方法，其特征在于，所述根据对应样本图像的当前卷积层的输入特征图获取对应的索引矩阵包括：若当前卷积层为第一卷积层，则根据当前卷积层的步长和卷积核尺寸对所述输入特征图按tensorflow的卷积算子补0方式进行补0；若当前卷阶层为非第一卷积层且其上一层为卷积层，则根据当前卷积层的步长和卷积核尺寸对上一卷积层的平均值矩阵按tensorflow的卷积算子补0方式进行补0；若当前卷积层为非第一卷积层且其上一层为非卷积层，则根据当前卷积层的步长和卷积核尺寸对上一非卷积层的掩膜前矩阵按tensorflow的卷积算子补0方式进行补0；逐像素遍历补零后的图像，分通道计算各像素点周围预定区域的平均值，得到当前卷积层的平均值矩阵；根据所述平均值矩阵计算当前卷积层的索引矩阵。7.根据权利要求5所述的用于存内计算芯片的误差补偿方法，其特征在于，若下一卷积层的步长等于1且下一卷积层与当前卷积层的卷积核尺寸相同，则下一卷积层的索引矩阵与当前卷积层的索引矩阵相同。
8.根据权利要求6所述的用于存内计算芯片的误差补偿方法，其特征在于，所述将所述校准基准与所述计算结果比对后，根据所述索引矩阵以及比对结果生成对应的索引值
‑
补偿向量对应关系表，包括：将所述校准基准与所述计算结果比对后，将差值依据所述索引矩阵，分类平均后得到对应的索引值
‑
补偿向量对应关系表。9.一种用于存内计算芯片的误差补偿方法，其特征在于，所述存内计算芯片用于实现目标神经网络模型运算，包括：数字域和模拟域，所述误差补偿方法应用于所述数字域中，所述误差补偿方法包括：根据当前卷积层的输入特征图...

【专利技术属性】
技术研发人员：严洪泽，郭昕婕，孙旭光，
申请(专利权)人：杭州知存智能科技有限公司，
类型：发明
国别省市：