【技术实现步骤摘要】
本专利技术涉及半导体，尤其涉及一种注意力机制神经网络的向量内积运算处理方法及装置。
技术介绍
1、基于注意力机制的神经网络能够有效地处理语音和图片数据，在物联网、自动驾驶、人机交互等领域应用广泛。区别于传统的卷积神经网络(cnn)和循环神经网络(rnn)，基于注意力机制的神经网络不仅包含大量向量矩阵乘运算，也包含大量两输入向量间的内积运算。
2、相关技术可知，针对两输入向量间的内积，传统的方法需要首先将其中一个变量存储到阵列中，再进行计算。由于非易失存储器编程时间长，能耗高的特点，此方法存在延时和能耗开销大的问题。
3、因此，当前寻找一种能够提高计算速度以及减少能耗开销的注意力机制神经网络的向量内积运算处理方法成为研究热点。
技术实现思路
1、本专利技术提供一种注意力机制神经网络的向量内积运算处理方法及装置，实现了能够消除对非易失存储器的编程操作，从而提高计算速度以及减少能耗开销。
2、本专利技术提供一种注意力机制神经网络的向量内积运算处理方法，应用于非易失存储器阵列，所述方法包括：获取第一待计算向量的属性信息，其中，所述属性信息用于表征所述第一待计算向量的维度大小和位宽；确定定点数最小位权所对应的电导值；基于所述第一待计算向量的属性信息和所述电导值，将所述第一待计算向量的位权值预存至所述非易失存储器阵列；基于所述电导值和所述位权值，对所述第一待计算向量和第二待计算向量进行向量内积计算，得到所述第一待计算向量和所述第二待计算向量的向量内积运算结果
3、根据本专利技术提供的一种注意力机制神经网络的向量内积运算处理方法，所述非易失存储器阵列包括多个阵列单元以及所述阵列单元之间的互联线，所述互联线包括位线、字线和源线，所述位线与所述字线呈平行关系，且与所述源线呈垂直关系；所述基于所述电导值和所述位权值，对所述第一待计算向量和第二待计算向量进行向量内积计算，具体包括：基于所述电导值，控制所述第一待计算向量以电压脉冲方式施加至所述字线，以及控制第二待计算向量以电压脉冲方式施加至所述位线，得到所述非易失存储器阵列中各行的乘法电流，其中，所述乘法电流与所述电导值呈线性相关关系；将所述乘法电流进行求和，得到求和后乘法电流；基于所述位权值对所述求和后乘法电流进行处理，得到所述第一待计算向量和所述第二待计算向量的向量内积运算结果。
4、根据本专利技术提供的一种注意力机制神经网络的向量内积运算处理方法，所述基于所述电导值，控制所述第一待计算向量以电压脉冲方式施加至所述字线，以及控制第二待计算向量以电压脉冲方式施加至所述位线，得到所述非易失存储器阵列中各行的乘法电流，具体包括：基于所述电导值，按照欧姆定律，控制所述第一待计算向量以电压脉冲方式施加至所述字线，以及控制第二待计算向量以电压脉冲方式施加至所述位线，得到所述非易失存储器阵列中各行的乘法电流。
5、根据本专利技术提供的一种注意力机制神经网络的向量内积运算处理方法，所述将所述乘法电流进行求和，得到求和后乘法电流，具体包括：在所述源线上基于基尔霍夫定律对所述乘法电流进行求和，得到求和后乘法电流。
6、根据本专利技术提供的一种注意力机制神经网络的向量内积运算处理方法，在所述基于所述位权值对所述求和后乘法电流进行处理之前，所述方法还包括：对所述求和后乘法电流进行量化处理，得到与所述求和后乘法电流对应的目标定点数；所述基于所述位权值对所述求和后乘法电流进行处理，具体包括：基于所述目标定点数和所述位权值，对所述求和后乘法电流进行移位相加处理，以得到所述第一待计算向量和所述第二待计算向量的向量内积运算结果。
7、根据本专利技术提供的一种注意力机制神经网络的向量内积运算处理方法，所述第一待计算向量的位权值按照以下方式预存至所述非易失存储器阵列：控制所述非易失存储器阵列中的相邻两列阵列单元的电导值，以使相邻两列阵列单元的电导值的电导差值与所述位权值相匹配。
8、根据本专利技术提供的一种注意力机制神经网络的向量内积运算处理方法，所述控制所述第一待计算向量以电压脉冲方式施加至所述字线，具体包括：采取按比特位的方式，控制所述第一待计算向量以电压脉冲方式并行施加至所述字线；所述控制第二待计算向量以电压脉冲方式施加至所述位线，具体包括：采取按比特位的方式，控制所述第二待计算向量以电压脉冲方式串行施加至所述位线。
9、本专利技术还提供一种注意力机制神经网络的向量内积运算处理装置，应用于非易失存储器阵列，所述装置包括：获取模块，用于获取第一待计算向量的属性信息，其中，所述属性信息用于表征所述第一待计算向量的维度大小和位宽；确定模块，用于确定定点数最小位权所对应的电导值；预存模块，用于基于所述第一待计算向量的属性信息和所述电导值，将所述第一待计算向量的位权值预存至所述非易失存储器阵列；运算模块，用于基于所述电导值和所述位权值，对所述第一待计算向量和第二待计算向量进行向量内积计算，得到所述第一待计算向量和所述第二待计算向量的向量内积运算结果，其中，所述第一待计算向量和所述第二待计算向量为所述注意力机制神经网络中的待计算向量。
10、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的注意力机制神经网络的向量内积运算处理方法。
11、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的注意力机制神经网络的向量内积运算处理方法。
12、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的注意力机制神经网络的向量内积运算处理方法。
13、本专利技术提供的注意力机制神经网络的向量内积运算处理方法及装置，应用于非易失存储器阵列，通过获取第一待计算向量的属性信息，其中，属性信息用于表征第一待计算向量的维度大小和位宽；确定定点数最小位权所对应的电导值；基于第一待计算向量的属性信息和所述电导值，将第一待计算向量的位权值预存至非易失存储器阵列；再基于电导值和位权值，对第一待计算向量和第二待计算向量进行向量内积计算，得到第一待计算向量和所述第二待计算向量的向量内积运算结果。实现了能够消除对非易失存储器的编程操作，从而提高计算速度以及减少能耗开销。
本文档来自技高网...【技术保护点】
1.一种注意力机制神经网络的向量内积运算处理方法，其特征在于，应用于非易失存储器阵列，所述方法包括：
2.根据权利要求1所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，所述非易失存储器阵列包括多个阵列单元以及所述阵列单元之间的互联线，所述互联线包括位线、字线和源线，所述位线与所述字线呈平行关系，且与所述源线呈垂直关系；
3.根据权利要求2所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，所述基于所述电导值，控制所述第一待计算向量以电压脉冲方式施加至所述字线，以及控制第二待计算向量以电压脉冲方式施加至所述位线，得到所述非易失存储器阵列中各行的乘法电流，具体包括：
4.根据权利要求2或3所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，所述将所述乘法电流进行求和，得到求和后乘法电流，具体包括：
5.根据权利要求2或3所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，在所述基于所述位权值对所述求和后乘法电流进行处理之前，所述方法还包括：
6.根据权利要求1所述的注意力机制神经网络的向量
7.根据权利要求2所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，所述控制所述第一待计算向量以电压脉冲方式施加至所述字线，具体包括：
8.一种注意力机制神经网络的向量内积运算处理装置，其特征在于，应用于非易失存储器阵列，所述装置包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的注意力机制神经网络的向量内积运算处理方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的注意力机制神经网络的向量内积运算处理方法。
...【技术特征摘要】
1.一种注意力机制神经网络的向量内积运算处理方法，其特征在于，应用于非易失存储器阵列，所述方法包括：
2.根据权利要求1所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，所述非易失存储器阵列包括多个阵列单元以及所述阵列单元之间的互联线，所述互联线包括位线、字线和源线，所述位线与所述字线呈平行关系，且与所述源线呈垂直关系；
3.根据权利要求2所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，所述基于所述电导值，控制所述第一待计算向量以电压脉冲方式施加至所述字线，以及控制第二待计算向量以电压脉冲方式施加至所述位线，得到所述非易失存储器阵列中各行的乘法电流，具体包括：
4.根据权利要求2或3所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，所述将所述乘法电流进行求和，得到求和后乘法电流，具体包括：
5.根据权利要求2或3所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，在所述基于所述位权值...
【专利技术属性】
技术研发人员：刘力锋，陈依扬，周正，黄鹏，康晋锋，张兴，
申请(专利权)人：北京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。