【技术实现步骤摘要】
本专利技术涉及半导体，尤其涉及一种注意力机制神经网络的向量内积运算处理方法及装置。
技术介绍
1、基于注意力机制的神经网络能够有效地处理语音和图片数据，在物联网、自动驾驶、人机交互等领域应用广泛。区别于传统的卷积神经网络(cnn)和循环神经网络(rnn)，基于注意力机制的神经网络不仅包含大量向量矩阵乘运算，也包含大量两输入向量间的内积运算。
2、相关技术可知，针对两输入向量间的内积，传统的方法需要首先将其中一个变量存储到阵列中，再进行计算。由于非易失存储器编程时间长，能耗高的特点，此方法存在延时和能耗开销大的问题。
3、因此，当前寻找一种能够提高计算速度以及减少能耗开销的注意力机制神经网络的向量内积运算处理方法成为研究热点。
技术实现思路
1、本专利技术提供一种注意力机制神经网络的向量内积运算处理方法及装置，实现了能够消除对非易失存储器的编程操作，从而提高计算速度以及减少能耗开销。
2、本专利技术提供一种注意力机制神经网络的向量内积运算处理方法，应用于非...
【技术保护点】
1.一种注意力机制神经网络的向量内积运算处理方法，其特征在于，应用于非易失存储器阵列，所述方法包括：
2.根据权利要求1所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，所述非易失存储器阵列包括多个阵列单元以及所述阵列单元之间的互联线，所述互联线包括位线、字线和源线，所述位线与所述字线呈平行关系，且与所述源线呈垂直关系；
3.根据权利要求2所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，所述基于所述电导值，控制所述第一待计算向量以电压脉冲方式施加至所述字线，以及控制第二待计算向量以电压脉冲方式施加至所述位线，得到所述非易失...
【技术特征摘要】
1.一种注意力机制神经网络的向量内积运算处理方法，其特征在于，应用于非易失存储器阵列，所述方法包括：
2.根据权利要求1所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，所述非易失存储器阵列包括多个阵列单元以及所述阵列单元之间的互联线，所述互联线包括位线、字线和源线，所述位线与所述字线呈平行关系，且与所述源线呈垂直关系；
3.根据权利要求2所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，所述基于所述电导值，控制所述第一待计算向量以电压脉冲方式施加至所述字线，以及控制第二待计算向量以电压脉冲方式施加至所述位线，得到所述非易失存储器阵列中各行的乘法电流，具体包括：
4.根据权利要求2或3所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，所述将所述乘法电流进行求和，得到求和后乘法电流，具体包括：
5.根据权利要求2或3所述的注意力机制神经网络的向量内积运算处理方法，其特征在于，在所述基于所述位权值...
【专利技术属性】
技术研发人员：刘力锋，陈依扬，周正，黄鹏，康晋锋，张兴，
申请(专利权)人：北京大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。