自注意力运算方法技术

本发明专利技术提供一种自注意力运算方法

【技术实现步骤摘要】
自注意力运算方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种自注意力运算方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]由于在低能耗
、
事件驱动特性和生物可塑性等方面，脉冲神经网络
(Spiking Neural Network
，
SNN)
均展现出良好性能，因此，随着深度学习的发展，
SNN
得到了广泛应用
。
而诞生于自然语言处理领域的
Transformer
模型基于其完全的自注意力机制，以并行方式提高了计算效率，因此近年来也在计算机视觉领域取得突破性的应用
。
[0003]在相关技术中，为了提高
Transformer
模型的运算性能，可以将脉冲神经网络应用到
Transformer
模型中，然而，由于脉冲神经网络的计算特性和传统的自注意力运算不兼容，因此，如何将
SNN
应用到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种自注意力运算方法，其特征在于，包括：获取第一脉冲矩阵
、
第二脉冲矩阵以及第三脉冲矩阵；对所述第一脉冲矩阵和所述第二脉冲矩阵进行第一注意力运算处理，得到第四脉冲矩阵；对所述第三脉冲矩阵和所述第四脉冲矩阵进行第二注意力运算处理，得到第五脉冲矩阵，所述第五脉冲矩阵的矩阵维度与所述第三脉冲矩阵的矩阵维度相同；其中，所述第一注意力运算和所述第二注意力运算均为全加法运算
。2.
根据权利要求1所述的自注意力运算方法，其特征在于，所述第一注意力运算包括：按元素运算
、
求和运算和神经元运算；所述对所述第一脉冲矩阵和所述第二脉冲矩阵进行第一注意力运算处理，得到第四脉冲矩阵，包括：对所述第一脉冲矩阵和所述第二脉冲矩阵进行按元素运算，得到第一矩阵；对所述第一矩阵进行按列求和运算，得到第一向量；对所述第一向量进行神经元运算，得到所述第四脉冲矩阵，所述第四脉冲矩阵为脉冲向量
。3.
根据权利要求2所述的自注意力运算方法，其特征在于，所述按元素运算为以下任一项：按元素逻辑与运算
、
按元素逻辑或运算
、
按元素逻辑异或运算
、
按元素
IAND
运算
。4.
根据权利要求1所述的自注意力运算方法，其特征在于，所述第二注意力运算为按列掩码运算
。5.
根据权利要求1‑4任一项所述的自注意力运算方法，其特征在于，所述获取第一脉冲矩阵
、
第二脉冲矩阵以及第三脉冲矩阵，包括：获取第一输入矩阵
、
第二输入矩阵以及第三输入矩阵；对所述第一输入矩阵进行线性映射和神经元处理得到所述第一脉冲矩阵，对所述第二输入矩阵进行线性映射和神经元处理得到所述第二脉冲矩阵，对所述第三输入矩阵进...

【专利技术属性】
技术研发人员：李国齐，徐波，姚满，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：