自注意力模型的计算方法和装置制造方法及图纸

本申请公开了一种自注意力模型的计算方法和装置。所述方法包括：获取用于自注意力模型计算的查询特征矩阵Q、键特征矩阵K和值特征矩阵V；对所述查询特征矩阵Q和所述键特征矩阵K中的至少一者进行量化处理以计算量化的相关性矩阵Mq；对所述量化的相关性矩阵Mq进行反量化操作以获得反量化的相关性矩阵Mdeq；使用归一化指数函数对所述反量化的相关性矩阵Mdeq进行处理以获得注意力概率矩阵A；以及基于所述注意力概率矩阵A和所述值特征矩阵V计算所述自注意力模型的加权的注意力矩阵Attention(Q,K,V)。

【技术实现步骤摘要】

本申请涉及神经网络技术，更具体地，涉及一种自注意力模型的计算方法和装置。

技术介绍

1、近年来，神经网络技术已经应用于许多
，例如，图像识别、语音识别、自动驾驶和医学成像等等。transformer模型(例如，bert模型，gpt模型等)是一种基于自注意力(self-attention)机制的深度神经网络模型，可以高效并行地处理序列数据，并已被证明在自然语言处理(natural language processing，nlp)中具有出色的表现。然而，相比于传统神经网络模型，transformer模型的复杂度和参数量倍增，导致其计算量也急剧提高。例如，基于transformer模型的chatgpt模型具有1750亿个模型参数，其计算量达到了每秒735万亿次浮点运算次数(735tflops)，而产生该大计算量的一个重要原因是transformer模型中需要进行大量的自注意力模型计算。因此，需要对自注意力模型的计算进行加速。

技术实现思路

1、本申请的一个目的在于提供一种对自注意力模型的计算进行加速的方案。<本文档来自技高网...

【技术保护点】

1.一种自注意力模型的计算方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，获取用于所述自注意力模型计算的查询特征矩阵Q、键特征矩阵K和值特征矩阵V包括：

3.根据权利要求2所述的方法，其特征在于，所述输入矩阵X基于自然语言信息或视觉图形信息产生。

4.根据权利要求1所述的方法，其特征在于，对所述查询特征矩阵Q和所述键特征矩阵K中的至少一者进行量化处理以计算量化的相关性矩阵Mq包括：

5.根据权利要求1所述的方法，其特征在于，对所述查询特征矩阵Q和所述键特征矩阵K中的至少一者进行量化处理以计算量化的相关性矩阵Mq包...

【技术特征摘要】

1.一种自注意力模型的计算方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，获取用于所述自注意力模型计算的查询特征矩阵q、键特征矩阵k和值特征矩阵v包括：

3.根据权利要求2所述的方法，其特征在于，所述输入矩阵x基于自然语言信息或视觉图形信息产生。

4.根据权利要求1所述的方法，其特征在于，对所述查询特征矩阵q和所述键特征矩阵k中的至少一者进行量化处理以计算量化的相关性矩阵mq包括：

5.根据权利要求1所述的方法，其特征在于，对所述查询特征矩阵q和所述键特征矩阵k中的至少一者进行量化处理以计算量化的相关性矩阵mq包括：

6.根据权利要求1所述的方法，其特征在于，对所述查询特征矩阵q和所述键特征矩阵k中的至少一者进行量化处理以计算量化的相关性矩阵mq包括：

7.根据权利要求1所述的方法，其特征在于，所述查询特征矩阵q和所述键特征矩阵k采用浮点数表示；并且

8.根据权利要求7所述的方法，其特征在于，将所述查询特征矩阵q和所述键特征矩阵k中的至少一者由浮点数表示转换为定点数表示包括：

9.根据权利要求7所述的方法...

【专利技术属性】
技术研发人员：张晓雷，
申请(专利权)人：澜起科技股份有限公司，
类型：发明
国别省市：