一种自注意力机制计算方法、推理方法技术

技术编号:42186069 阅读:11 留言:0更新日期:2024-07-30 18:38
本申请实施例提供了一种自注意力机制计算方法、推理方法,该方法包括:基于待处理对象确定查询矩阵、键矩阵、以及值矩阵;待处理对象包括图像、文本、视频、音频、信号中的任一种或多种;并计算查询矩阵与转置后键矩阵的乘积,作为第一乘积矩阵;以自然常数e为底数,并以第一乘积矩阵为指数,得到第二乘积矩阵;若值矩阵的列数小于第一乘积矩阵的列数,计算第二乘积矩阵与值矩阵的乘积,作为第三乘积矩阵;计算第二乘积矩阵的和值,作为矩阵和值;并计算第三乘积矩阵与矩阵和值的比值,作为基于自注意力机制得到的输出特征。应用本申请实施例提供的技术方案,能够提高基于自注意力机制的推理任务的效率。

【技术实现步骤摘要】

本申请涉及数据处理,特别是涉及一种自注意力机制计算方法、推理方法


技术介绍

1、当前,文本翻译、异常行为检测等推理任务的实现过程中常需用到自注意力机制,但由于计算自注意力机制的过程中存在较多的除法操作,对硬件资源的占用较大,计算效率较低,因此,导致文本翻译、异常行为检测等推理任务的实现效率较低,也即,基于自注意力机制的推理任务的效率较低。


技术实现思路

1、本申请实施例的目的在于提供一种自注意力机制计算方法、推理方法,用以提高基于自注意力机制的推理任务的效率。具体技术方案如下:

2、第一方面,本申请实施例提供了一种自注意力机制计算方法,所述方法包括:

3、基于待处理对象确定查询矩阵、键矩阵、以及值矩阵;所述待处理对象包括图像、文本、视频、音频、信号中的任一种或多种;

4、对所述键矩阵进行转置,得到转置后键矩阵;并计算所述查询矩阵与所述转置后键矩阵的乘积,作为第一乘积矩阵;

5、以自然常数e为底数,并以所述第一乘积矩阵为指数,得到第二乘积矩阵

6、本文档来自技高网...

【技术保护点】

1.一种自注意力机制计算方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述待处理对象为图像,

4.根据权利要求1所述的方法,其特征在于,所述待处理对象为音频,

5.一种推理方法,其特征在于,所述方法包括:

6.根据权利要求5所述的方法,其特征在于,

7.一种自注意力机制计算装置,其特征在于,所述装置包括:

8.一种推理设备,其特征在于,所述推理设备包括中包括第一运算单元、第二运算单元,

>9.一种电子设备,...

【技术特征摘要】

1.一种自注意力机制计算方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述待处理对象为图像,

4.根据权利要求1所述的方法,其特征在于,所述待处理对象为音频,

5.一种推理方法,其特征在于,所述方法包括:

6.根据权利要求5所述的方法,...

【专利技术属性】
技术研发人员:张凯李哲暘谭文明任烨
申请(专利权)人:杭州海康威视数字技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1