【技术实现步骤摘要】
本申请涉及计算机，特别是涉及一种基于自注意力的数据处理方法、装置、介质及终端。
技术介绍
1、大模型深度学习技术近几年备受关注，它在图像处理，自然语言处理等任务上都取得了良好的效果。但是大模型的推理和训练过程对计算资源要求很高，这导致大模型的使用变得非常昂贵，同时对诸如手机等计算能力有限的设备很不友好。
2、现在的深度学习大模型技术都以transformer模型为基础打造，transformer模型在图像处理、自然语言处理等很多领域有着广泛的应用。transformer模型中最重要的算法是自注意力算法，自注意力算法把每个输入的数据两两进行比较，通过内积的大小衡量他们的相似程度，然后依照他们的相似程度来对输出数据进行重新表示。
3、自注意力机制相比于之前的算法，拥有更好的捕捉长距离依赖的能力，同时拥有更好的并行度。但是，带来的代价是相比以前算法更加高昂的计算复杂度。由于需要对输入数据两两进行比较，所以带来了平方的复杂度，这带来了很多计算上的挑战。尤其是对于一些低计算精度的设备，很难在上面进行自注意力机制的部署。p>
4、现有的本文档来自技高网...
【技术保护点】
1.一种基于自注意力的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的基于自注意力的数据处理方法，其特征在于，所述基于二进制转换算法对所述浮点型查询矩阵、浮点型关键字矩阵进行二进制转换，以得到对应的二进制查询矩阵、二进制关键字矩阵，其二进制转换过程包括：
3.根据权利要求2所述的基于自注意力的数据处理方法，其特征在于，对所述浮点型查询矩阵、浮点型关键字矩阵进行线性量化处理，以得到对应的浮点型量化查询矩阵、浮点型量化关键字矩阵的获取方式包括：
4.根据权利要求2所述的基于自注意力的数据处理方法，其特征在于，所述二进制转换算法...
【技术特征摘要】
1.一种基于自注意力的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的基于自注意力的数据处理方法，其特征在于，所述基于二进制转换算法对所述浮点型查询矩阵、浮点型关键字矩阵进行二进制转换，以得到对应的二进制查询矩阵、二进制关键字矩阵，其二进制转换过程包括：
3.根据权利要求2所述的基于自注意力的数据处理方法，其特征在于，对所述浮点型查询矩阵、浮点型关键字矩阵进行线性量化处理，以得到对应的浮点型量化查询矩阵、浮点型量化关键字矩阵的获取方式包括：
4.根据权利要求2所述的基于自注意力的数据处理方法，其特征在于，所述二进制转换算法包括tif转换算法；所述tif转换算法的计算过程包括：
5.根据权利要求4所述的基于自注意力的数据处理方法，其特...
【专利技术属性】
技术研发人员：祝永新，郑小盈，段皋翔，
申请(专利权)人：中国科学院上海高等研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。