本发明专利技术提供一种Transformer模型数据处理方法和加速处理器，方法应用于加速处理器，所述加速处理器包括多个计算核心，每个计算核心内均设置有：自编程查加器和乘累加计算单元；所述加速处理器处理的数据预先被分解为基向量矩阵和线性系数矩阵，并存储于存储器中；所述方法包括：所述自编程查加器对存储器中存储的基向量矩阵和被乘矩阵进行计算得到累和结果，并将所述累和结果输入至乘累加计算单元进行计算；所述乘累加计算单元对存储器中存储的线性系数矩阵和所述累和结果进行计算，得到基向量矩阵和线性系数矩阵与被乘矩阵的矩阵乘。通过本发明专利技术提供的方法，实现transformer模型的高效计算。
【技术实现步骤摘要】
本专利技术涉及异构计算领域transformer模型，尤其涉及一种transformer模型数据处理方法和加速处理器。
技术介绍
1、transformer模型是google于2017年提出的一种用于机器翻译的模型，完全摒弃了传统循环神经网络的结构，采用了完全基于注意力机制的结构，取得了相当显著的效果。
2、现有技术中公开的面向transformer网络结构的芯片设计，利用transformer模型结构注意力模块中数据分布的高稀疏性、数值幅度的高紧凑性以及大数分布的对角规则性，进行了异构化的加速处理器设计。但是，该技术存在局限性，对transformer矩阵的数据分布特性进行了过强的约束，大量优化只能在柔性最大值传输函数(softmax)前后有效，这使得其在计算transformer其他算子时，表现并不突出，整体平均能效远低于其所宣称的峰值能效，且尚有充足的优化空间没有探索。
3、如何加速transformer模型的数据运算，是目前需要解决的技术问题。
技术实现思路
>1、本专利技术提供本文档来自技高网...
【技术保护点】
1.一种Transformer模型数据处理方法，其特征在于，应用于加速处理器，所述加速处理器包括多个计算核心，每个计算核心内均设置有：自编程查加器和乘累加计算单元；所述加速处理器处理的数据预先被分解为基向量矩阵和线性系数矩阵，并存储于存储器中；
2.根据权利要求1所述的Transformer模型数据处理方法，其特征在于，所述自编程查加器包括自编程子单元和至少一个查加器子单元；
3.根据权利要求2所述的Transformer模型数据处理方法，其特征在于，每个计算核心内还设置有：计算流控制单元；
4.根据权利要求1所述的Transformer模型数据处理方...
【技术特征摘要】
1.一种transformer模型数据处理方法，其特征在于，应用于加速处理器，所述加速处理器包括多个计算核心，每个计算核心内均设置有：自编程查加器和乘累加计算单元；所述加速处理器处理的数据预先被分解为基向量矩阵和线性系数矩阵，并存储于存储器中；
2.根据权利要求1所述的transformer模型数据处理方法，其特征在于，所述自编程查加器包括自编程子单元和至少一个查加器子单元；
3.根据权利要求2所述的transformer模型数据处理方法，其特征在于，每个计算核心内还设置有：计算流控制单元；
4.根据权利要求1所述的transformer模型数据处理方法，其特征在于，所述加速处理器还包括：多核互联通信控制模块；
5.根据权利要求1所述的transformer模型数据处理方法，其特征在于，所述基向量矩阵、所述被乘矩阵和所述线...
【专利技术属性】
技术研发人员：刘勇攀，汤宸，林新源，黄宗乐，孙文钰，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。