一种基于FPGA的Transformer编码器硬件加速器及其计算方法技术

本发明专利技术涉及一种基于FPGA的Vision Transformer编码器硬件加速器及其计算方法，包括：处理器模块、DDR内存模块、数据调度模块、矩阵存储模块、残差相加模块、第一矩阵乘法模块、GeLU运算模块、第二矩阵乘法模块、第三矩阵乘法模块、softmax计算模块；处理器模块用于动态调度加速器并进行辅助计算，同时运算阵列采用输出固定的数据并行计算策略，网络规模适配能力强，输入输出数据复用程度高，片内外数据搬运高效。该硬件加速器属于Vision Transformer神经网络专用加速器，能够有效提高Vision Transformer神经网络的运算速度及效率，有效降低运算功耗。

【技术实现步骤摘要】

本专利技术涉及一种基于fpga的vision transformer编码器硬件加速器及其计算方法,主要面向边缘设备的计算机视觉问题，如分类、检测等任务，属于深度学习。

技术介绍

1、近来基于注意力机制的transformer架构在自然语言处理任务中获得了良好的性能并已经得到了广泛的应用，受其启发vision transformer网络将其推广到机器视觉领域。研究表明，机器视觉领域对cnn的依赖不是必需的，vision transformer(vit)模型可以获得与当前最优卷积网络相媲美的结果，而其训练所需的计算资源大大减少。

2、其编码器部分的架构如图1所示，主要由层归一化函数运算层、多头注意力层和前馈层组成。首先输入矩阵进行层归一化函数和多头注意力层运算后得到多头注意力层的输出，接着多头注意力层的输出与输入进行残差相加并进行层归一化和前馈层计算，最后前馈层输出与多头注意力层的输出进行残差相加得到编码器层的结果。其中，多头注意力层中包含三个输入矩阵和多个注意力头，各注意力头均包含q、k、v权重矩阵和q、k、v偏置矩阵，可对各输入分别进行线性映射本文档来自技高网...

【技术保护点】

1.一种面向Vision Transformer编码器部分的硬件加速器，其特征在于，包括：

2.根据权利要求1所述的一种面向Vision Transformer编码器部分的硬件加速器，其特征在于，所述数据调度模块包括控制器单元、地址生成单元以及数据选通单元；所述控制器单元连接所述地址生成单元和所述数据选通单元；所述处理器模块连接所述控制器单元和所述数据选通单元；所述控制器单元、地址生成单元以及数据选通单元均连接至所述矩阵存储模块；

3.根据权利要求1或2任一项所述的一种面向Vision Transformer编码器部分的硬件加速器，其特征在于，所述softmax计...

【技术特征摘要】

1.一种面向vision transformer编码器部分的硬件加速器，其特征在于，包括：

2.根据权利要求1所述的一种面向vision transformer编码器部分的硬件加速器，其特征在于，所述数据调度模块包括控制器单元、地址生成单元以及数据选通单元；所述控制器单元连接所述地址生成单元和所述数据选通单元；所述处理器模块连接所述控制器单元和所述数据选通单元；所述控制器单元、地址生成单元以及数据选通单元均连接至所述矩阵存储模块；

3.根据权利要求1或2任一项所述的一种面向vision transformer编码器部分的硬件加速器，其特征在于，所述softmax计算模块包括最大值单元、第一缓存单元、加法器单元、e指数运算单元、累加器单元、第二缓存单元和除法单元；

4.根据权利要求2所述的一种面向vision transformer编码器部分的硬件加速器，其特征在于，所述gelu运算单元利用查找表使用以下公式实现近似计算：

5.权利要求1-4任一项所述的面向vision transformer编码器部分的硬件加速器的工作方法，其特征在于，包括：

6.根据权利要求5...

【专利技术属性】
技术研发人员：周卫东，周嘉琪，邱富聪，耿澔童，赵良澎，梁继尧，程威，
申请(专利权)人：山东大学，
类型：发明
国别省市：