【技术实现步骤摘要】
本专利技术涉及电子信息，更具体的，涉及一种基于fpga的视觉自注意力加速器优化方法。
技术介绍
1、相较于传统卷积神经网络cnn网络，视觉自注意力模型的参数量很大且每次推理也包含更大的计算量。模型参数量及计算量的增加对计算单元的性能与fpga设计带宽提出了更高的要求，因此如何对现有模型进行压缩并高效利用片上的计算资源是加速器设计中的重要问题。
2、在软件算法方面，视觉任务中令牌信息包含较大的冗余，探索并去除冗余信息可极大减少视觉自注意力的计算量。根据每层令牌冗余选择最优的令牌剪枝比例能既保持模型性能的同时，也减少计算量。
3、在硬件加速器设计方面，在视觉自注意力模型中存在多个“中间计算结果－中间计算结果”乘法以及层归一化(layer normalization)等操作，这意味着该计算无法与卷积神经网络(convolutional neural networks，cnn)中的算子共用一套计算单元，即无法将模型参数重排后存储至加速器中再与中间结果计算。
4、因此，在视觉自注意力模型加速器设计中，需要针对其...
【技术保护点】
1.一种基于FPGA的视觉自注意力模型加速器优化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于FPGA的视觉自注意力模型加速器优化方法，其特征在于，所述的动态令牌剪枝方案具体如下：
3.根据权利要求2所述的一种基于FPGA的视觉自注意力模型加速器优化方法，其特征在于，针对动态令牌剪枝方案，使用异步优势动作评价算法分别建模智能体的奖励函数及最优策略；
4.根据权利要求2所述的一种基于FPGA的视觉自注意力模型加速器优化方法，其特征在于，奖励函数为智能体的剪枝效果进行评分，并作为环境反馈的一部分对智能体参数进行训练，...
【技术特征摘要】
1.一种基于fpga的视觉自注意力模型加速器优化方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于fpga的视觉自注意力模型加速器优化方法，其特征在于，所述的动态令牌剪枝方案具体如下：
3.根据权利要求2所述的一种基于fpga的视觉自注意力模型加速器优化方法，其特征在于，针对动态令牌剪枝方案，使用异步优势动作评价算法分别建模智能体的奖励函数及最优策略；
4.根据权利要求2所述的一种基于fpga的视觉自注意力模型加速器优化方法，其特征在于，奖励函数为智能体的剪枝效果进行评分，并作为环境反馈的一部分对智能体参数进行训练，优化智能体的行为；
5.根据权利要求1所述的一种基于fpga的视觉自注意力模型加速器优化方法，其特征在于，加速器包括注意力计算子系统、前向网络计算子系统、axi读写命令控制模块、第一选择器、权重缓存模块；
6....
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。