一种基于动态注意力机制的图像处理方法、装置及设备制造方法及图纸

本发明专利技术公开了一种基于动态注意力机制的图像处理方法、装置及设备，应用于计算机技术领域，包括：调用卷积流结构对目标图像进行处理得到目标特征图；对目标特征图进行批规范化处理，得到规范化特征图；调用包括卷积注意力网络基本模块和卷积层的卷积式注意力网络对规范化特征图进行处理得到高维抽象特征图；卷积注意力网络基本模块为包括卷积网络的多级卷积式注意力机制和全连接层的网络；对高维抽象特征图进行扁平化处理，并利用全连接层进行处理，得到目标输出结果。本发明专利技术将ViT中的大部分全连接结构替换为卷积结构，仅在多级卷积式注意力机制和生成目标输出结果中使用少量全连接层，从而有效降低模型参数数量，提升模型预测精度和收敛速度。预测精度和收敛速度。预测精度和收敛速度。

【技术实现步骤摘要】
一种基于动态注意力机制的图像处理方法、装置及设备


[0001]本专利技术涉及计算机
，特别涉及一种基于动态注意力机制的图像处理方法、装置及设备。

技术介绍

[0002]目前的ViT(Vision Transformer，视觉注意力神经网络模型)模型的绝大多数计算模块为全连接结构，这种全连接结构难以利用图像局部特征，对图像进行处理时的所需图像参数的数量较多，且学习速度慢，对数据规模要求大。为了提高学习速度，当前主要通过用动态深度卷积层取代基于全连接计算的局部自注意力层，在保持整体结构不变的情况下，与Swin Transformer(变换器注意力神经网络)进行了良好的竞争。然而，简单的注意力设计限制了它们取得更好性能的能力。
[0003]因此，如何提高学习速度和神经网络模型的性能是本领域技术人员急需解决的技术问题。

技术实现思路

[0004]有鉴于此，本专利技术的目的在于提供一种基于动态注意力机制的图像处理方法、装置及设备，解决了现有技术中学习速度和神经网络模型的性能低的技术问题。
[0005]为解决上述技术问本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态注意力机制的图像处理方法，其特征在于，包括：调用卷积流结构对目标图像进行处理，得到目标特征图；对所述目标特征图进行批规范化处理，得到规范化特征图；调用包括卷积注意力网络基本模块和卷积层的卷积式注意力网络对所述规范化特征图进行处理，得到高维抽象特征图；其中，所述卷积注意力网络基本模块为包括卷积网络的多级卷积式注意力机制和全连接层的网络；对所述高维抽象特征图进行扁平化处理，并利用所述全连接层进行处理，得到目标输出结果。2.根据权利要求1所述的基于动态注意力机制的图像处理方法，其特征在于，所述调用卷积流结构对目标图像进行处理，得到目标特征图，包括：调用包括特征提取和下采样的所述卷积流结构，对所述目标图像进行处理，得到所述目标特征图。3.根据权利要求1所述的基于动态注意力机制的图像处理方法，其特征在于，所述调用包括卷积注意力网络基本模块和卷积层的卷积式注意力网络对所述规范化特征图进行处理，包括：根据任务特点调用不同规模的所述卷积式注意力网络对所述规范化特征图进行处理；其中，所述卷积式注意力网络的规模与所述卷积注意力网络基本模块的数量相关。4.根据权利要求1所述的基于动态注意力机制的图像处理方法，其特征在于，利用所述卷积注意力网络基本模块进行处理的过程，包括：利用所述多级卷积式注意力机制对输入特征图进行处理得到第一处理结果，并将所述第一处理结果与所述输入特征图进行张量加法处理，得到多尺度卷积注意力特征；利用所述全连接层和激活函数对所述多尺度卷积注意力特征进行处理得到第二处理结果，并将所述第二处理结果与所述多尺度卷积注意力特征进行张量加法处理，得到输出特征。5.根据权利要求1至4任一项所述的基于动态注意力机制的图像处理方法，其特征在于，利用所述多级卷积式注意力机制进行处理的过程，包括：利用所述卷积层对通道数量进行扩展后，进而利用空洞卷积网络进行处理，得到三个不同尺度的多尺度特征；利用所述批规范化和激活函数对所述三个不同尺度的多尺度特征进行处理后，进而利用残差连接...

【专利技术属性】
技术研发人员：潘衡岳，魏自勉，牛新，谢林臻，董佩杰，李东升，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：