【技术实现步骤摘要】
本专利技术涉及图像处理，更具体的说是涉及基于扫视与凝视的单波段骨干网络架构的特征提取方法。
技术介绍
1、目前，随着人工智能软硬件技术的普及，目标识别、目标检测、图像分割等计算机视觉任务普遍使用基于深度学习的卷积神经网络实现特征提取。特征提取是指对输入图像进行处理，以便提供信息和非冗余的特征，从而促进后续的学习和泛化步骤，并且在某些情况下带来更好的可解释性。在网络架构设计中结合视觉注意力机制是当下的研究与应用热点之一，视觉注意力机制是生物处理视觉信息时脑神经系统的响应机制，可分为自底向上与自顶向下两类。
2、但是，现有结合视觉注意力机制的卷积神经网络多以自底向上的注意力机制为主，该类方法计算开销小但泛化性提升有限；而结合自顶向下注意力机制的神经网络架构泛化性强大但参数量巨大，无法直接作为网络子模块嵌入至卷积神经网络之中。
3、由于现有基于注意力机制的神经网络架构并未有效结合自底向上与自顶向下这两种视觉注意力机制，因此这类方法存在泛化性与参数量瓶颈。以参数量巨大但泛化性强的transformer网络架构为例，由于该网络无法快速获取并长期记忆感兴趣区域位置，故该类网络架构在编码器与解码器子网络中需要使用大量参数量来重复提取感兴趣区域特征。
4、因此，如何结合脑神经系统视觉注意力机制高效提取单波段图像目标特征是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于扫视与凝视的单波段骨干网络架构的特征提取方法，能够主动、快速
2、为了实现上述目的，本专利技术采用如下技术方案：
3、基于扫视与凝视的单波段骨干网络架构的特征提取方法，包括：
4、构建包含扫视网络、低尺度特征提取模块和多个尺度不同的凝视网络的骨干网络；
5、获取单波段红外图像并输入至所述扫视网络，得到红外图像候选区域和增强红外图像；
6、所述增强红外图像输入至所述低尺度特征提取模块，得到提取特征；
7、所述提取特征和所述红外图像候选区域分别输入至第一个凝视网络，得到第一尺度特征；
8、所述第一尺度特征和所述红外图像候选区域分别输入至下一个凝视网络，得到第二尺度特征，以此类推，直至最后一个凝视网络处理得到的尺度特征作为红外目标深度特征。
9、优选的，所述扫视网络包括：mwt网络、筛选网络、候选区域网络和增强网络；
10、所述单波段红外图像输入至所述mwt网络，得到红外图像频域特征；
11、所述红外图像频域特征输入至所述筛选网络，得到筛选频域特征；
12、所述筛选频域特征输入至所述候选区域网络，得到所述红外图像候选区域；
13、所述红外图像候选区域和所述单波段红外图像分别输入至所述增强网络，得到所述增强红外图像。
14、优选的，所述mwt网络包括：多个小波变换模块、第一拼接模块、第一批归一化层和第一silu函数层；
15、所述单波段红外图像分别输入至每个小波变换模块，对应得到多个小波特征；
16、所述多个小波特征输入至所述第一拼接模块进行拼接后依次通过所述第一批归一化层和所述第一silu函数层处理后得到所述红外图像频域特征。
17、优选的，所述候选区域网络包括：第三卷积、第三silu函数层、第四卷积、第四silu函数层和高斯滤波算子；
18、所述筛选频域特征输入至所述第三卷积处理后，依次通过所述第三silu函数层、所述第四卷积和所述第四silu函数层处理，得到显著性区域；
19、所述显著性区域与所述高斯滤波算子进行卷积运算，得到所述红外图像候选区域。
20、优选的，所述增强网络包括：第二非线性函数层和上采样层；
21、所述红外图像候选区域输入至所述第二非线性函数层处理后通过上采样层进行双线性插值上采样，得到第一处理区域；
22、所述第一处理区域与所述单波段红外图像进行逐像素点乘运算，得到第二处理区域；
23、所述第二处理区域与所述单波段红外图像进行逐点加操作，得到所述增强红外图像。
24、优选的，所述凝视网络包括：全局特征提取模块、目标相关局部特征提取模块、第二拼接模块和第三批归一化层；
25、所述提取特征输入至所述全局特征提取模块，得到全局特征；
26、所述全局特征和所述红外图像候选区域分别输入至所述目标相关局部特征提取模块，得到目标相关局部特征；
27、所述目标相关局部特征和所述全局特征输入至所述第二拼接模块进行特征拼接后，通过所述第三批归一化层处理，得到第一融合特征；
28、所述第一融合特征与所述提取特征进行逐点加操作，得到所述第一尺度特征。
29、优选的，所述全局特征提取模块包括：第六卷积、第六silu函数层、第七卷积和第七silu函数层；
30、所述提取特征输入至所述第六卷积进行处理后，依次通过所述第六silu函数层、所述第七卷积和所述第七silu函数层处理，得到全局特征；
31、所述目标相关局部特征提取模块包括：第八卷积、第八silu函数层、第九卷积、第九silu函数层、第十卷积和第十silu函数层；
32、所述红外图像候选区域输入至所述第八卷积进行处理后，依次通过所述第八silu函数层、所述第九卷积和所述第九silu函数层处理，得到局部眼动区域；
33、所述局部眼动区域与所述全局特征进行逐像素点乘操作后，依次通过所述第十卷积和所述第十silu函数层处理，得到所述目标相关局部特征。
34、优选的，还包括：
35、构建用于训练的监督标签集合，基于所述监督标签集合对所述骨干网络的网络参数进行训练，得到训练好的骨干网络。
36、优选的，所述监督标签集合包括：扫视网络监督标签集合和凝视网络监督标签集合；
37、所述凝视网络监督标签集合构建过程为：
38、获取单波段红外图像中全局纹理明显区域；
39、基于所述全局纹理明显区域和红外目标位置得到目标纹理明显区域；
40、基于所述目标纹理明显区域得到红外图像的凝视区域概率；
41、获取所有尺度的凝视区域概率组成所述凝视网络监督标签集合。
42、优选的，训练过程为：
43、基于所述扫视网络监督标签集合，采用随机梯度下降方法优化所述扫视网络的参数；
44、基于所述扫视网络监督标签集合和所述凝视网络监督标签集合，采用生成对抗训练方法优化所述骨干网络的参数。
45、经由上述的技术方案可知，与现有技术相比，本专利技术公开提供了一种基于扫视与凝视的单波段骨干网络架构的特征提取方法，具有以下有益效果：
46、1、通过扫视网络与凝视网络相结合，可快速定位并记忆图像中与目标红外热辐射特性高度相似的任务感兴趣区域并主本文档来自技高网...
【技术保护点】
1.基于扫视与凝视的单波段骨干网络架构的特征提取方法，其特征在于，包括：
2.根据权利要求1所述的基于扫视与凝视的单波段骨干网络架构的特征提取方法，其特征在于，所述扫视网络包括：MWT网络、筛选网络、候选区域网络和增强网络；
3.根据权利要求2所述的基于扫视与凝视的单波段骨干网络架构的特征提取方法，其特征在于，所述MWT网络包括：多个小波变换模块、第一拼接模块、第一批归一化层和第一SiLu函数层；
4.根据权利要求2所述的基于扫视与凝视的单波段骨干网络架构的特征提取方法，其特征在于，所述候选区域网络包括：第三卷积、第三SiLu函数层、第四卷积、第四SiLu函数层和高斯滤波算子；
5.根据权利要求2所述的基于扫视与凝视的单波段骨干网络架构的特征提取方法，其特征在于，所述增强网络包括：第二非线性函数层和上采样层；
6.根据权利要求1所述的基于扫视与凝视的单波段骨干网络架构的特征提取方法，其特征在于，所述凝视网络包括：全局特征提取模块、目标相关局部特征提取模块、第二拼接模块和第三批归一化层；
7.根据权利要求6所述
8.根据权利要求1所述的基于扫视与凝视的单波段骨干网络架构的特征提取方法，其特征在于，还包括：
9.根据权利要求8所述的基于扫视与凝视的单波段骨干网络架构的特征提取方法，其特征在于，所述监督标签集合包括：扫视网络监督标签集合和凝视网络监督标签集合；
10.根据权利要求9所述的基于扫视与凝视的单波段骨干网络架构的特征提取方法，其特征在于，训练过程为：
...【技术特征摘要】
1.基于扫视与凝视的单波段骨干网络架构的特征提取方法，其特征在于，包括：
2.根据权利要求1所述的基于扫视与凝视的单波段骨干网络架构的特征提取方法，其特征在于，所述扫视网络包括：mwt网络、筛选网络、候选区域网络和增强网络；
3.根据权利要求2所述的基于扫视与凝视的单波段骨干网络架构的特征提取方法，其特征在于，所述mwt网络包括：多个小波变换模块、第一拼接模块、第一批归一化层和第一silu函数层；
4.根据权利要求2所述的基于扫视与凝视的单波段骨干网络架构的特征提取方法，其特征在于，所述候选区域网络包括：第三卷积、第三silu函数层、第四卷积、第四silu函数层和高斯滤波算子；
5.根据权利要求2所述的基于扫视与凝视的单波段骨干网络架构的特征提取方法，其特征在于，所述增强网络包括：第二非线性函数层和上采样层；...
【专利技术属性】
技术研发人员：李波，唐文婷，韦星星，孟端倪，刘偲，席紫藤，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。