一种基于多尺度特征融合的全局特征对齐目标检测方法技术

本发明专利技术公开了一种基于多尺度特征融合的全局特征对齐特征对齐目标检测技术。该发明专利技术可以进一步增强以Faster R

【技术实现步骤摘要】
一种基于多尺度特征融合的全局特征对齐目标检测方法


[0001]本专利技术涉及深度学习中的迁移学习领域，针对特征迁移这一迁移学习的子类技术在目标检测任务中的应用。

技术介绍

[0002]受人类在学习知识的过程中举一反三能力的启发，迁移学习将从源域数据集中学习到“知识”迁移到目标域中，使得在源域数据集上训练好的目标检测网络在应用到与源域特征空间不同的目标域时，只需要付出较小的代价便可以提升目标检测算法的泛化性能。迁移学习迁移的“知识”是源域和目标域中共同拥有的。在目前的迁移学习算法中，特征对齐方法(域适应)的效果是最好的，其核心思想在于将域间差异减小，使得目标检测网络的特征提取器提取出的特征具有域不变性，即特征提取器能够忽略源域和目标域在背景等方面的差异而提取两域中共同的特征部分。现有的基于特征对齐的目标检测算法都采用Faster R
‑
CNN网络作为目标检测框架，且大都从全局特征对齐和局部特征对齐两个方向减少域间差异。其中全局特征对齐是对主干网络提取出的特征图进行特征对齐，大都存在两点不足，一是全局特征对齐尺度过于单一，仅对主干网络最后输出的特征图进行特征对齐，即对大尺寸目标进行特征对齐，而忽略了小尺寸目标，且未消除由两域样本中由目标大小不同造成的域间差异；二是全局特征对齐过程中，在对齐前景目标特征的同时，强制对齐背景特征，由于背景噪声的影响，限制了全局特征对齐的效率。

技术实现思路

[0003]为了克服上述全局特征对齐算法存在的不足，本专利技术提出了一种基于多尺度特征融合的全局特征对齐目标检测(MGFA)方法。该方法以Faster R
‑
CNN为目标检测框架，对多尺度特征进行特征对齐，并通过融合不同尺度特征将不同大小目标特征同步对齐，最后消除背景噪声对特征对齐造成的负面影响，从而解决域间差异带来的目标检测网络泛化性能低的问题。
[0004]本专利技术采用的技术方案是：
[0005]基于多尺度特征融合的全局特征对齐目标检测算法总共包含3个模块：
[0006](1)特征融合模块：将Faster R
‑
CNN的主干网络VGG16第二至第四卷积层输出的特征图进行特征融合，并输出新的特征图；在新的特征图中，融合了不同尺寸大小的目标特征；
[0007](2)背景抑制模块：对于新的特征图，取每一个维度的特征平均值作为背景抑制基准值，该维度的特征图中每一个特征点的特征值若低于基准值，则将特征值置为0；
[0008](3)全局特征对齐模块：对于背景抑制后的特征图，首先利用1
×
1卷积操作，将特征图维度降为1，然后将降为后的特征图中每一个特征点对应的特征值输入域分类器，判断每一个特征点在原图上对应的区域来自源域还是目标域，最终形成损失函数；最后利用翻转梯度层(GRL)形成生成对抗式的特征对齐方式，减少域间差异。
[0009]与现有技术相比，本专利技术的有益效果是：
[0010](1)在全局特征对齐过程中，通过将不同尺度的特征融合进新的特征图中，将不同尺度大小的目标特征共同进行特征对齐，相比于单独对相同尺度大小的目标特征进行特征对齐，进一步减少了由目标尺寸大小不同带来的域间差异；
[0011](2)在全局特征对齐过程中，使用背景抑制方法尽可能滤除背景噪声，减少背景噪声对特征对齐造成的负面影响，将网络注意力集中在对前景目标特征对齐上，进一步提高特征对齐的效率。
附图说明：
[0012]附图1：基于多尺度特征融合的全局特征对齐算法框架图。
[0013]附图2：VGG16
‑
D网络结构图。
[0014]附图3：域分类器D1网络结构图。
[0015]附图4：Faster R
‑
CNN检测效果示意图。
[0016]附图5：MGFA算法检测效果示意图。
[0017]附图6：MGFA算法与其他算法mAP指标对比图。
具体实施方式：
[0018]下面结合附图对本专利技术做进一步说明。
[0019]步骤1：如附图1所示，本专利技术以Faster R
‑
CNN作为目标检测框架，其特征提取主干网络为VGG16
‑
D，其网络结构如附图2所示，包括第一卷积层，第一下采样层，第二卷积层，第二下采样层，第二下采样层输出特征图记为F2，第三卷积层，第三下采样层，第三下采样层输出特征图记为F3，第四卷积层，第四下采样层，第四下采样层输出特征图记为F4，第五卷积层，第五卷积层输出特征图记为F5；
[0020]步骤2：特征图F4的特征维数为512，F2的特征维数为128，将特征图F4通过1
×
1卷积层，将特征维道数下调至与F2一致为128，特征图F2的大小为F4的4倍，特征图F4通过上采样方法将大小扩大4倍，与F2一致，随后与F2按特征维数逐特征点相加，得到新的特征图F
2,4
，并对F
2,4
进行3
×
3卷积操作，padding＝1，即不改变特征图大小，进一步融合各特征点周围信息，得到融合原F2和F4中前景目标特征信息后新的特征图G
2,4
；
[0021]步骤3：先求取特征图G
2,4
中每一个维度的所有特征值的均值α
i
，i表示G
2,4
的第i维度，第i维度特征图中的每一个特征点的特征值若小于均值α
i
，则置为0，得到背景抑制后的特征图H
2,4
；
[0022]步骤4：特征图F5的特征维数为512，F3的特征维数为256，将特征图F5通过卷积层，将特征维道数下调至与F3一致为256，特征图F3的大小是F5的2倍，F5通过上采样方法将大小扩大2倍，与F3一致，并与F3按特征维数逐特征点相加，得到新的特征图F
3,5
，并对F
3,5
进行3
×
3卷积操作，padding＝1，即不改变特征图大小，进一步融合各特征点周围信息，得到融合原F3和F5中前景目标特征信息后新的特征图G
3,5
；并按步骤3的方式进行背景抑制得到背景抑制后的特征图H
3,5
；
[0023]步骤5：将特征图G
2,4
输入域分类器D1；假设G
2,4
的大小为M
×
N
×
128，如附图3所示，域分类器D1包括GRL层，1
×
1卷积层Conv1和1
×
1卷积层Conv2，sigmoid层，GRL层在网络正
向传播时为恒等变化，不起任何作用，在网络反向传播梯度时，将梯度取负；Conv1输出的维度为128，Conv2输出的维度为1，经过两层卷积层后，特征图大小为M
×
N
×
1，并利用sigmoid层后对每一个特征点进行域分类，得到概率值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度特征融合的全局特征对齐目标检测方法，其特征在于，包括以下步骤：步骤1：以Faster R
‑
CNN作为目标检测框架，并以VGG16作为主干网络，VGG16包括第一卷积层，第一下采样层，第二卷积层，第二下采样层，第二下采样层输出特征图记为F2，第三卷积层，第三下采样层，第三下采样层输出特征图记为F3，第四卷积层，第四下采样层，第四下采样层输出特征图记为F4，第五卷积层，第五卷积层输出特征图记为F5；步骤2：该步骤是专利核心内容；特征图F4的特征维数为512，F2的特征维数为128，将特征图F4通过1
×
1卷积层，将特征维道数下调至与F2一致为128，特征图F2的大小为F4的4倍，特征图F4通过上采样方法将大小扩大4倍，与F2一致，随后与F2按特征维数逐特征点相加，得到新的特征图F
2，4
，并对F
2,4
进行3
×
3卷积操作，padding＝1，即不改变特征图大小，进一步融合各特征点周围信息，得到融合原F2和F4中前景目标特征信息后新的特征图G
2，4
；步骤3：该步骤是专利核心内容；先求取特征图G
2,4
中每一个维度的所有特征值的均值α
i
，i表示G
2,4
的第i维度，第i维度特征图中的每一个特征点的特征值若小于均值α
i
，则置为0，得到背景抑制后的特征图H
2,4
；步骤4：该步骤是专利核心内容；特征图F5的特征维数为512，F3的特征维数为256，将特征图F5通过卷积层，将特征维道数下调至与F3一致为256，特征图F3的大小是F5的2倍，F5通过上采样方法将大小扩大2倍，与F3一致，并与F3按特征维数逐特征点相加，得到新的特征图F
3,5
，并对F
3,5
进行3
...

【专利技术属性】
技术研发人员：贾海涛，莫超杰，刘博文，许文波，任利，周焕来，贾宇明，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：