一种基于特征加权和特征相关性融合的目标检测方法技术

本发明专利技术公开了一种基于特征加权和特征相关性融合的目标检测方法，该方法包括：从特征金字塔网络中较高层的感受野的特征中提取融合权重；将融合权重作用于高层感受野特征后再与低层感受野特征融合；计算特征金字塔网络中前三层特征图的特征相关性；将特征金字塔网络中相邻特征层中较高层感受野特征的相关性与较低层感受野特征的相关性进行进一步融合；将融合得到的相关性作用于特征金子塔网络中相应层级的特征图，以由改进后的特征金子塔网络进行目标检测。通过本发明专利技术可以提高特征金字塔网络对不同尺度的物体的检测和识别精度。

A Target Detection Method Based on Feature Weighting and Feature Relevance Fusion

The invention discloses a target detection method based on feature weighting and feature correlation fusion, which includes: extracting fusion weights from the features of the upper receptive field in the feature pyramid network; applying fusion weights to the features of the upper receptive field and then fusing with the features of the lower receptive field; calculating the feature correlation of the first three feature maps in the feature pyramid network; The correlation between the higher-level receptive field features and the lower-level receptive field features in the adjacent feature layer of the conquest pyramid network is fused further; the correlation obtained by the fusion is applied to the corresponding level feature map of the feature pyramid network to detect the target by the improved feature pyramid network. The invention can improve the detection and recognition accuracy of the characteristic pyramid network for objects of different scales.

【技术实现步骤摘要】
一种基于特征加权和特征相关性融合的目标检测方法
本专利技术属于图像处理及智能目标检测识别
，更具体地，涉及一种基于特征加权和特征相关性融合的目标检测方法。
技术介绍
识别尺度差别较大的物体或目标对计算机视觉任务而言一直是一个富有挑战性的问题。近年来，基于深度卷积网络对物体进行检测识别的方法相对于传统的检测算法而言，在物体检测精度和识别精度上取得了相当大的进步；然而在利用卷积神经网络进行物体检测中，在同一个特征尺度上进行检测时，如果特征的尺度过大，会导致特征对于尺度较大的物体而言其不够抽象，难以覆盖其相应的感受野；如果特征的尺度过小，对于尺度较大的物体会有相对更好的效果，然而对于那些较小的物体而言，其特征很有可能随着特征图感受野增大而变得难以区分；因此采用特征金子塔网络(FeaturePyramidNetworks)的方式，在不同尺度上对物体进行检测可以有效克服上述的矛盾。然而在对特征金子塔网络进行了分析和实验后，发现以下两处可以改进的方式：首先，在不同的感受野特征进行融合时，特征金子塔网络采用的方式是对较高层的感受野的特征图进行上采样后与经过1×1卷积后的较低层特征图直接相加的方式；虽然融合后的特征综合了高层的抽象特征和较低层的分割特征，但特征之间存在较大的差异，并且对于较小目标而言，高层抽象特征可能不含有其需要的信息；其次，特征金子塔网络中的较低层次上的特征上虽然保留了更多尺度较小的物体的特征信息，然而较低层次的特征图上往往只含有较为浅显的特征，这对于需要精确分类和定位的物体检测任务而言是一个需要解决的问题。虽然特征金子塔网络通过bottom-up的方式在低层次的特征中融合了高层次的特征信息，然而其仍然存在特征层次上的差异，需要一个对低层特征进行“增强”的更好的方法。因此，如何更好的对不同层次的特征进行融合以及如何对低层次的特征进行更“有效”的增强是特征金字塔网络需要改进的方向。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于特征加权和特征相关性融合的目标检测方法，由此解决如何利用特征金字塔网络更好的对不同层次的特征进行融合以及如何对低层次的特征进行更有效的增强，进而提高目标检测精度的技术问题。为实现上述目的，本专利技术提供了一种基于特征加权和特征相关性融合的目标检测方法，包括：S1：从特征金字塔网络中第一目标层的感受野的特征中提取融合权重；S2：将所述融合权重作用于所述第一目标层的感受野特征后再与第二目标层的感受野特征融合，其中，所述第一目标层的层次高于所述第二目标层的层次；S3：计算所述特征金字塔网络中前三层特征图的特征相关性；S4：将所述特征金字塔网络中的相邻特征层中的较高层感受野特征的相关性与较低层感受野特征的相关性进行进一步融合；S5：将融合得到的相关性作用于所述特征金子塔网络中相应层级的特征图中，以由改进后的特征金子塔网络进行目标检测。优选地，步骤S1包括：S1.1：对经过上采样后的第一目标层的感受野特征图进行卷积得到输出维度为M维的特征图，M为整数；S1.2：对所述M维的特征图通过平均池化得到M维的特征向量，并将所述M维的特征向量进行向量化为N×N的特征图，其中，N×N＝M，平均池化为对所述M维的特征图的每一维求取平均值；S1.3：对所述N×N的特征图通过若干层卷积得到N×N的权重图，其中，每次卷积后得到的特征图大小不变，激活函数采用Relu函数；S1.4：对所述N×N的权重图通过sigmoid函数得到权重向量为N×N的目标权重图，并将所述目标权重图转化为一维权重向量。优选地，步骤S2包括：S2.1：计算所述第一目标层的感受野特征经过所述一维权重向量进行特征选择后的选择性特征；S2.2：融合所述第二目标层的感受野特征、所述第一目标层的感受野特征及经过权重选择后的所述选择性特征。优选地，步骤S2.1包括：由F′H[c]＝FH[c]*w[c]计算所述第一目标层的感受野特征FH经过所述一维权重向量w进行特征选择后的选择性特征F′H，其中，c代表在三维特征图中通道索引为c的二维特征图，*表示卷积操作。优选地，步骤S2.2包括：由Fm＝FL+FH+F′H融合所述第二目标层的感受野特征FL、所述第一目标层的感受野特征FH及经过权重选择后的所述选择性特征F′H。优选地，步骤S3包括：S3.1：对所述M维的特征图通过卷积进行特征降维得到用于计算相关性的特征图Fr，其中，卷积采用的步长以能够保持相同的特征图大小为准，输出后经过降维的特征图Fr通道数为L维，并后接一层批归一化层，L＜M；S3.2：计算所述特征图Fr中各个位置之间的相关性。优选地，步骤S3.2包括：S3.2.1：将长W，宽H，通道数为C的特征图Fr转化为(W×H,C)大小的二维特征图Fz；S3.2.2：由从Fz中计算得到不同位置处特征的相关性relation。优选地，步骤S4包括：S4.1：对相邻层中较高层感受野特征的相关性矩阵进行卷积操作得到相关性特征图；S4.2：将激活函数Relu作用于卷积得到的所述相关性特征图得到目标相关性特征图；S4.3：将所述目标相关性特征图进行上采样，上采样后的大小保持与相邻特征层中较低层感受野特征的相关性矩阵大小相同；S4.4：将经过上采样后得到的相邻层中较高层感受野的特征相关性矩阵与相邻层中较低层感受野的特征相关性矩阵直接相加得到融合后的特征相关性矩阵。优选地，步骤S5包括：S5.1：将相应层级对应的长为W，宽为H，通道数为C的特征图F转化为(W×H,C)大小的二维特征图Fc；S5.2：由relation_f＝relationT×FcT根据相关性矩阵relation计算经过相关性融合后的特征relation_f，其中，T表示转置；S5.3：将长为W，宽为H，通道数为C大小的相关性特征relation_f转化为(W,H,C)大小的三维特征图FR；S5.4：对FR进行卷积操作得到特征图FRc，其中卷积核的权重初始化为0；S5.5：将特征图FRc与对应层级的特征图F直接相加得到经过相关性融合后的特征图。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本专利技术提供的一种采用特征加权和特征相关性融合对特征金字塔网络结构进行改进的方法，较大地提高了含有特征金字塔的检测网络对不同尺度目标的检测精度，对常用的含有特征金字塔的检测网络带来了平均1.9的mAP提升，并且仅给网络增加了1.0％左右的参数量。附图说明图1为本专利技术实施例提供的一种基于特征加权和特征相关性融合的目标检测方法的流程示意图图2为本专利技术实施例提供的另一种基于特征加权和特征相关性融合的目标检测方法的流程示意图；图3为本专利技术实施例提供的一种原始特征金子塔网络中不同层次的特征融合方式示意图；图4为本专利技术实施例提供的一种基于特征加权的特征融合网络示意图；图5为本专利技术实施例提供的一种FasterR-CNN+FPNA和FasterR-CNN+FPN测试精度曲线；图6为本专利技术实施例提供的一种原始的特征金字塔网络结构图；图7为本专利技术实施例提供的一种P3中特征相关性在P2中的映射示意图；图8为本专利技术实施例提供的一种相邻层级的相关性融合算法示意图；图9为本专利技术实施例提供的一种利用同一层以及相邻层之间的特征相关性进行特征融本文档来自技高网...

【技术保护点】
1.一种基于特征加权和特征相关性融合的目标检测方法，其特征在于，包括：S1：从特征金字塔网络中第一目标层的感受野的特征中提取融合权重；S2：将所述融合权重作用于所述第一目标层的感受野特征后再与第二目标层的感受野特征融合，其中，所述第一目标层的层次高于所述第二目标层的层次；S3：计算所述特征金字塔网络中前三层特征图的特征相关性；S4：将所述特征金字塔网络中的相邻特征层中的较高层感受野特征的相关性与相邻特征层中的较低层感受野特征的相关性进行进一步融合；S5：将融合得到的相关性作用于所述特征金子塔网络中相应层级的特征图中，以由改进后的特征金子塔网络进行目标检测。

【技术特征摘要】
1.一种基于特征加权和特征相关性融合的目标检测方法，其特征在于，包括：S1：从特征金字塔网络中第一目标层的感受野的特征中提取融合权重；S2：将所述融合权重作用于所述第一目标层的感受野特征后再与第二目标层的感受野特征融合，其中，所述第一目标层的层次高于所述第二目标层的层次；S3：计算所述特征金字塔网络中前三层特征图的特征相关性；S4：将所述特征金字塔网络中的相邻特征层中的较高层感受野特征的相关性与相邻特征层中的较低层感受野特征的相关性进行进一步融合；S5：将融合得到的相关性作用于所述特征金子塔网络中相应层级的特征图中，以由改进后的特征金子塔网络进行目标检测。2.根据权利要求1所述的方法，其特征在于，步骤S1包括：S1.1：对经过上采样后的第一目标层的感受野特征图进行卷积得到输出维度为M维的特征图，M为整数；S1.2：对所述M维的特征图通过平均池化得到M维的特征向量，并将所述M维的特征向量进行向量化为N×N的特征图，其中，N×N＝M，平均池化为对所述M维的特征图的每一维求取平均值；S1.3：对所述N×N的特征图通过若干层卷积得到N×N的权重图，其中，每次卷积后得到的特征图大小不变，激活函数采用Relu函数；S1.4：对所述N×N的权重图通过sigmoid函数得到权重向量为N×N的目标权重图，并将所述目标权重图转化为一维权重向量。3.根据权利要求2所述的方法，其特征在于，步骤S2包括：S2.1：计算所述第一目标层的感受野特征经过所述一维权重向量进行特征选择后的选择性特征；S2.2：融合所述第二目标层的感受野特征、所述第一目标层的感受野特征及经过权重选择后的所述选择性特征。4.根据权利要求3所述的方法，其特征在于，步骤S2.1包括：由F′H[c]＝FH[c]*w[c]计算所述第一目标层的感受野特征FH经过所述一维权重向量w进行特征选择后的选择性特征F′H，其中，c代表在三维特征图中通道索引为c的二维特征图，*表示卷积操作。5.根据权利要求3或4所述的方法，其特征在于，步骤S2.2包括：由Fm＝FL+...

【专利技术属性】
技术研发人员：左峥嵘，吴双忱，桑农，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42