一种基于特征融合的目标检测方法技术

本发明专利技术公开了一种基于特征融合的目标检测方法，目的是解决目前检测方法小尺寸目标检测精度低的缺点。技术方案是构建由特征提取模块、间接特征融合模块、直接特征融合模块、2个变形模块、检测模块构成的目标检测系统；采用训练后的目标检测系统对图像进行特征提取、间接特征融合、直接特征融合，检测识别目标的位置和类别。其中间接特征融合模块将高层和低层特征图拼接成一个特征图，然后对拼接好的特征图计算不同像素间的依赖关系，将依赖关系在不同特征图间共享，实现了高层特征和低层特征之间的信息传递；直接特征融合模块将高层特征图信息逐层向低层特征图传递，使小尺寸目标的低层特征中的语义和位置信息增强，提升了小目标检测精度。

【技术实现步骤摘要】
一种基于特征融合的目标检测方法
本专利技术涉及计算机视觉
，尤其涉及一种基于特征融合的目标检测方法。
技术介绍
目标检测是计算机视觉领域重要的研究方向之一，传统的目标检测方法是通过对一定区域内的图像构建特征描述子(如方向梯度直方图等)提取特征，然后利用分类器对特征进行分类实现目标检测，如支持向量机SVM(SupportVectorMachine)等。近来随着卷积神经网络的发展，工程特征大部分已经被卷积神经网络特征所取代，目标检测系统在精度和速度上都取得了很大的进步。当前，基于深度学习的目标检测方法分为双阶段检测方法和单阶段检测方法。双阶段检测方法采用FastR-CNN、FasterR-CNN、R-FCN双阶段网络，首先对输入图片提取候选区域，然后对提取的候选区域进行分类和定位。目前，该类方法达到了检测精度非常好的效果，但是存在速度较慢的缺点，达不到实时性的要求，因此在对检测实时性要求较高的领域不能用双阶段检测方法。单阶段检测方法采用SSD(SingleShotMultiBoxDetector，单阶段多参考窗口检测器本文档来自技高网...

【技术保护点】
1.一种基于特征融合的目标检测方法，其特征在于包括以下步骤：/n第一步：构建目标检测系统，目标检测系统由特征提取模块、间接特征融合模块、直接特征融合模块、第一变形模块、第二变形模块、检测模块组成；/n特征提取模块为一个卷积神经网络，与第一变形模块相连；特征提取模块接收图像I，对图像I进行特征提取，得到多尺度特征图集合F(I)，将F(I)发送给第一变形模块；/n第一变形模块是对F(I)进行插值和下采样操作的模块，与特征提取模块、间接特征融合模块相连；对F(I)中的特征图进行下采样或插值操作，统一特征图的尺寸，得到A

【技术特征摘要】
1.一种基于特征融合的目标检测方法，其特征在于包括以下步骤：
第一步：构建目标检测系统，目标检测系统由特征提取模块、间接特征融合模块、直接特征融合模块、第一变形模块、第二变形模块、检测模块组成；
特征提取模块为一个卷积神经网络，与第一变形模块相连；特征提取模块接收图像I，对图像I进行特征提取，得到多尺度特征图集合F(I)，将F(I)发送给第一变形模块；
第一变形模块是对F(I)进行插值和下采样操作的模块，与特征提取模块、间接特征融合模块相连；对F(I)中的特征图进行下采样或插值操作，统一特征图的尺寸，得到A1(I)，将A1(I)发送给间接特征融合模块；
间接特征融合模块与第一变形模块、直接特征融合模块相连，间接特征融合模块由第一通道变换模块、特征拼接模块、6个注意力模块组成；间接特征融合模块从第一变形模块接收A1(I)，将A1(I)中高层特征图的像素间的依赖关系和低层特征图像素间的依赖关系进行融合，运用融合的像素间的依赖关系，通过加权计算得到经过间接特征融合的特征图h1,h2,h3,h4,h5,h6，将h1,h2,h3,h4,h5,h6发送给直接特征融合模块；
第一通道变换模块包含6个1×1卷积神经网络，与第一变形模块、特征拼接模块、直接特征融合模块相连，从第一变形模块接收A1(I)，分别对A1(I)中的每个特征图进行1×1卷积神经操作，将A1(I)中6个特征图的通道数统一为256，得到A2(I)＝{a21，a22，a23，a24，a25，a26}，将A2(I)输出给特征拼接模块、直接特征融合模块；A2(I)中的特征图尺寸都为256×10×10；
特征拼接模块与第一通道变换模块、6个注意力模块相连，从第一通道变换模块接收A2(I)，对A2(I)中的6个特征图进行特征拼接操作，将A2(I)中的6个特征图拼接成第一特征图I1,将I1发送给6个注意力模块，I1的尺寸为1536×10×10；
第i个注意力模块与特征拼接模块、直接特征融合模块相连，对I1提取像素间的依赖关系，根据依赖关系加权计算得到经过间接特征融合的特征图hi，将hi发送给直接特征融合模块；第i个注意力模块由查询模块、键模块、值模块、依赖关系模块、归一化模块、像素赋权模块、特征相加模块组成；1≤i≤6；
查询模块与特征拼接模块、依赖关系模块相连，从特征拼接模块接收I1，对I1进行1×1卷积操作，得到第二特征图I2”,I2”的尺寸为192×10×10；对I2”进行维度合并操作，将第二维度和第三维度合并，得到第二合并后特征图I2’，I2’的尺寸为192×100；对I2’进行转置操作，得到第二转置后特征图I2，I2的尺寸为100×192，将I2发送给依赖关系模块；
键模块与特征拼接模块、依赖关系模块相连，从特征拼接模块接收I1，对I1进行1×1卷积操作，得到第三特征图I3’，I3’的尺寸为192×10×10；对I3’进行维度合并操作，将第二维度和第三维度合并，得到第三合并后特征图I3，I3的尺寸为192×100，将I3发送给依赖关系模块；
依赖关系模块与查询模块、键模块、归一化模块相连，从查询模块接收I2、从键模块接收I3，对I2、I3进行向量乘法操作，得到I2、I3不同像素间的依赖关系图I4，I4的尺寸为100×100，将I4发送给归一化模块；
归一化模块与依赖关系模块和像素赋权模块相连，从依赖关系模块接收I4，对I4的每一行进行归一化操作，得到归一化后的像素间依赖关系图I5，I5的尺寸为100×100，将I5发送给像素赋权模块；
值模块与特征拼接模块、像素赋权模块相连，从特征拼接模块接收I1，对I1进行1×1卷积操作，得到第六特征图I6”，I6”的尺寸为1536×10×10，对I6”进行维度合并操作，将第二维度和第三维度合并，得到第六合并后特征图I6’，I6’的尺寸为1536×100；对I6’进行转置操作，得到第六转置后特征图I6，I6的尺寸为100×1536，将I6发送给像素赋权模块；
像素赋权模块与值模块、归一化模块、特征相加模块相连，从值模块接收I6、从归一化模块接收I5，对I5、I6执行矩阵乘法操作以对像素赋权，得到像素赋权后特征图I7”,I7”的尺寸为100×1536；对I7”进行转置操作，得到I7’，I7’的尺寸为1536×100；对I7’的第二维进行维度拆分操作，得到维度拆分后的特征图I7，I7的尺寸为1536×10×10，将I7发送给特征相加模块；
特征相加模块与特征拼接模块、像素赋权模块、直接特征融合模块相连，从特征拼接模块接收I1、从像素赋权模块接收I7，对I1、I7进行像素级别加法操作以利于梯度回传和优化，得到经过特征相加后的特征图hi，hi的尺寸为1536×10×10，将hi发送给直接特征融合模块；
直接特征融合模块与间接特征融合模块、第二变形模块相连，从间接特征融合模块中的第一通道变换模块接收A2(I)、从间接特征融合模块中的6个注意力模块接收h1,h2,h3,h4,h5,h6,对h1,h2,h3,h4,h5,h6变换通道数后，进行直接特征融合，得到经过直接特征融合后的特征图集合J(I)，将J(I)发送给第二变形模块；直接特征融合模块由第二通道变换模块、侧向连接模块组成；
第二通道变换模块包含6个1×1卷积神经网络，与间接特征融合模块、侧向连接模块相连，从间接特征融合模块的6个注意力模块中的特征相加模块接收h1,h2,h3,h4,h5,h6，分别对h1,h2,h3,h4,h5,h6进行1×1卷积神经操作，将h1,h2,h3,h4,h5,h6的通道数变换为256，得到特征图集合A8(I)，将A8(I)发送给侧向连接模块；
侧向连接模块是进行像素级别加法操作的模块，与第二通道变换模块、第二变形模块、间接特征融合模块的第一通道变换模块相连，从第二通道变换模块接收A8(I)、从第一通道变换模块接收A2(I)，对A8(I)和A2(I)进行侧向连接操作即直接特征融合，得到J(I)＝{j1,j2,j3,j4,j5,j6}，j1,j2,j3,j4,j5,j6尺寸均为256×10×10，将J(I)发送给第二变形模块；
第二变形模块与直接特征融合模块、检测模块相连；从直接特征融合模块接收J(I)，对J(I)中的特征图进行插值或下采样操作，得到D(I)，D(I)中包含d1,d2,d3,d4,d5,d6这6个特征图；将D(I)发送给检测模块；
检测模块与第二变形模块相连，由分类网络、定位网络和非极大值抑制模块组成；定位网络与第二变形模块、非极大值抑制模块相连，定位网络从第二变形模块接收D(I)，对D(I)中的每一个特征图进行卷积操作，向非极大值抑制模块输出预测目标的坐标值即预测框坐标值；分类网络与第二变形模块、非极大值抑制模块相连，分类网络从第二变形模块接收D(I)，对D(I)中的每一个特征图进行卷积操作，向非极大值抑制模块输出预测目标的类别即目标最属于某类的概率值；非极大值抑制模块与分类网络和定位网络相连，采用非极大值抑制方法将重复预测的目标的坐标值和类别去除，获得目标最佳的预测框坐标值和预测类别；
第二步：准备目标检测系统的训练数据集，方法为：
选择PASCALVOC2007、PASCALVOC2012的训练集、验证集中的所有图片作为训练数据集，训练数据集图片中共包含E种目标类别，E为正整数；对于训练数据集中的第d张图片，1≤d≤16551，PASCALVOC2007、PASCALVOC2012中给出了第d张图片所包含的目标的类别以及位置向量gd＝{gd1,gd2,...,gdz,...,gdZ}，dZ表示第d张图片中包含的目标数量，其中为包含四个值的一维向量，为第d张图片的第z个目标区域矩形框的左上角的坐标值，为第d张图片的第z个目标区域矩形框的右下角的坐标值，四个坐标值均为标量，中的四个值表示出第d张图片的第z个目标区域矩形的目标区域；
第三步，采用第二步构建的训练数据集训练目标检测系统中的各个模块，方法是：
3.1对特征提取模块的网络参数Φ1、间接特征融合模块的网络参数Φ2、直接特征融合模块的网络参数Φ3、检测模块的网络参数Φ4进行初始化；
3.2将训练数据集中的图片依次输入到目标检测系统中，对目标检测系统进行训练，拟合得到目标检测系统的网络参数；
第四步：利用目标检测系统进行目标检测，方法是：
4.1从相机或文件获得需要检测的图像I；
4.2将训练得到的目标检测系统的网络参数载入到目标检测系统中；
4.3特征提取模块对被检测图像I进行特征提取，得到多尺度特征图集合F(I)，将F(I)发送给第一变形模块；F(I)中包含6张图，尺寸分别为512×38×38，1024×19×19，512×10×10，256×5×5，256×3×3，256×1×1；尺寸为512×38×38，1024×19×19，512×10×10的为低层特征图；尺寸为256×5×5，256×3×3，256×1×1的为高层特征图；
4.4第一变形模块从特征提取模块接收F(I)，对F(I)中的特征图进行下采样或插值操作，统一特征图的尺寸，得到A1(I)，将A1(I)发送给间接特征融合模块；A1(I)包含的特征图尺寸为512×10×10，1024×10×10，512×10×10，256×10×10，256×10×10，256×10×10；
4.5间接特征融合模块从第一变形模块接收A1(I)，将A1(I)中高层特征图即尺寸为256×10×10，256×10×10，256×10×10的特征图像素间的依赖关系和低层特征图即尺寸为512×10×10，1024×10×10，512×10×10的特征图像素间的依赖关系进行融合，运用融合的像素间的依赖关系，通过加权计算得到经过间接特征融合的特征图h1,h2,h3,h4,h5,h6，将h1,h2,h3,h4,h5,h6发送给直接特征融合模块；具体方法为：
4.5.1第一通道变换模块从第一变形模块接收A1(I)，对A1(I)中的特征图分别采用1×1卷积神经网络进行通道变换操作，得到A2(I)＝{a21，a22，a23，a24，a25，a26}，a21，a22，a23，a24，a25，a26均为尺寸为256×10×10的特征图，将A2(I)发送给特征拼接模块、直接特征融合模块；
4.5.2特征拼接模块从第一通道变换模块接收A2(I)，对A2(I)进行特征拼接操作，将6个特征图拼接成第一特征图I1，I1的尺寸为1536×10×10；将I1发送给6个注意力模块；
4.5.36个注意力模块同时从特征拼接模块接收I1，并行地运用矩阵乘法操作对I1提取不同像素间的依赖关系；将所有特征图的信息都考虑在内，实现不同特征图间的间接信息融合；运用融合后的像素间的依赖关系，通过像素赋权模块和特征相加模块得到特征图h1,h2,h3,h4,h5,h6，将h1,h2,h3,h4,h5,h6发送给直接特征融合模块；。
4.6直接特征融合模块从间接特征融合模块中的第一通道变换模块接收A2(I)、从间接特征融合模块中的6个注意力模块接收h1,h2,h3,h4,h5,h6，将h1,h2,h3,h4,h5,h6统一通道数后，进行直接特征融合，得到经过直接特征融合后的特征集合J(I)＝{j1，j2，j3，j4，j5，j6}，ji的尺寸为256×10×10，将J(I)发送给第二变形模块，具体方法为：
4.6.1第二通道变换模块从间接特征融合模块的6个注意力模块接收h1,h2,h3,h4,h5,h6，分别对h1,h2,h3,h4,h5,h6进行1×1卷积神经操作，将h1,h2,h3,h4,h5,...

【专利技术属性】
技术研发人员：崔玉宁，史殿习，刘哲，杨思宁，李林，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43