一种基于多尺度卷积特征提取和融合的显著物体检测方法技术

本发明专利技术涉及一种基于多尺度卷积特征提取和融合的显著物体检测方法，首先进行数据增强，同时对彩色图像以及对应的人工标注图进行处理，增加训练数据集的数据量；接着提取多尺度特征，并进行通道压缩来优化网络的计算效率；然后融合多尺度的特征，得到预测的显著图；最后通过求解最小化交叉熵损失，学习到模型的最优参数；最终利用训练好的模型网络来预测图像中的显著物体。本发明专利技术能显著提高显著物体检测精度。

【技术实现步骤摘要】
一种基于多尺度卷积特征提取和融合的显著物体检测方法
本专利技术涉及图像处理以及计算机视觉领域，特别是一种基于多尺度卷积特征提取和融合的显著物体检测方法。
技术介绍
如何在全卷积网络中融合多种尺度卷积特征是显著物体检测领域的一个开放性问题。从这个问题出发，大多数已有的基于全卷积神经网络的显著物体检测方法一般通过添加网络分支使不同尺度的卷积特征能够经由分支进行融合，从而产生对于显著物体检测任务更有益的特征。2015年之后提出的显著物体检测算法，大多数都致力于应用全卷积神经网络(FCNN)来提升网络的计算效率以及显著物体检测的精度。这些工作可以分为两类，首先是全卷积网络结构的创新，Li等人在预先训练的VGG-16网络上得到不同尺度的特征后，每个尺度的特征经过卷积计算得到新的特征结果，再通过上采样操作将这些特征恢复到统一大小，最后经过卷积操作得到显著检测结果，并且融合了一个超像素尺度的分支从空间尺度上优化了最后的显著物体检测的结果。Wang等人提出的显著物体网络是编码器-解码器形式的全卷积神经网络，同时还加入循环神经网络结构来不断迭代优化显著物体检测结果。Cheng等人在全卷积网络中加入了短连接结构(shortconnectionstructure)，由于短连接结构中每一个输出分支都融合了高级语义信息以及低级的纹理、形状等特征，算法的性能得到显著提高同时还保持模型简洁且高效。然而，大多数方法是利用分类任务上预先训练好的特征网络来融合网络中相应不同尺度的卷积特征，而这些特征的尺度一般都是有限且固定的。
技术实现思路
有鉴于此，本专利技术的目的是提出一种基于多尺度卷积特征提取和融合的显著物体检测方法，能显著提高显著物体检测精度。本专利技术采用以下方案实现：一种基于多尺度卷积特征提取和融合的显著物体检测方法，具体包括以下步骤：步骤S1：进行数据增强，同时对彩色图像以及对应的人工标注图进行处理，增加训练数据集的数据量；步骤S2：提取多尺度特征，并进行通道压缩来优化网络的计算效率；步骤S3：融合多尺度的特征，得到预测的显著图Predi；步骤S4：通过求解最小化交叉熵损失，学习到模型的最优参数；最终利用训练好的模型网络来预测图像中的显著物体。进一步地，步骤S1具体包括以下步骤：步骤S11：对数据集中的每一张彩色图像和其对应的人工标注图一同进行缩放，使计算设备能够承担神经网络的计算量；步骤S12：对数据集中的每一张彩色图像和其对应的人工标注图一同进行随机裁剪操作，用以增加数据的多样性；步骤S13：通过图像水平翻转生成镜像图，来扩大原有数据集的数据量。进一步地，步骤S2具体包括以下步骤：步骤S21：对U-Net固有的网络结构进行改进，其中U-Net网络的编码器结构是以图像分类卷积网络作为特征网络，通过不断堆叠组合卷积层以及池化层来产生5种不同尺度的卷积特征，在卷积特征Eni和卷积特征Eni+1之间存在一个池化层来逐步地减小特征图的大小，设置该池化层的步长为2，使得Eni+1相比Eni特征结果在宽和高两个空间维度上减少了一半；为了保持卷积特征和在空间维度上具备足够的信息，使最后两个卷积特征之间的池化层的步长为1，使得最后两个卷积特征在宽和高两个空间维度上保持一致的大小；步骤S22：设计一个多尺度特征提取模块作用于步骤S21改进的U-Net网络产生的每一个尺度的卷积特征，得到多尺度内容特征；步骤S23：加入一个通道压缩模块作用于多尺度内容特征来优化网络的计算效率。进一步地，步骤S22具体包括以下步骤：步骤S221：设计三个卷积层，以卷积特征Eni作为输入，这三个卷积都是执行深度可分离的空洞卷积操作，其中空洞卷积的膨胀系数分别是3，6，9；这三个操作得到的特征结果与卷积特征Eni的特征大小保持一致,特征大小都为(c,h,w)；步骤S222：应用连接操作将三个特征结果在通道维度上拼接在一起并得到特征大小为(3c,h,w)的特征结果；步骤S223：应用一个卷积核大小为(1,1)的卷积操作将步骤S222得到的特征结果的通道压缩到与卷积特征Eni一致并得到特征大小为(c,h,w)的多尺度内容特征。进一步地，步骤S3具体包括以下步骤：步骤S31：设计一个多尺度特征融合模块，设输入的多尺度内容特征Feati的特征大小为(c,h,w)；在所述多尺度特征融合模块中，分别应用卷积核大小为(1,k)和(k,1)的深度可分离的卷积操作和卷积核大小为(k,1)和(1,k)的深度可分离的卷积操作，得到与输入特征Feati大小一致的特征融合结果；步骤S32：U-Net网络的解码器结构与编码器的特征网络都对应有5个不同尺度的特征结果，U-Net网络的解码器结构产生的每一个尺度的卷积特征Deci，都是应用多尺度特征融合模块来融合多尺度内容特征Feati以及卷积特征Deci+1，这里假设输入的卷积特征Deci+1的特征大小为(c,h/2,w/2)；首先，先对卷积特征Deci+1应用上采样操作在空间维度上放大两倍，从而卷积特征Deci+1与多尺度内容特征Feati在空间维度上具备相同大小,其特征大小为(c,h,w)；然后将多尺度内容特征Feati以及卷积特征Deci+1应用拼接操作得到拼接后特征,其特征大小为(2c,h,w)，再应用卷积操作，经过ReLU激活函数以及BN层得到特征大小为(c,h,w)的特征结果；紧接着，对得到的特征结果应用多尺度特征融合模块得到特征融合结果，同时将该特征结果与特征融合结果再进行拼接操作，卷积操作，经过ReLU激活函数以及BN层得到特征大小为(c,h,w)的特征结果Deci；最后，再应用卷积核大小为(1,1)卷积操作将特征结果Deci的通道数压缩一半以便于与Deci-1进行融合，经过ReLU激活函数以及BN层得到特征大小为(0.5c,h,w)的特征结果Deci，并将其经过卷积操作将通道压缩到1，再经过Sigmoid函数就能够得到预测的显著图Predi。进一步地，步骤S31具体包括以下步骤：步骤S311：先后对输入的多尺度内容特征Feati应用卷积核大小为(1,k)和(k,1)的深度可分离的卷积操作，同时再先后对输入特征Feati应用卷积核大小为(k,1)和(1,k)的深度可分离的卷积操作，这两次先后操作后都有加入BN层并分别得到两个特征结果；步骤S312：将两个特征结果按通道维度进行求和操作得到与输入特征Feati大小一致的特征结果；步骤S313：应用一个卷积核大小为(1,1)的卷积操作来对特征结果的通道上的特征进行建模并得到与输入特征Feati大小一致的特征融合结果。进一步地，步骤S4中，交叉熵损失Loss的计算采用下式：与现有技术相比，本专利技术有以下有益效果：本专利技术提出了一个多尺度特征提取模块以及多尺度融合模块，网络设计中将模块直接嵌入到典型的编码器-解码器结构的U-Net网络架构，同时还考虑了解码器结构上特征通道上信息的冗余性，应用了一个通道压缩模块来使模型计算效率更高。本专利技术能显著提高显著物体检测精度。附图说明图1为本专利技术实施例的方法流程示意图。图2为本专利技术实施例的显著物体检测网络结构图。图3为本专利技术实施例的多尺度特征提取模块示意图。图4为本专利技术实施例的通道压缩模块示意图。图5为本专利技术实施例的多尺度特征融合模块示意图。图6为本专利技术实本文档来自技高网...

【技术保护点】
1.一种基于多尺度卷积特征提取和融合的显著物体检测方法，其特征在于：包括以下步骤：步骤S1：进行数据增强，同时对彩色图像以及对应的人工标注图进行处理，增加训练数据集的数据量；步骤S2：提取多尺度特征，并进行通道压缩来优化网络的计算效率；步骤S3：融合多尺度的特征，得到预测的显著图Pred

【技术特征摘要】
1.一种基于多尺度卷积特征提取和融合的显著物体检测方法，其特征在于：包括以下步骤：步骤S1：进行数据增强，同时对彩色图像以及对应的人工标注图进行处理，增加训练数据集的数据量；步骤S2：提取多尺度特征，并进行通道压缩来优化网络的计算效率；步骤S3：融合多尺度的特征，得到预测的显著图Predi；步骤S4：通过求解最小化交叉熵损失，学习到模型的最优参数；最终利用训练好的模型网络来预测图像中的显著物体。2.根据权利要求1所述的一种基于多尺度卷积特征提取和融合的显著物体检测方法，其特征在于：步骤S1具体包括以下步骤：步骤S11：对数据集中的每一张彩色图像和其对应的人工标注图一同进行缩放，使计算设备能够承担神经网络的计算量；步骤S12：对数据集中的每一张彩色图像和其对应的人工标注图一同进行随机裁剪操作，用以增加数据的多样性；步骤S13：通过图像水平翻转生成镜像图，来扩大原有数据集的数据量。3.根据权利要求1所述的一种基于多尺度卷积特征提取和融合的显著物体检测方法，其特征在于：步骤S2具体包括以下步骤：步骤S21：对U-Net固有的网络结构进行改进，其中U-Net网络的编码器结构是以图像分类卷积网络作为特征网络，通过不断堆叠组合卷积层以及池化层来产生5种不同尺度的卷积特征，在卷积特征Eni和卷积特征Eni+1之间存在一个池化层来逐步地减小特征图的大小，设置该池化层的步长为2，使得Eni+1相比Eni特征结果在宽和高两个空间维度上减少了一半；为了保持卷积特征和在空间维度上具备足够的信息，使最后两个卷积特征之间的池化层的步长为1，使得最后两个卷积特征在宽和高两个空间维度上保持一致的大小；步骤S22：设计一个多尺度特征提取模块作用于步骤S21改进的U-Net网络产生的每一个尺度的卷积特征，得到多尺度内容特征；步骤S23：加入一个通道压缩模块作用于多尺度内容特征来优化网络的计算效率。4.根据权利要求3所述的一种基于多尺度卷积特征提取和融合的显著物体检测方法，其特征在于：步骤S22具体包括以下步骤：步骤S221：设计三个卷积层，以卷积特征Eni作为输入，这三个卷积都是执行深度可分离的空洞卷积操作，其中空洞卷积的膨胀系数分别是3，6，9；这三个操作得到的特征结果与卷积特征Eni的特征大小保持一致,特征大小都为(c,h,w)；步骤S222：应用连接操作将三个特征结果在通道维度上拼接在一起并得到特征大小为(3c,h,w)的特征结果；步骤S223：应用一个卷积核大小为(1,1)的卷积操作将步骤S222得到的特征结果的通道压缩到与卷积特征Eni一致并得到特征大小为(c,h,w)的多尺度内容特征。5.根据权利要求1所述的一种基于多尺度卷积特征提取和...

【专利技术属性】
技术研发人员：牛玉贞，龙观潮，郭文忠，苏超然，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建,35