一种基于卷积神经网络的显著物体检测方法技术

本发明专利技术提出了一种基于卷积神经网络的显著物体检测方法，本发明专利技术以任意的静态图像为输入，输出该图像中显著的物体。本发明专利技术首先在卷积神经网络的最深层提取低分辨率的全局显著性图，然后设计了两个网络结构，一个是残差特征学习网络，用于提取多尺度的残差特征，在较少的模型参数下逐步提升全局显著性图的分辨率；另一个是反向注意力机制网络，通过反向权重图引导上述残差特征学习，进一步提升显著性图的分辨率。本发明专利技术检测精度高，网络模型小，适用于移动端等嵌入式设备。

【技术实现步骤摘要】
一种基于卷积神经网络的显著物体检测方法
本专利技术涉及计算机视觉与数字图像处理领域，具体涉及一种基于卷积神经网络的显著物体检测方法。
技术介绍
显著物体检测是指提取图像中引人注目的物体或区域，作为图像预处理步骤，可以广泛地应用于后续的高层图像分析理解任务，如物体识别、语义分割、图像标注等。传统的检测方法大都基于手工设计的视觉特征，如对比度、背景中心差异等，这些特征难以捕获语义信息。随着深度学习的兴起，研究者们将其用于显著物体检测，和传统方法相比，性能得到了大幅地提高。而随着数据规模的爆炸式增长，这类方法还有着巨大的潜力可待挖掘。目前，在基于深度学习的方法中，基于全卷积神经网络(FCN)的方法是主流，这主要归功于其端到端的处理方式。然而，这些基于FCN的方法仍然存在以下两个弊端：一是由于卷积和池化等操作，使得最后得到预测结果分辨率较低，造成物体边界模糊；二是现有的检测模型存在较大的冗余，模型大小都在100MB以上，从而限制了其在移动端等嵌入式设备中的应用。
技术实现思路
本专利技术提出了一种基于卷积神经网络的轻量级显著物体检测方法。实现本专利技术的技术解决方案为：一种基于卷积神经网络的显著物体检测方法，具体步骤为：步骤1、构建基于卷积神经网络的显著物体检测模型，具体为：在VGG-16的基础上，增加全局显著性估计模块以及残差特征学习模型，其中，所述全局显著性估计模块用于确定待检测图像的全局显著性概率图S6，且该全局显著性概率图的分辨率为输入图像的1/32；所述残差特征学习模型用于获取分辨率逐渐增加的显著性概率图；步骤2、模型训练，将待检测图像输入至构建的网络模型，得到不同分辨率的显著性概率图S6-S1，将显著性概率图S6-S2上采样至原图像大小得到显著性概率图使用交叉熵损失函数计算各个显著性概率图和真实标注图之间的误差，并将误差进行反向传递以更新整个网络模型参数；步骤3、模型检测，将待检测图像直接输入到更新后的网络模型中预测其对应的显著性概率图，并将预测的显著性概率图S1通过一个sigmoid层归一化到[0,1]后作为最终输出的显著性图。优选地，步骤1中增加全局显著性估计模块的具体方法为：移除VGG-16网络最后的三个全连接层，在移除后的网络最后增加4个卷积层conv，卷积参数依次为：{256,1×1}、{256,5×5}、{256,5×5}、{1,1×1}，其中{n,k×k}的n表示卷积通道数，k表示卷积核的大小，中间两个卷积层后都附有一个非线性激活层ReLU。优选地，步骤1中全局显著性估计模块的工作过程具体为：采用显著物体检测或眼动点预测方法得到待检测图像的显著性图，然后将其缩小32倍得到待检测图像的全局显著性概率图。优选地，步骤1中残差特征学习模型获取分辨率逐渐增加的全局显著性概率图的具体方法为：11)采用反卷积层deconv将显著性概率图Si+1上采样两倍至VGG-16中第i个模块的卷积特征大小，得到显著性概率图i为VGG-16的模块索引；12)在VGG-16第i个模块的最后一个卷积层后依次增加反向注意力机制模块以及三个卷积层，所述三个卷积层卷积参数依次为：{64,3×3}、{64,3×3}、{1,3×3}，且前两个卷积层后都附有一个非线性激活层ReLU，最后一个卷积层的输出记为残差特征图Ri；13)将上采样两倍得到的显著性概率图与残差特征图Ri相加得到显著性概率图Si，具体计算公式为：优选地，步骤12)中增加的反向注意力机制模块的具体工作过程为：步骤12-1)将上采样两倍得到的显著性概率图通过一个sigmoid层归一化到[0,1]，然后与1相减得到反向权重图Wi：步骤12-2)将反向权重图Wi与VGG-16中第i个模块最后一个卷积层的每一通道分别相乘，得到加权后的特征，计算公式为：其中，Fi和分别表示加权前后的特征，⊙表示矩阵点乘，j表示卷积特征的通道索引；步骤12-3)加权之后再增加一个卷积层，卷积参数为：{64,1×1}，该卷积层的输出即为反向注意力机制模块的输出。本专利技术与现有技术相比，其显著优点为：(1)本专利技术设计了一种残差特征学习网络结构，以较少的模型参数获得高分辨率的显著性图，从而有效降低了模型冗余，使之适用于移动端等嵌入式设备；(2)本专利技术设计了一种反向注意力机制模型，通过反向权重图引导上述残差特征学习，在不增加模型参数下能够显著提升显著性图的分辨率；(3)本专利技术精度高，模型小(80MB)，还可应用于其他像素级预测任务，如语义分割、阴影检测等。下面结合附图对本专利技术做进一步详细的描述。附图说明图1为本专利技术基于卷积神经网络的轻量级显著物体检测方法的总体流程图。图2为本专利技术反向注意力机制模块的示意图图3为本专利技术中各个侧输出的显著性检测结果示例图，a-输入图像，b-真值标注，c-侧输出1的显著性图，d-侧输出2的显著图，e-侧输出3的显著性图，f-侧输出4的显著图，g-侧输出5的显著性图。具体实施方式一种基于卷积神经网络的显著物体检测方法，具体步骤为：步骤1、构建基于卷积神经网络的显著物体检测模型，具体为：在VGG-16的基础上，增加全局显著性估计模块以及残差特征学习模型，其中，所述全局显著性估计模块用于确定待检测图像的全局显著性概率图S6，且该全局显著性概率图的分辨率为输入图像的1/32；所述残差特征学习模型用于获取分辨率逐渐增加的显著性概率图；步骤2、模型训练，将待检测图像输入至构建的网络模型，得到不同分辨率的显著性概率图S6-S1，将显著性概率图S6-S2上采样至原图像大小得到显著性概率图使用交叉熵损失函数计算各个显著性概率图和真实标注图之间的误差，并将误差进行反向传递以更新整个网络模型参数；步骤3、模型检测，将待检测图像直接输入到更新后的网络模型中预测其对应的显著性概率图，并将预测的显著性概率图S1通过一个sigmoid层归一化到[0,1]后作为最终输出的显著性图。进一步的实施例中，步骤1中增加全局显著性估计模块的具体方法为：移除VGG-16网络最后的三个全连接层，在移除后的网络最后增加4个卷积层conv，卷积参数依次为：{256,1×1}、{256,5×5}、{256,5×5}、{1,1×1}，其中{n,k×k}的n表示卷积通道数，k表示卷积核的大小，中间两个卷积层后都附有一个非线性激活层ReLU。进一步的实施例中，步骤1中全局显著性估计模块的工作过程具体为：采用显著物体检测或眼动点预测方法得到待检测图像的显著性图，然后将其缩小32倍得到待检测图像的全局显著性概率图。进一步的实施例中，步骤1中残差特征学习模型获取分辨率逐渐增加的显著性概率图的具体方法为：11)采用反卷积层deconv将显著性概率图Si+1上采样两倍至VGG-16中第i个模块的卷积特征大小，得到显著性概率图i为VGG-16的模块索引；12)在VGG-16第i个模块的最后一个卷积层后依次增加反向注意力机制模块以及三个卷积层，所述三个卷积层卷积参数依次为：{64,3×3}、{64,3×3}、{1,3×3}，且前两个卷积层后都附有一个非线性激活层ReLU，最后一个卷积层的输出记为残差特征图Ri；13)将上采样两倍得到的显著性概率图与残差特征图Ri相加得到显著性概率图Si，具体计算公式为：优选地，步骤12)中增加的反向注意力机本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的显著物体检测方法，其特征在于，具体步骤为：步骤1、构建基于卷积神经网络的显著物体检测模型，具体为：在VGG‑16的基础上，增加全局显著性估计模块以及残差特征学习模型，其中，所述全局显著性估计模块用于确定待检测图像的全局显著性概率图S6，且该全局显著性概率图的分辨率为输入图像的1/32；所述残差特征学习模型用于获取分辨率逐渐增加的显著性概率图；步骤2、模型训练，将待检测图像输入至构建的网络模型，得到不同分辨率的显著性概率图S6‑S1，将显著性概率图S6‑S2上采样至原图像大小得到显著性概率图

【技术特征摘要】
1.一种基于卷积神经网络的显著物体检测方法，其特征在于，具体步骤为：步骤1、构建基于卷积神经网络的显著物体检测模型，具体为：在VGG-16的基础上，增加全局显著性估计模块以及残差特征学习模型，其中，所述全局显著性估计模块用于确定待检测图像的全局显著性概率图S6，且该全局显著性概率图的分辨率为输入图像的1/32；所述残差特征学习模型用于获取分辨率逐渐增加的显著性概率图；步骤2、模型训练，将待检测图像输入至构建的网络模型，得到不同分辨率的显著性概率图S6-S1，将显著性概率图S6-S2上采样至原图像大小得到显著性概率图使用交叉熵损失函数计算各个显著性概率图和真实标注图之间的误差，并将误差进行反向传递以更新整个网络模型参数；步骤3、模型检测，将待检测图像直接输入到更新后的网络模型中预测其对应的显著性概率图，并将预测的显著性概率图S1通过一个sigmoid层归一化到[0,1]后作为最终输出的显著性图。2.根据权利要求1所述的基于卷积神经网络的显著物体检测方法，其特征在于，步骤1中增加全局显著性估计模块的具体方法为：移除VGG-16网络最后的三个全连接层，在移除后的网络最后增加4个卷积层conv，卷积参数依次为：{256,1×1}、{256,5×5}、{256,5×5}、{1,1×1}，其中{n,k×k}的n表示卷积通道数，k表示卷积核的大小，中间两个卷积层后都附有一个非线性激活层ReLU。3.根据权利要求1所述的基于卷积神经网络的显著物体检测方法，其特征在于，步骤1中全局显著性估计模块的工作过程具体为...

【专利技术属性】
技术研发人员：陈舒涵，谭秀莉，王奔，胡学龙，
申请(专利权)人：扬州大学，
类型：发明
国别省市：江苏,32