一种基于多任务深度学习的显著目标检测方法技术

本发明专利技术属于深度学习技术领域，一种基于多任务深度学习的显著目标检测方法，提出的基于多任务的显著性目标检测网络，在现有VGG16的基础模型上，通过带有语义对比局部特征的残差模块的引入，来获取更多的局部与语义信息，然后两个任务网络的交互学习，使得两个网络能够互相学习到对方的特征，以此来补足自身特征的不足。与以往方法相比，本方法检测结果更加准确。对于多目标或者目标与背景很相似的图像，本发明专利技术方法的检测结果更加符合人类的视觉感知，得到的显著图也更加准确。此外，由于另一个目标轮廓网络对目标轮廓的敏感，使得显著目标检测结果的边缘也有很大的改善。

A salient target detection method based on Multi-task in-depth learning

【技术实现步骤摘要】
一种基于多任务深度学习的显著目标检测方法
本专利技术属于深度学习
，是计算机视觉中的一个任务，该任务叫做显著目标检测。
技术介绍
随着科技的发展，人们接收到的图像、视频等信息呈现爆炸式的增长。如何快速有效的处理图像数据成为摆在人们面前的一道亟待解决的难题。通常，人们只关注图像中吸引人眼注意的较为显著区域，即前景区域或显著目标，同时忽视背景区域。因此，人们利用计算机模拟人类视觉系统进行显著性检测。目前，显著性目标检测可以应用为计算机视觉的各个领域的一个预处理步骤，包括图像检索、图像压缩、目标识别和图像分割等。在显著性检测中，如何精准的从图像中将显著目标检测出来是一个非常重要的问题。传统的显著性检测方法存在很多不足，尤其面对比较复杂的多目标图像或者显著目标与背景之间很相似的情况时，检测的结果往往不准确。还有就是边缘细节检测不到位的问题。
技术实现思路
本专利技术要解决的技术问题是：在利用深度网络的基础上，提出一种新的显著目标检测方法，使得检测的结果更加准确。本专利技术的技术方案：一种基于多任务深度学习的显著目标检测方法，步骤如下：(1)在VGG16网络基础上增加模块分别得到显著目标检测任务网络和目标轮廓检测任务网络，显著目标检测任务网络的每个解卷积模块只包含特征交互模块和基于语义对比局部特征的残差模块；目标轮廓检测任务网络的解卷积模块只包含特征交互模块和基本卷积层；编码部分是基本的VGG16网络，是由多个卷积模块组成，一步步将图像降采样成高层特征；解码部分是由多个解卷积模块组成，每个解卷积模块将特征上采样两倍，这些解卷积模块将编码部分最高层的特征逐步上采样到原图大小，进行任务的预测；(2)在显著目标检测任务网络中的基于语义对比局部特征的残差模块；在该基于语义对比局部特征的残差模块中分别提取局部特征和语义特征；(3)为了两个任务网络很好地交互，设计特征交互模块，使得显著目标检测任务网络和目标轮廓检测任务网络相互促进；特征交互模块只用于任务网络的解码部分；为了两个任务网络的交互，对两个任务网络进行交替训练；在训练任意一个任务网络时，在该任务网络的特征交互模块中，以四个部分的特征作为输入，包括当前任务网络该特征交互模块之前的解卷积模块的输出特征St及其上采样两倍的特征Stup，与Stup大小相同的位于解码部分的卷积模块输出特征Stencoder和另一个任务网络对应解卷积模块的上采样两倍的输出特征Ctup；在特征交互模块中，先将上述提到的后三个特征按通道层面连接(concat)起来；然后对当前任务网络该特征交互模块之前的解卷积模块的输出特征St进行全局平均池化(Gap)操作得到注意力通道向量；之后对这个注意力通道向量进行1x1卷积操作使它的长度与之前连接的特征通道数相同；然后用一个sigmoid函数使向量值在0-1之间；最后用这个注意力向量对连接后特征的每个通道加权来筛选连接后的特征，使得特征交互后的特征都是对当前任务最有利的特征；(4)对于步骤(3)中的注意力向量，提出一个稀疏卷积模块，使得注意力向量变得稀疏，进一步提高模型的泛化能力；(5)对每个网络的解卷积模块的最终输出进行真值监督来训练网络；最终，采用解码网络最后一个解卷积模块的预测结果进行softmax处理后作为最终预测结果。本专利技术的有益效果：本专利技术提出的基于多任务的显著性目标检测网络，在现有VGG16的基础模型上，通过带有语义对比局部特征的残差模块的引入，来获取更多的局部与语义信息，然后两个任务网络的交互学习，使得两个网络能够互相学习到对方的特征，以此来补足自身特征的不足。与以往方法相比，本方法检测结果更加准确。对于多目标或者目标与背景很相似的图像，本专利技术方法的检测结果更加符合人类的视觉感知，得到的显著图也更加准确。此外，由于另一个目标轮廓网络对目标轮廓的敏感，使得显著目标检测结果的边缘也有很大的改善。附图说明图1是本专利技术方法的网络总体结构图。图2是本专利技术方法中的稀疏卷积模块图。图3是本专利技术方法中的语义对比局部特征残差模块图。图4是本专利技术方法具体实施在一些图像上的检测结果。具体实施方式以下结合附图和技术方案，进一步说明本专利技术的具体实施方式。本专利技术的构思是：利用多任务网络中各个任务之间的互补性来使得各个任务相互提高，最终提升显著目标检测的结果。在该网络中，除了为了多任务之间的交互提出了具有针对性的特征交互模块外，还加入了一些模块以获取更多的局部与语义信息或者提高模型的泛化能力。最后，还采取了交替训练的方式，使得两个任务能更有针对的学习对方的特征，使得最后的检测结果更加准确。本专利技术具体实施如下：一种基于多任务深度学习的显著目标检测方法，步骤如下：(1)在VGG16网络基础上增加模块分别得到显著目标检测任务网络和目标轮廓检测任务网络，显著目标检测任务网络的每个解卷积模块只包含特征交互模块和基于语义对比局部特征的残差模块；目标轮廓检测任务网络的解卷积模块只包含特征交互模块和基本卷积层；编码部分是基本的VGG16网络，是由多个卷积模块组成，一步步将图像降采样成高层特征；解码部分是由多个解卷积模块组成，每个解卷积模块将特征上采样两倍，这些解卷积模块将编码部分最高层的特征逐步上采样到原图大小，进行任务的预测；(2)在显著目标检测任务网络中的基于语义对比局部特征的残差模块；在该基于语义对比局部特征的残差模块中分别提取局部特征和语义特征，定义如下：Fout＝Fin+(fl(Fin；Wl)-fc(Fin；Wc))其中：Fin是基于语义对比局部特征的残差模块的输入特征，Fout是基于语义对比局部特征的残差模块的最终输出特征；fl(·)表示局部的卷积操作，Wl是该卷积的卷积参数；fc(·)表示提取语义的卷积操作，Wc是该卷积的参数；通过对得到的局部特征和语义特征进行相减来得到对比特征，再将对比特征与原特征相加得到最后的输出特征；(3)为了两个任务网络很好地交互，设计特征交互模块，使得显著目标检测任务网络和目标轮廓检测任务网络相互促进；特征交互模块只用于任务网络的解码部分；为了两个任务网络的交互，对两个任务网络进行交替训练；在训练任意一个任务网络时，在该任务网络的特征交互模块中，以四个部分的特征作为输入，包括当前任务网络该特征交互模块之前的解卷积模块的输出特征St及其上采样两倍的特征Stup，与Stup大小相同的位于解码部分的卷积模块输出特征Stencoder和另一个任务网络对应解卷积模块的上采样两倍的输出特征Ctup；在特征交互模块中，先将上述提到的后三个特征按通道层面连接起来；然后对当前任务网络该特征交互模块之前的解卷积模块的输出特征St进行全局平均池化操作得到注意力通道向量；之后对这个注意力通道向量进行1x1卷积操作使它的长度与之前连接的特征通道数相同；然后用一个sigmoid函数使向量值在0-1之间；最后用这个注意力向量对连接后特征的每个通道加权来筛选连接后的特征，使得特征交互后的特征都是对当前任务最有利的特征，具体定义为：(4)对于步骤(3)中的注意力向量，提出一个稀疏卷积模块，使得注意力向量变得稀疏，进一步提高模型的泛化能力；(5)对每个网络的解卷积模块的最终输出进行真值监督来训练网络；最终，采用解码网络最后一个解卷积模块的预测结果进行softmax处理后作为最本文档来自技高网...

【技术保护点】
1.一种基于多任务深度学习的显著目标检测方法，其特征在于，步骤如下：(1)在VGG16网络基础上增加模块分别得到显著目标检测任务网络和目标轮廓检测任务网络，显著目标检测任务网络的每个解卷积模块只包含特征交互模块和基于语义对比局部特征的残差模块；目标轮廓检测任务网络的解卷积模块只包含特征交互模块和基本卷积层；编码部分是基本的VGG16网络，是由多个卷积模块组成，一步步将图像降采样成高层特征；解码部分是由多个解卷积模块组成，每个解卷积模块将特征上采样两倍，这些解卷积模块将编码部分最高层的特征逐步上采样到原图大小，进行任务的预测；(2)在显著目标检测任务网络中的基于语义对比局部特征的残差模块；在该基于语义对比局部特征的残差模块中分别提取局部特征和语义特征，定义如下：Fout＝Fin+(fl(Fin；Wl)‑fc(Fin；Wc))其中：Fin是基于语义对比局部特征的残差模块的输入特征，Fout是基于语义对比局部特征的残差模块的最终输出特征；fl(·)表示局部的卷积操作，Wl是该卷积的卷积参数；fc(·)表示提取语义的卷积操作，Wc是该卷积的参数；通过对得到的局部特征和语义特征进行相减来得到对比特征，再将对比特征与原特征相加得到最后的输出特征；(3)为了两个任务网络很好地交互，设计特征交互模块，使得显著目标检测任务网络和目标轮廓检测任务网络相互促进；特征交互模块只用于任务网络的解码部分；为了两个任务网络的交互，对两个任务网络进行交替训练；在训练任意一个任务网络时，在该任务网络的特征交互模块中，以四个部分的特征作为输入，包括当前任务网络该特征交互模块之前的解卷积模块的输出特征St及其上采样两倍的特征St...

【技术特征摘要】
1.一种基于多任务深度学习的显著目标检测方法，其特征在于，步骤如下：(1)在VGG16网络基础上增加模块分别得到显著目标检测任务网络和目标轮廓检测任务网络，显著目标检测任务网络的每个解卷积模块只包含特征交互模块和基于语义对比局部特征的残差模块；目标轮廓检测任务网络的解卷积模块只包含特征交互模块和基本卷积层；编码部分是基本的VGG16网络，是由多个卷积模块组成，一步步将图像降采样成高层特征；解码部分是由多个解卷积模块组成，每个解卷积模块将特征上采样两倍，这些解卷积模块将编码部分最高层的特征逐步上采样到原图大小，进行任务的预测；(2)在显著目标检测任务网络中的基于语义对比局部特征的残差模块；在该基于语义对比局部特征的残差模块中分别提取局部特征和语义特征，定义如下：Fout＝Fin+(fl(Fin；Wl)-fc(Fin；Wc))其中：Fin是基于语义对比局部特征的残差模块的输入特征，Fout是基于语义对比局部特征的残差模块的最终输出特征；fl(·)表示局部的卷积操作，Wl是该卷积的卷积参数；fc(·)表示提取语义的卷积操作，Wc是该卷积的参数；通过对得到的局部特征和语义特征进行相减来得到对比特征，再将对比特征与原特征相加得到最后的输出特征；(3)为了两个任务网络很好地交互，设计特征交互模块，使得显著目标...

【专利技术属性】
技术研发人员：张立和，吴杰，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21