基于链式多尺度全卷积网络的显著性目标检测方法技术

本发明专利技术公开了一种基于链式多尺度全卷积网络的显著性目标检测方法，所述方法步骤如下：对于一张图片I，先将其调整成不同尺度的一系列图片：{I1，I2，···，Im}作为多个SSFCN的输入；不同尺度的SSFCNi‑1对应的输入为X＝{I1，I2，···，Im}，输出为Y＝{M1，M2，···，Mm}，传到下一个SSFCN网络的状态S＝{S1，S2，···，Sm}；将SSFCNi‑1的输出大小调整到Ii的大小与Ii一起作为SSFCNi的输入，将SSFCNi‑1的最后一个反卷积层的输出大小调整到Ii的大小和SSFCNi‑1的最后一个反卷积层的输出进行融合；将所有SSFCN的结果调整到与输入图像I相同大小，用一个简单的卷积网络整合得到最终的显著性图像。本发明专利技术可以很好的进行显著性目标检测，并在多个数据库上取得了最好的结果。

【技术实现步骤摘要】
基于链式多尺度全卷积网络的显著性目标检测方法
本专利技术涉及一种显著性目标检测方法，尤其涉及一种基于链式多尺度全卷积网络(CMSFCN)的显著性目标检测方法。
技术介绍
显著性检测的目的在于通过设计算法，使用计算机自动地从图像中提取出区分能力强的特征来表征图像中像素或区域的属性。随着显著性检测技术的进步，在图像处理和计算机视觉领域中，越来越多的应用都开始利用显著性检测的结果来提高它们的性能，比如图像分割、图像裁剪、目标检测、图像检索等等。然而，效果不佳的显著性检测结果将直接影响上述基于显著性检测的相关应用的性能，从而在一定程度上限制了显著性检测方法的应用范畴和应用效果。
技术实现思路
为了更好的进行显著性检测，本专利技术基于单尺度全卷积网络(SSFCN)的方法，提供了一种基于链式多尺度全卷积网络的显著性目标检测方法。本专利技术的方法可以很好的进行显著性目标检测，并在多个数据库上取得了最好的结果。本专利技术的目的是通过以下技术方案实现的：一种基于链式多尺度全卷积网络的显著性目标检测方法，包括如下步骤：一、对于一张图片I，先将其调整成不同尺度的一系列图片：{I1，I2，···，Im}作为多个SSFCN的输入，设定Ii(i＝1，2，···，m)为2(i+5)×2(i+5)，相对应的设置SSFCNi的卷积模块和反卷积模块的数量为ni＝i+5；二、在卷积模块，当j≤m时，第j个卷积层输出的特征层数为64×2i，其余的卷积层输出为512，对应的反卷积层输出的特征层数与卷积层相同，最后一个反卷积层输出的特征层数为1；三、将不同尺度的SSFCN加上下标：SSFCN1，SSFCN2，···，SSFCNi，其中SSFCNi表示输入图像为Ii＝2(i+5)×2(i+5)的SSFCN，它们对应的输入为X＝{I1，I2，···，Im}，输出为Y＝{M1，M2，···，Mm}，传到下一个SSFCN网络的状态S＝{S1，S2，···，Sm}，其中Si＝(Fi，Mi)，包括SSFCNi网络的输出(Fi)和最后一个反卷积层的输出(Mi)；四、对于第一个SSFCN1：S1＝SSFCN1(I1)，其余的SSFCNi：Si＝SSFCNi(Ii，Si-1)；五、当i≥2时，将SSFCNi-1的输出Mi-1的大小调整到Ii的大小与Ii一起作为SSFCNi的输入，将SSFCNi-1的最后一个反卷积层的输出Fi-1的大小调整到Ii的大小和SSFCNi-1的最后一个反卷积层的输出Fi-1进行融合；六、将所有SSFCN的结果调整到与输入图像I相同大小，用一个简单的卷积网络整合得到最终的显著性图像。本专利技术具有如下优点：整个过程利用一个神经网络进行图像显著性检测，检测速度在经过一个快速算法后可以达到25fps，并且较现有的图像显著性检测方法显著性图像边缘清晰，具有良好的鲁棒性。附图说明图1为不同的基于CNN的显著性检测的方法的速度和加权F值比较图。图2为单尺度全卷积网络示意图，其中漏斗形网络前半部分为卷积模块，后半部分为反卷积模块，中间虚线为跨层连接。图3为链式多尺度全卷积网络单个SSFCN示意图，其中漏斗形网络前半部分为卷积模块，后半部分为反卷积模块，中间虚线为跨层连接，M为SSFCN输出，F为SSFCN最后一个反卷积层输出。图4为链式多尺度全卷积网络整体示意图，I为不同尺度输入，M为SSFCN输出。图5为链式多尺度全卷积网络多尺度SSFCN输出结果，(a)是原图，(b)是真实显著性图，(c)～(f)是不同尺度SSFCN输出显著性图。图6为多个基于CNN的网络与本专利技术方法的对比实验结果。图7为多个基于CNN的网络与本专利技术方法在5个数据库上的P-R曲线，其中：横向为五个不同数据库上的结果，纵向分别为P-R曲线、F-T曲线、平均F值、加权F值、精确率、召回率柱状图。具体实施方式下面结合附图对本专利技术的技术方案作进一步的说明，但并不局限于此，凡是对本专利技术技术方案进行修改或者等同替换，而不脱离本专利技术技术方案的精神和范围，均应涵盖在本专利技术的保护范围中。本专利技术提供了一种基于链式多尺度全卷积网络的显著性目标检测方法，具体内容如下：一、单尺度全卷积网络(Single-scalefullyconvolutionalnetworkSSFCN)为了获取到显著性区域的全局深度信息，需要设计的网络比较深并且有多个网络层用于多步调整。如图2所示，本专利技术设计的SSFCN网络用连续多个卷积层模块进行深度特征提取，每一个卷积层模块在MAX_POOLING层后用卷积核为4×4、步长为2的卷积网络层代替卷积核为3×3、步长为1的卷积层，使用较大的卷积核是为了获取更大的感受野，堆叠多个这样的卷积层模块使得CNN网络学习到全局的、感受野较大的深层特征。但是，只是使用这样的特征生成的图像往往比较模糊，边缘信息不明确。为了解决这个问题，我们使用了连续多个反卷积模块和跨层连接的方法用于细化卷积层得到的较为模糊的特征。具体的方法如下：在最后一个卷积层加入多个卷积核为4×4、步长为2的反卷积层(使得得到的特征放大两倍)用于逐步细化并放大连续卷积模块后的结果，直到得到与输入图像相同大小的结果为止。在反卷积层之前用跨层连接的方法将相应的卷积模块得到的特征和上一个反卷积的结果整合作为反卷积层的输入，这样做的目的是将高层的深度特征信息与底层的特征信息进行整合进而形成有高区分性的特征信息用于显著性目标的检测。对于一张输入为2n×2n的图像，共设置n个卷积模块的同等数量的反卷积模块。二、简单多尺度全卷积网络(Simplemulti-scalefullyconvolutionalnetworkSMSFCN)由于SSFCN网络的输入有一定的限制，输入必须是2n×2n，对于不同尺度的图像显然是不合适的。为了解决这个问题，一个直观的想法是将输入图像调整成不同尺度，然后将其输入到SSFCN网络中，然后将这些网络得到的不同尺度的显著性图像调整到与输入图像相同大小，最后将其整合到一起作为最终输出的显著性图像。我们把这样的网络称之为简单多尺度全卷积网络。三、链式多尺度全卷积网络(Chainedmulti-scalefullyconvolutionalnetworkCMSFCN)虽然SMSFCN网络的性能比SSFCN网络的性能要好，但是这样简单的将多个SSFCN的结果整合的方法并没有充分利用到多个SSFCN网络中间结果，于是提出了CMSFCN网络的方法。CMSFCN网络将多个SSFCN网络的中间结果用跨层连接的方式连起来，为SSFCN网络提供更多的特征信息，当前SSFCN网络的输入将不仅仅是原图像的输入，还有上一个(更小尺度)的SSFCN网络的状态。对于一张图片I，需要先将其调整成不同尺度的一系列图片：{I1，I2，···，Im}作为多个SSFCN的输入，在实验中我们发现将m设置为4时能够在复杂度较小的情况下取得很好的性能，当m>4时，整个网络的复杂度会很高但对网络的性能提高不大，需要调整到的Ii(i＝1，2，···，m)的大小，Ii的大小我们设定为2(i+5)×2(i+5)，相对应的设置SSFCNi的卷积模块和反卷积模块的数量为ni＝i+5，例如，当i＝3时，输入图像调整到256×256，相对应的设置SSFCN3的卷积模块和反本文档来自技高网...

【技术保护点】
一种基于链式多尺度全卷积网络的显著性目标检测方法，其特征在于所述方法步骤如下：一、对于一张图片I，先将其调整成不同尺度的一系列图片：{I1，I2，···，Im}作为多个SSFCN的输入，设定Ii为2

【技术特征摘要】
1.一种基于链式多尺度全卷积网络的显著性目标检测方法，其特征在于所述方法步骤如下：一、对于一张图片I，先将其调整成不同尺度的一系列图片：{I1，I2，···，Im}作为多个SSFCN的输入，设定Ii为2(i+5)×2(i+5)，相对应的设置SSFCNi的卷积模块和反卷积模块的数量为ni＝i+5，i＝1，2，···，m；二、在卷积模块，当j≤m时，第j个卷积层输出的特征层数为64×2i，其余的卷积层输出为512，对应的反卷积层输出的特征层数与卷积层相同，最后一个反卷积层输出的特征层数为1；三、将不同尺度的SSFCN加上下标：SSFCN1，SSFCN2，···，SSFCNi，其中SSFCNi表示输入图像为Ii＝2(i+5)×2(i+5)的SSFCN，它们对应的输入为X＝{I1，I2，···，Im}，输出为Y＝{M1，M2，···，Mm}，传到下一个SSFCN网络的状态S＝{S1，S2，···，Sm}，其中Si＝(Fi，Mi)，包括SSFCNi网络的输出Fi和最后一个反卷积层的输出Mi；四、对于第一个SSFCN1：S1＝SSFCN1(I1)，其余的SSFCNi：Si＝SSFCNi(Ii，Si-1)；五、当i≥2时，将SSFCNi-1的输出Mi-1的大小调整到Ii的大小与Ii一起作为SSFCNi的输入，将SSFCNi-1的...

【专利技术属性】
技术研发人员：邬向前，卜巍，唐有宝，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23