一种使用过滤融合的图像显著目标检测方法技术

本发明专利技术公开了一种使用过滤融合的图像分割方法，首先使用编码器网络对图像编码，编码后能够获得m个层级的特征；然后在解码器中使用过滤融合模块融合特征。将高一层级特征conv后sigmoid，然后升采样作为权重乘以当前层级特征，作为当前层级过滤后的特征，然后将高一层级特征升采样后conv处理，然后与该特征在通道维连接，并用conv处理，得到当前层级融合后的特征；最后使用损失函数对该网络模型优化；本发明专利技术所述的方法，可以提高图像显著目标检测的效果。通过过滤融合模块的使用，可以有效融合不同层级特征。合不同层级特征。合不同层级特征。

【技术实现步骤摘要】
一种使用过滤融合的图像显著目标检测方法


[0001]本专利技术涉及图像处理
，具体的说涉及一种图像显著目标检测方法。

技术介绍

[0002]图像显著目标检测是指计算机自动的分割出图像中的显著目标。该技术的应用场景非常广泛，比如用于图片压缩，或者作为目标识别、语义分割、目标跟踪等的预处理任务。
[0003]为了获得准确的图像显著目标分割结果，传统的解决方案是手工设计一种特征提取方法，然后根据该特征进行按照像素分类。
[0004]已有的图像显著目标分割方法，不能有效融合不同层级的特征，导致分割准确度不是很高。因此，本文提出能有效融合不同层级特征的方法。

技术实现思路

[0005]本专利技术所要解决的技术问题是：针对一张图像，如何使用计算机自动分割出图像中的显著目标，本专利技术提出了一种使用过滤融合的图像分割方法。
[0006]本专利技术的方法是在图像解码过程中，使用过滤融合模块，从而更好的分割图像中的显著目标。
[0007]一种使用过滤融合的图像分割方法，具体包括以下步骤：
[0008]步骤(1).使用编码器网络对图像编码，编码后能够获得m个层级的特征；
[0009]步骤(2).在解码器中使用过滤融合模块融合特征。将高一层级特征conv后sigmoid，然后升采样作为权重乘以当前层级特征，作为当前层级过滤后的特征，然后将高一层级特征升采样后conv处理，然后与该特征在通道维连接，并用conv处理，得到当前层级融合后的特征；
[0010]步骤(3).使用损失函数对该网络模型优化；
[0011]进一步的，所述的步骤(1)具体方法如下：
[0012]使用在ImageNet上预训练的Resnet34网络编码图像特征。Resnet34的网络参数如表1所示。从中取出conv2_x、conv3_x、conv4_x、conv5_x的输出特征作为编码器4个层级的输出。已知输入特征为(H,W,3)，括号内前2个数表示分辨率，最后一个数表示通道数。则conv2_x的输出特征为(H/4,W/4,64),conv3_x的输出特征为(H/8,W/8,128),conv4_x的输出特征为(H/16,W/16,256),conv5_x的输出特征为(H/32,W/32,512)。
[0013]表1 Resnet34网络参数
[0014][0015]步骤(2)具体方法如下：
[0016]在解码器中使用过滤融合模块对特征融合。过滤融合模块包括过滤融合1、过滤融合2和过滤融合3三个部分。过滤融合1的操作如下：将conv5_x的特征使用1*1conv变换为(H/32,W/32,1)，并使用sigmoid函数激活。然后使用显著图标签对其监督。将激活后的值使用双线性插值升采样到(H/16,W/16,1)，并按照对应像素位置点乘conv4_x的特征，实现对conv4_x特征的过滤，将conv5_x的特征使用双线性插值升采样并使用3*3conv变换为(H/16,W/16,256)，并与conv4_x过滤后的特征在通道维连接为(H/16,W/16,512)，然后使用1*1conv变换为(H/16,W/16,256)。过滤融合2、过滤融合3的操作过程与过滤融合1相同。过滤融合2的输入特征为过滤融合1的输出(H/16,W/16,256)和Conv3_x的输出(H/8,W/8,128)，它的输出为(H/8,W/8,128)。过滤融合3的输入特征为过滤融合2的输出(H/8,W/8,128)和Conv2_x的输出(H/4,W/4,64)，它的输出为(H/4,W/4,64)。将该特征使用1*1conv变换为(H/4,W/4,1)，并使用sigmoid函数激活。然后将激活值使用双线性插值升采样4倍作为网络的预测显著图。
[0017]进一步的，所述的步骤(3)具体方法如下：
[0018]该网络的损失函数为
[0019]L＝L
bce
(P,G)
[0020]上式中，P是显著图预测结果，G是显著图的标签。L
bce
是二值交叉熵损失，计算方法如下
[0021][0022]上式中，i表示图像中第i个像素，n表示图像中共有n个像素，P是显著图的预测结果，G是标签。
[0023]使用上述的损失函数作为优化目标，使损失函数最小化，对网络模型优化，得到网络中的参数值。
[0024]本专利技术的有益效果如下：
[0025]本专利技术所述的方法，可以提高图像显著目标检测的效果。通过过滤融合模块的使用，可以有效融合不同层级特征。
附图说明
[0026]图1为本专利技术的显著目标检测网络框图；
[0027]图2为本专利技术的在解码器中使用的过滤融合模块。
具体实施方式
[0028]以下结合附图，对本专利技术进行进一步的详细说明。
[0029]本专利技术提出的一种使用过滤融合的图像显著目标检测方法，针对一张图像，使用计算机自动分割出图像中的显著目标。
[0030]如图1所示，本专利技术所述方法包括以下步骤：
[0031]步骤(1)具体方法如下：
[0032]使用在ImageNet上预训练的Resnet34网络编码图像特征。Resnet34的网络参数如表1所示。从中取出conv2_x、conv3_x、conv4_x、conv5_x的输出特征作为编码器4个层级的输出。已知输入特征为(H,W,3)(括号内前2个数表示分辨率，最后一个数表示通道数)。则conv2_x的输出特征为(H/4,W/4,64),conv3_x的输出特征为(H/8,W/8,128),conv4_x的输出特征为(H/16,W/16,256),conv5_x的输出特征为(H/32,W/32,512)。
[0033]表1 Resnet34网络参数
[0034][0035]步骤(2)具体方法如下：
[0036]在解码器中使用过滤融合模块对特征融合。过滤融合模块包括过滤融合1、过滤融合2和过滤融合3三个部分。过滤融合模块如图2所示。对过滤融合1，将conv5_x的特征使用1*1conv变换为(H/32,W/32,1)，并使用sigmoid函数激活。然后使用显著图标签对其监督。将激活后的值使用双线性插值升采样到(H/16,W/16,1)，并按照对应像素位置点乘conv4_x的特征，实现对conv4_x特征的过滤，将conv5_x的特征使用双线性插值升采样并使用3*3conv变换为(H/16,W/16,256)，并与conv4_x过滤后的特征在通道维连接为(H/16,W/16,512)，然后使用1*1conv变换为(H/16,W/16,256)。至此过滤融合1的操作过程结束。过滤融合2、过滤融合3的操作过程与过滤融合1相同。过滤融合2的输入特征为过滤融合1的输出(H/16,W/16,256)和Conv3_x的输出(H/8,W/8,128)，它的输出为(H/8,W/8,128)。过滤融合3的输入特征为过滤融合2的输出(H/8,W/本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种使用过滤融合的图像分割方法，其特征在于，具体包括以下步骤：步骤(1).使用编码器网络对图像编码，编码后能够获得m个层级的特征；步骤(2).在解码器中使用过滤融合模块融合特征；将高一层级特征conv后sigmoid，然后升采样作为权重乘以当前层级特征，作为当前层级过滤后的特征，然后将高一层级特征升采样后conv处理，然后与该特征在通道维连接，并用conv处理，得到当前层级融合后的特征；步骤(3).使用损失函数对该网络模型优化。2.根据权利要求1所述的一种使用过滤融合的图像分割方法，其特征在于，进一步的，所述的步骤(1)具体方法如下：使用在ImageNet上预训练的Resnet34网络编码图像特征；Resnet34的网络参数如表1所示；从中取出conv2_x、conv3_x、conv4_x、conv5_x的输出特征作为编码器4个层级的输出；已知输入特征为(H,W,3)，括号内前2个数表示分辨率，最后一个数表示通道数；则conv2_x的输出特征为(H/4,W/4,64),conv3_x的输出特征为(H/8,W/8,128),conv4_x的输出特征为(H/16,W/16,256),conv5_x的输出特征为(H/32,W/32,512)；表1 Resnet34网络参数3.根据权利要求2所述的一种使用过滤融合的图像分割方法，其特征在于，进一步的，步骤(2)具体方法如下：在解码器中使用过滤融合模块对特征融合；过滤融合模块包括过滤融合1、过滤融合2和过滤融合3三个部分；过滤融合1的操作如下：将conv5_x的特征使用1*1conv变换为(H/32,W/32,1)，并使用sigm...

【专利技术属性】
技术研发人员：张继勇，吕成涛，颜成钢，孙垚棋，李宗鹏，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：