一种使用自适应特征融合的RGB-D显著目标检测方法技术

本发明专利技术公开了一种使用自适应特征融合的RGB

【技术实现步骤摘要】
一种使用自适应特征融合的RGB
‑
D显著目标检测方法


[0001]本专利技术涉及图像处理
，具体的说涉及一种RGB
‑
D显著目标检测方法。

技术介绍

[0002]图像显著目标检测是指计算机自动的分割出图像中的显著目标。该技术的应用场景非常广泛，比如用于图片压缩，或者作为目标识别、语义分割、目标跟踪等的预处理任务。
[0003]为了获得准确的图像显著目标分割结果，传统的解决方案是手工设计一种特征提取方法，然后根据该特征进行按照像素分类。
[0004]已有的RGB
‑
D显著目标检测方法，在解码器阶段不能有效融合RGB和Depth 2个数据流的特征，导致分割准确度不是很高。因此，本文提出能有效融合2个数据流特征和数据流内特征的方法。

技术实现思路

[0005]本专利技术所要解决的技术问题是：针对一张图像，如何使用计算机自动分割出图像中的显著目标，本专利技术提出了一种使用自适应特征融合的RGB
‑
D显著目标分割方法。
[0006]本专利技术的方法是在图像的解码过程中，使用数据流内自适应特征融合和数据流间特征融合方法，从而更好的分割图像中的显著目标。
[0007]一种使用自适应特征融合的RGB
‑
D显著目标检测方法，包括以下步骤：
[0008]步骤(1).使用2个结构相同的编码器网络分别对RGB图像和Depth图像这2个数据流编码，编码后对2个数据流分别获得m个层级的特征；r/>[0009]步骤(2).在RGB和Depth两个数据流的解码过程中分别使用自适应特征融合。
[0010]步骤(3).在联合数据流中对2个数据流的特征融合。
[0011]步骤(4).使用损失函数对该网络模型优化；
[0012]进一步的，所述的步骤(2)的自适应特征融合，具体操作如下：
[0013]将高一层级特征升采样后使用conv，并与当前层级特征在通道维连接，然后送入到全局平均池化模块，然后使用conv和softmax求出2个通道的权重值，并分别与2个特征相乘后求和，得到融合后的特征；
[0014]进一步的，所述的步骤(3)在联合数据流中对2个数据流的特征融合，具体操作如下：
[0015]首先将同层级的RGB解码器和Depth解码器的输出进行融合，再与高一层级联合数据流的输出融合。将同层级RGB解码器和Depth解码器的输出使用conv和sigmoid处理，得到2个权重值，使用这2个权重值分别对RGB解码器和Depth解码器的输出进行加权并求和，然后将高一层级联合解码器的输出升采样并使用conv处理后，与该特征在通道维连接，并使用conv处理，得到当前层级联合解码器的融合特征；
[0016]进一步的，所述的步骤(4)的具体方法如下：
[0017]该网络的损失函数为
[0018]L＝L
bce
(P
R
,G)+L
bce
(P
D
,G)+L
bce
(P
J
,G)
[0019]上式中，P
R
是RGB数据流的显著图预测结果，P
D
是Depth数据流的显著图预测结果，P
J
是联合分支的显著图预测结果，G是显著图的标签。L
bce
是二值交叉熵损失，计算方法如下
[0020][0021]上式中，i表示图像中第i个像素，n表示图像中共有n个像素，X是显著图的预测结果，G是标签。
[0022]使用上述的损失函数作为优化目标，使损失函数最小化，对网络模型优化，得到网络中的参数值。
[0023]本专利技术的有益效果如下：
[0024]本专利技术所述的方法，可以提高RGB
‑
D显著目标检测的效果。通过使用自适应特征融合，可以有效融合数据流内不同层级的特征。通过使用数据流间特征融合方法，可以有效融合2个数据流的特征。
附图说明
[0025]图1为本专利技术的显著目标检测网络；
[0026]图2为本专利技术的单个数据流内自适应特征融合模块；
[0027]图3为本专利技术的数据流间特征融合模块。
具体实施方式
[0028]以下结合附图，对本专利技术进行进一步的详细说明。
[0029]本专利技术提出的一种使用自适应特征融合的RGB
‑
D显著目标检测方法，针对一张图像，使用计算机自动分割出RGB
‑
D中的显著目标。
[0030]如图1所示，本专利技术所述方法包括以下步骤：
[0031]步骤(1)具体方法如下：
[0032]对于RGB和深度图2个数据流，分别使用在ImageNet上预训练的2个Resnet34网络编码其特征。Resnet34的网络参数如表1所示。对于2个数据流，分别从中取出conv2_x、conv3_x、conv4_x、conv5_x的输出特征作为编码器4个层级的输出。已知RGB图输入特征为(H,W,3)(括号内前2个数表示分辨率，最后一个数表示通道数)，Depth图特征为(H,W,1)，先将其在通道维复制3份，得到与RGB图大小相同的特征(H,W,3)。接下来2个数据流在相同层级的输出特征大小相同。conv2_x的输出特征为(H/4,W/4,64),conv3_x的输出特征为(H/8,W/8,128),conv4_x的输出特征为(H/16,W/16,256),conv5_x的输出特征为(H/32,W/32,512)。
[0033]表1Resnet34网络参数
[0034][0035][0036]步骤(2)具体方法如下：
[0037]对于2个数据流，分别进行数据流内特征融合。首先分别使用1*1conv将conv2_x、conv3_x、conv4_x、conv5_x的输出特征通道变换为64。对同一数据流内不同层级特征融合使用数据流内自适应特征融合模块。RGB数据流内特征融合使用RGB decoder5、RGB decoder4、RGB decoder3、RGB decoder2模块。Depth数据流内特征融合使用Depth decoder5、Depth decoder4、Depth decoder3、Depth decoder2模块。数据流内自适应特征融合模块结构如图2所示。RGB decoder5对特征不做处理，即输出和输入特征相同。对于RGB decoder4，将RGB decoder5的输出特征使用双线性插值升采样2倍，并使用3*3conv处理，得到特征图为(H/16,W/16,64)，然后将其与Conv4_x的特征在通道维连接为(H/16,W/16,128)。然后使用全局平均池化变换为(1,1,128)，然后使用1*1conv将通道变换为2，然后使用softmax在通道维归一化。归一化之后第一个通道对应第一个特征的权重值，第二个通道对应第二个特征的权重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种使用自适应特征融合的RGB
‑
D显著目标检测方法，其特征在于，包括以下步骤：步骤(1).使用2个结构相同的编码器网络分别对RGB图像和Depth图像这2个数据流编码，编码后对2个数据流分别获得m个层级的特征；步骤(2).在RGB和Depth两个数据流的解码过程中分别使用自适应特征融合；步骤(3).在联合数据流中对2个数据流的特征融合；步骤(4).使用损失函数对该网络模型优化。2.根据权利要求1所述的一种使用自适应特征融合的RGB
‑
D显著目标检测方法，其特征在于，所述的步骤(2)的自适应特征融合，具体操作如下：将高一层级特征升采样后使用connv，并与当前层级特征在通道维连接，然后送入到全局平均池化模块，然后使用conv和softmax求出2个通道的权重值，并分别与2个特征相乘后求和，得到融合后的特征。3.根据权利要求2所述的一种使用自适应特征融合的RGB
‑
D显著目标检测方法，其特征在于，所述的步骤(3)在联合数据流中对2个数据流的特征融合，具体操作如下：首先将同层级的RGB解码器和Depth解码器的输出进行融合，再与高一层级联合数据流的输出融合；将同层级RGB解码器和Depth解码器的输出使用conv和sig...

【专利技术属性】
技术研发人员：张继勇，吕成涛，颜成钢，孙垚棋，李宗鹏，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：