基于双流编码和交互解码的显著性检测网络系统技术方案

本发明专利技术公开了一种基于双流编码和交互解码的显著性检测网络系统，该系统包括依序连接的总数据集合、双流编码模块、交互解码模块和融合模块；所述编码模块由主体区域特征提取网络和边界特征提取网络构成，实现原始图像特征的特征提取，进而实现原始图像的边界提取；所述交互解码模块由边界检测网络和主体检测网络组成，利用边界检测网络与主体检测网络共同实现针对不同的任务进行网络训练；融合模块，从解码得到的多尺度主体特征图上采样原图像的尺度，对主体区域特征图进行通道堆叠、卷积映射等操作，得到最终显著性检测结果。与现有技术相比，本发明专利技术对多目标和复杂场景的检测结果更出色，检测结果更完整，降低了显著性检测技术的平均绝对误差。技术的平均绝对误差。技术的平均绝对误差。

【技术实现步骤摘要】
基于双流编码和交互解码的显著性检测网络系统


[0001]本专利技术涉及计算机视觉和图像处理领域，特别是涉及一种基于双流编码和交互解码的显著性检测网络。

技术介绍

[0002]随着图像数据急剧增长，如何准确、高效地分析并处理图像信息是现如今计算机视觉领域要解决的首要问题，图像的显著性检测正是为解决该问题而产生的一个重点研究方向。
[0003]目前，基于卷积神经网络的大部分显著性检测方法依据CNN(卷积神经网路)构建编码
‑
解码结构的网络，在编码阶段使用预训练的深度神经网络(VGG)或ResNet(残差网络)提取图像特征，在解码阶段通过侧向连接对特征图进行传递、融合，得到显著图(显示每个像素独特性的图像)。编码
‑
解码结构和侧向连接在一定程度上降低了信息的丢失，提升了检测的精度，但现有方法中特征提取网络往往采用共享的编码器，导致边界信息丢失；同时，主体检测网络和边界检测网络之间特征传递易形成误差闭环，导致网络误差累积及显著性区域缺失。另外，检测网络中多次使用卷积和采样运算，易破坏显著目标的边界结构和局部纹理。

技术实现思路

[0004]针对现有技术中存在的特征提取不充分且没有检测显著目标边界因而导致检测结果部分显著区域缺失、显著目标边界误差等问题，本专利技术提出一种基于双流编码和交互解码的显著性检测网络系统，构建双流编码器分别用于区域特征和边界特征提取以消除域间差异和误差闭环；所构建的交互解码网络将区域特征和边界特征进行互补融合，并设计位置指导模块和边界补偿模块进行细化，以恢复缺失的位置和边界信息；融合阶段将多尺度区域特征相融合得到显著性检测结果。
[0005]本专利技术利用以下的技术方案来实现：
[0006]一种基于双流编码和交互解码的显著性检测网络系统，该系统包括依序连接的总数据集合、双流编码模块、交互解码模块和融合模块；其中：
[0007]所述总数据集合包括训练集、测试集；
[0008]所述双流编码模块和所述交互解码模块区域
‑
边界互补融合网络，所述编码模块由主体区域特征提取网络和边界特征提取网络构成；实现原始图像特征的特征提取，进而实现原始图像的边界提取；
[0009]所述交互解码模块由边界检测网络和主体检测网络组成，利用边界检测网络与主体检测网络共同实现了针对不同的任务进行网络训练；
[0010]融合模块，从解码得到的多尺度主体特征图上采样到原图像的尺度，对主体区域特征图进行通道堆叠、卷积映射操作，以得到最终的显著性检测结果。
[0011]不同于现有参数共享编码方式，本专利技术能够达成以下技术效果：
[0012]1)能够消除域间差异和误差闭环，恢复缺失的位置和边界信息，将多尺度区域特征相融合得到显著性检测结果；
[0013]2)对多目标和复杂场景的检测结果更加出色，相比其它大部分方法的检测结果更加完整，减少了部分显著区域缺失；
[0014]3)降低了显著性检测技术的平均绝对误差。
附图说明
[0015]图1为本专利技术的基于双流编码和交互解码的显著性检测系统的检测方法整体流程示意图；
[0016]图2为双流编码模块和交互解码模块所构成的区域
‑
边界互补融合网络结构；
[0017]图3为第二级的交互结构；
[0018]图4为融合输出网络；
[0019]图5为特征滤波模块结构图，(a)空间滤波，(b)通道滤波；
[0020]图6为本专利技术与主流检测方法的主观对比示意图。
具体实施方式
[0021]以下结合附图和具体实施例对本专利技术的技术方案进行详细说明。
[0022]如图1、图2所示，为本专利技术的基于双流编码和交互解码的显著性检测网络系统整体流程示意图。该系统包括总数据集合100、双流编码模块200、交互解码模块300、融合模块400。其中：
[0023]总数据集合100包括训练集、测试集：使用了公共数据集DUTS，DUTS是最大的、场景复杂、内容丰富的显著性检测数据集，有10553张训练图像(DUTS
‑
TR)和5019张测试图像(DUTS
‑
TE)，其中所有的训练图像来自ImageNet的训练集和验证集，而测试图像来自ImageNet的测试集和SUN数据集；
[0024]如图2所示，为本专利技术的双流编码模块和交互解码模块所构成的区域
‑
边界互补融合网络结构示意图。编码模块200由主体区域特征提取网络和边界特征提取网络构成。主体区域特征提取网络将原始图像作为输入，记为I。边界特征提取网络根据原始图像像素值及空间距离进行聚类，实现原始图像的边界提取，聚类结果(提取到的原始图像的边界)作为边界特征提取网络的输入，记为E。所述编码模块采用独立双流编码器，可以有效避免现有方法采用共享编码器带来的误差累积和显著性区域缺失等。所述主体特征提取网络由五个串联的残差卷积块组成，使用经ImageNet数据集预训练的ResNet进行图像特征的提取，得到五阶初始主体特征{R
i
}，i＝1,2,3,4,5；所述边界特征提取网络由五阶最大化采样层构成，得到初始边界特征{B
i
}，i＝1,2,3,4,5，表达式如下：
[0025][0026]其中，H
FE,i
(
·
)表示第i个特征的提取函数，H
pooling,i
(
·
)表示第i个特征的最大化采样函数，I表示主体区域特征提取网络的输入，E表示边界特征提取网络的输入；
[0027]交互解码模块300由边界检测网络和主体检测网络组成。边界检测网络与主体检
测网络采用相同的结构，利用边界检测网络与主体检测网络共同实现了针对不同的任务进行网络训练，但参数不共享。如图3所示，为边界检测网络与主体检测网络的交互示意图。边界检测网络将初始边界特征B
i
和初始主体特征作R
i
为输入，以逐元素相加的融合方式消除显著目标内部的边界，并通过多组核为3
×
3大小的卷积层逐渐消除显著目标外部的边界，得到修正的边界特征B
′
i
。主体检测网络再使用边界特征补偿主体特征，将初始主体特征R
i
和修正的边界特征B
′
i
作为输入，以通道堆叠的融合方式弥补部分主体特征缺失导致检测不完整的缺陷，得到修正的主体特征R
′
i
，该过程表示为：
[0028][0029][0030]其中，表示特征图逐像素相加，
⊙
表示特征图通道堆叠，f3×3(
·
)表示经过3
×
3大小的卷积层；
[0031]另外，在交互解码模块300中还设计了位置指导(利用边界检测网络来实现)和边界补偿(利用主体检测网络来实现)以实现边界和主体信息优势互补，可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双流编码和交互解码的显著性检测网络系统，其特征在于，该系统包括依序连接的总数据集合、双流编码模块、交互解码模块和融合模块；其中：所述总数据集合包括训练集、测试集；所述双流编码模块和所述交互解码模块区域
‑
边界互补融合网络，所述编码模块由主体区域特征提取网络和边界特征提取网络构成；实现原始图像特征的特征提取，进而实现原始图像的边界提取；所述交互解码模块由边界检测网络和主体检测网络组成，利用边界检测网络与主体检测网络共同实现了针对不同的任务进行网络训练；融合模块，从解码得到的多尺度主体特征图上采样到原图像的尺度，对主体区域特征图进行通道堆叠、卷积映射操作，以得到最终的显著性检测结果。2.如权利要求1所述的基于双流编码和交互解码的显著性检测网络系统，其特征在于，所述基于双流编码和交互解码的显著性检测网络系统还设置有滤波模块，对作为双流编码模块输入的主体区域特征图所进一步包括的深层特征和浅层特征分别设计两种滤波网络模型，分别为空间滤波网络和通道滤波网络。3.如权利要求2所述的基于双流编码和交互解码的显著性检测网络系统，其特征在于，所述空间滤波网络包含两支卷积网络，一支由核为1
×
3，输出通道为c/2，和核为3
×
1，输出通道为1的两个卷积层构成；另一支由核为1
×
3，输出通道为c/2，和核为1
×
3，输出通道为1的两个卷积层构成，输入的主体区域特征图经空间滤波网络提取出空间特征u1
SA
和u2
SA
，空间特征对输入的特征图进行调整、融合。4.如权利要求2所述的基于双流编码和交互解码的显著性检测网络系统，其特征在于，所述通道滤波网络由三部分组成：首先由核为1
×
1、3
×
3和5
×
5的卷积运算完成多种感受野下的特征感知；然后提取多种感受野下特征图的全局信息u
CA
。5.如权利要求1所述的基于双流编码和交互解码的显著性检测网络系统，其特征在于，对于边界检测网络B，损失函数如下式所示：其中，表示预测的第i个特征边界图中点k的像素值，表示真实的第i个特征边界图中点k的像素值，真实的边界图来自真实显著图的膨胀腐蚀之差。6.如权利要求1所述的基于双流编码和交互解码的显著性检测网络系统，其特征在于，所述对于主体检测网络R，...

【专利技术属性】
技术研发人员：杨爱萍，王子麒，魏子浩，宋尚阳，周雅然，程思萌，
申请(专利权)人：天津大学，
类型：发明
国别省市：