一种基于双流门控渐进优化网络的显著目标检测方法技术

本申请涉及一种基于双流门控渐进优化网络的显著目标检测方法，涉及图像处理和计算机视觉技术领域，包括如下步骤：采集图像数据集，获取每张图像的细节标签；对图像进行预处理；构建双流门控渐进优化网络，包括门控融合网络、交叉引导模块和特征融合模块；训练并测试双流门控渐进优化网络，采用全局损失、细节损失和融合损失进行加权求和，作为双流门控渐进优化网络的细节感知损失；采用训练好的双流门控渐进优化网络进行图像中的显著目标检测。本发明专利技术能够克服现有的显著目标检测方法中存在的特征稀释、噪声干扰和确认解释性的缺陷，以及传统边缘标签像素分布不均衡问题，能够有效提高对应显著目标对象的检测精度。提高对应显著目标对象的检测精度。提高对应显著目标对象的检测精度。

【技术实现步骤摘要】
一种基于双流门控渐进优化网络的显著目标检测方法


[0001]本申请涉及图像处理和计算机视觉
，具体涉及一种基于双流门控渐进优化网络的显著目标检测方法。

技术介绍

[0002]现有的显著目标检测方法大多基于编码器
‑
解码器结构，其中编码器用于生成多层特征，解码器用于合并来自不同阶段的特征，以实现显著目标的有效定位和分割。当编码器特征提取性能有限的条件下，解码器在聚合这些特征并预测显著性图中起着重要作用。当前的研究已经提出了多层特征的组合方法，例如通过多次级联的解码器架构，将相邻的两层特征投影至相同的潜在空间中，执行特征堆叠操作Concatenate和级联操作cascade；或是对原始图像构建图像金字塔，然后对金字塔每一层的输出特征执行元素相加操作Elementwise Sum并进行预测。以上两种方法均使用了多层特征的优势提取图像的低级和高级语义信息，并结合这些多尺度语义信息获得更好的检测精度。但是这些融合方式缺乏信息流控制组件，可能导致冗余信息的传递，损害显著目标检测性能，存在以下三个主要问题：（1）特征稀释：多层特征中的一些像素或通道可能包含无效信息，导致有用信息被稀释，影响最终预测结果；（2）噪声干扰：低层特征中含有显著对象的复杂细节和噪声信息，简单的特征聚合方法无法有效过滤噪声，导致预测图中混入非显著信息，影响显著目标的准确识别；（3）缺乏解释性：在多层特征聚合过程中难以确定哪些像素或通道对最终输出结果至关重要，使得难以解释模型的预测行为和判断特征的重要性。
[0003]此外，预测具有模糊边界的边缘像素比预测中心像素更困难，给显著对象的分割带来了重要挑战。

技术实现思路

[0004]本专利技术的目的在于，提供一种基于双流门控渐进优化网络的显著目标检测方法，能够克服现有的显著目标检测方法中存在的特征稀释、噪声干扰和确认解释性的缺陷，还能克服传统边缘标签像素分布不均衡问题，并利用全局分支和细节分支之间的互补关系，提高对应显著目标对象的检测精度。
[0005]本专利技术采取的技术方案是：一种基于双流门控渐进优化网络的显著目标检测方法，包括如下步骤：S1：采集用于显著目标检测的图像数据集，并获取图像数据集中每张图像的显著标签，通过对显著标签进行边缘信息的提取，获取每张图像的细节标签；S2：对图像数据集中的每张图像进行预处理，并划分为训练集和测试集；S3：构建双流门控渐进优化网络GPONet，所述双流门控渐进优化网络GPONet包括门控融合网络、交叉引导模块和特征融合模块；
所述门控融合网络用于提取N个阶段的全局特征G和细节特征E，并通过全局分支和细节分支，分别以互补方式解释性融合相邻阶段的全局特征G或细节特征E，生成融合后的全局特征G
out
和融合后的细节特征E
out
；所述交叉引导模块用于对融合后的全局特征G
out
和融合后的细节特征E
out
进行通信交互和交叉引导，对融合后的全局特征G
out
和融合后的细节特征E
out
进行互补生成交叉引导后的全局特征和交叉引导后的细节特征，并根据交叉引导后的全局特征和交叉引导后的细节特征生成全局预测图和边缘预测图；所述特征融合模块用于对全局预测图和边缘预测图进行融合，生成融合特征图，并通过对融合特征图进行预测，生成包含显著目标的显著预测图；S4：使用训练集对所述双流门控渐进优化网络GPONet进行训练，采用全局损失来优化全局分支的预测，采用细节损失来优化细节分支的预测，并采用融合损失来优化显著预测图的预测；将全局损失、细节损失和融合损失进行加权求和，作为双流门控渐进优化网络GPONet的细节感知损失；使用测试集测试双流门控渐进优化网络GPONet的网络性能；S5：采用训练好的双流门控渐进优化网络GPONet进行图像中的显著目标检测。
[0006]进一步地，所述步骤S2中的预处理包括通过图像变换进行数据增强、将图像的像素值进行归一化、统一图像尺寸和将图像转化为张量数据类型。
[0007]进一步地，所述门控融合网络包括编码器、全局分支和细节分支，输入图像经编码器进行特征映射，提取出N个阶段的全局特征G和细节特征E，全局分支和细节分支中均包括N
‑
1个门控融合单元，其中，N≧2；N个阶段的全局特征G和细节特征E分别经N
‑
1个门控融合单元处理，将N个相邻阶段的特征进行互补融合；所述门控融合单元根据对应的低层特征和高层特征获得第一门控值和第二门控值，具体公式如下：；；其中，F
L
表示第L阶段的特征，表示第L+1阶段的特征F
L+1
经过上采样后得到的特征，F= {GorE}，即特征F为全局特征G或细节特征E，w1表示学习第一门控值的权重参数，w2表示学习第二门控值的权重参数，b表示可学习的偏置参数，表示Sigmoid激活函数；以第一门控值和第二门控值作为权重，根据第L阶段的特征F
L
和第L+1阶段的特征F
L+1
运算得到第L阶段融合后的特征，具体公式如下：；；
；；其中，表示第L阶段的低层激活，表示第L阶段的高层激活，表示第L阶段的高语义信息。
[0008]进一步地，所述交叉引导模块包括N个交叉引导单元，门控融合网络输出的同一阶段的融合后的全局特征G
out
和融合后的细节特征E
out
分别在N个交叉引导单元通过卷积操作和连接操作生成融合特征F
(E,G)
，具体表达式如下：；其中，F
L(E,G)
表示第L阶段的融合特征，表示在通道维度叠加操作，表示第L阶段的融合后的全局特征，表示第L阶段的融合后的细节特征，w
FG
表示从第L阶段的融合后的全局特征至第L阶段的融合特征F
L(E,G)
的第一可学习的参数，w
IG
表示从第L阶段的融合后的全局特征至第L阶段的融合特征F
L(E,G)
的第二可学习的参数，w
FE
表示从第L阶段的融合后的细节特征至第L阶段的融合特征F
L(E,G)
的第一可学习的参数，w
IE
表示从第L阶段的融合后的细节特征至第L阶段的融合特征F
L(E,G)
的第二可学习的参数；融合特征F
(E,G)
通过卷积操作分别映射回全局分支和细节分支，并与融合后的全局特征G
out
和融合后的细节特征E
out
进行相加，最后执行卷积操作生成交叉引导后的全局特征和交叉引导后的细节特征，具体表达式如下：；；其中，w
OG
表示从第L阶段的融合特征F
L(E,G)
映射回全局分支的第一可学习的参数，w
PG
表示从第L阶段的融合特征F
L(E,G)
映射回全局分支的第二可学习的参数，w
OE
表示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双流门控渐进优化网络的显著目标检测方法，其特征在于，包括如下步骤：S1：采集用于显著目标检测的图像数据集，并获取图像数据集中每张图像的显著标签，通过对显著标签进行边缘信息的提取，获取每张图像的细节标签；S2：对图像数据集中的每张图像进行预处理，并划分为训练集和测试集；S3：构建双流门控渐进优化网络GPONet，所述双流门控渐进优化网络GPONet包括门控融合网络、交叉引导模块和特征融合模块；所述门控融合网络用于提取N个阶段的全局特征G和细节特征E，并通过全局分支和细节分支，分别以互补方式解释性融合相邻阶段的全局特征G或细节特征E，生成融合后的全局特征G
out
和融合后的细节特征E
out
；所述交叉引导模块用于对融合后的全局特征G
out
和融合后的细节特征E
out
进行通信交互和交叉引导，对融合后的全局特征G
out
和融合后的细节特征E
out
进行互补生成交叉引导后的全局特征 和交叉引导后的细节特征，并根据交叉引导后的全局特征和交叉引导后的细节特征生成全局预测图和边缘预测图；所述特征融合模块用于对全局预测图和边缘预测图进行融合，生成融合特征图，并通过对融合特征图进行预测，生成包含显著目标的显著预测图；S4：使用训练集对所述双流门控渐进优化网络GPONet进行训练，采用全局损失来优化全局分支的预测，采用细节损失来优化细节分支的预测，并采用融合损失来优化显著预测图的预测；将全局损失、细节损失和融合损失进行加权求和，作为双流门控渐进优化网络GPONet的细节感知损失；使用测试集测试双流门控渐进优化网络GPONet的网络性能；S5：采用训练好的双流门控渐进优化网络GPONet进行图像中的显著目标检测。2.根据权利要求1所述的一种基于双流门控渐进优化网络的显著目标检测方法，其特征在于，所述步骤S2中的预处理包括通过图像变换进行数据增强、将图像的像素值进行归一化、统一图像尺寸和将图像转化为张量数据类型。3.根据权利要求2所述的一种基于双流门控渐进优化网络的显著目标检测方法，其特征在于，所述门控融合网络包括编码器、全局分支和细节分支，输入图像经编码器进行特征映射，提取出N个阶段的全局特征G和细节特征E，全局分支和细节分支中均包括N
‑
1个门控融合单元，其中，N≧2；N个阶段的全局特征G和细节特征E分别经N
‑
1个门控融合单元处理，将N个相邻阶段的特征进行互补融合；所述门控融合单元根据对应的低层特征和高层特征获得第一门控值和第二门控值，具体公式如下：；；其中，F
L
表示第L阶段的特征，表示第L+1阶段的特征F
L+1
经过上采样后得到的特
征，F = {G or E}，即特征F为全局特征G或细节特征E，w1表示学习第一门控值的权重参数，w2表示学习第二门控值的权重参数，b表示可学习的偏置参数，表示Sigmoid激活函数；以第一门控值和第二门控值作为权重，根据第L阶段的特征F
L
和第L+1阶段的特征F
L+1
运算得到第L阶段融合后的特征，具体公式如下：；；；；其中，表示第L阶段的低层激活，表示第L阶段的高层激活，表示第L阶段的高语义信息。4.根据权利要求3所述的一种基于双流门控渐进优化网络的显著目标检测方法，其特征在于，所述交叉引导模块包括N个交叉引导单元，门控融合网络输出的同一阶段的融合后的全局特征G
out
和融合后的细节特征E
out
分别在N个交叉引导单元通过卷积操作和连接操作生成融合特征F
(E,G)
，具体表达式如下：；其中，F
L(E,G) 表示第L阶段的融合特征，表示在通道维度叠加操作，表示第L阶段的融合后的全局特征，表示第L阶段的融合后的细节特征，w
FG
表示从第L阶段的融合后的全局特征至第L阶段的融合特征F
L(E,G)
的第一可学习的参数，w
IG
表示从第L阶段的融合后的全局特征至第L阶段的融合特征F
L(E,G)
的第二可学习的参数，w
FE
表示从第L阶段的融合后的细节特征至第L阶段的融合特征F
L(E,G)
的第一可学习的参数，w
IE
表示从第L阶段的融合后的细节特征至第...

【专利技术属性】
技术研发人员：易玉根，张宁毅，黄龙军，周唯，谢更生，石艳娇，
申请(专利权)人：江西师范大学，
类型：发明
国别省市：