一种基于隐式图学习的光场显著性目标检测方法及装置制造方法及图纸

本发明专利技术所提供的一种基于隐式图学习的光场显著性目标检测方法及装置，所述方法包括：将待测试的全聚焦图像和待测试的焦点堆栈图像输入预先训练的双流深层卷积网络，得到全聚焦特征图和焦点堆栈特征图；将所述全聚焦特征图和所述焦点堆栈特征图输入预先训练的轮廓感知模型，得到显著性预测结果和物体轮廓预测结果。本发明专利技术通过将待测试的全聚焦图像和焦点堆栈图像输入预先训练的双流深层卷积网络，促进了显著性特征的挖掘，并且，将全聚焦特征图和焦点堆栈特征图输入预先训练的轮廓感知模型，可以有效地聚合混合尺度的信息，进而得到准确的光场显著性目标检测结果。准确的光场显著性目标检测结果。准确的光场显著性目标检测结果。

【技术实现步骤摘要】
一种基于隐式图学习的光场显著性目标检测方法及装置


[0001]本专利技术涉及计算机视觉
，尤其涉及的是一种基于隐式图学习的光场显著性目标检测方法及装置。

技术介绍

[0002]显著性目标检测技术主要是基于视觉注意力机制构建的图像预处理方法。近年来，光场相机可以提供由多视角图像和焦点切片提供的丰富的空间和布局信息，这种丰富的信息已经显示出其促进显著性目标检测的强大能力，因此，近年来光场显著性目标检测(LF SOD)引起了广泛的研究关注。
[0003]在光场图像中，一个焦点堆栈包含一系列聚焦在不同深度的焦点切片图像，导致与显著性相关的区域模糊不清、显著性上下文信息缺失的问题。这样的特点可能会切断像素间的关系，显著性预测将受到负面影响。然而，大多数基于深度学习的光场显著性检测模型只是简单地使用单独的焦点堆栈主干网进行特征提取，而忽略了不同区域与显著性预测结果的内部关联性。这样，不能充分提取有用的显著性特征，限制了对焦点堆栈内容的理解，难以得到准确的光场显著性目标检测结果。
[0004]因此，现有技术存在缺陷，有待改进与发展。

技术实现思路

[0005]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于隐式图学习的光场显著性目标检测方法及装置，旨在解决现有技术中在进行光场显著性目标检测时，难以得到准确的光场显著性目标检测结果的问题。
[0006]本专利技术解决技术问题所采用的技术方案如下：
[0007]一种基于隐式图学习的光场显著性目标检测方法，包括：<br/>[0008]将待测试的全聚焦图像和待测试的焦点堆栈图像输入预先训练的双流深层卷积网络，得到全聚焦特征图和焦点堆栈特征图；
[0009]将所述全聚焦特征图和所述焦点堆栈特征图输入预先训练的轮廓感知模型，得到显著性预测结果和物体轮廓预测结果。
[0010]在一种实现方式中，所述双流深层卷积网络包括全聚焦主干网和焦点堆栈主干网；所述将待测试的全聚焦图像和待测试的焦点堆栈图像输入预先训练的双流深层卷积网络，得到全聚焦特征图和焦点堆栈特征图，包括：
[0011]将待测试的全聚焦图像输入预先训练的全聚焦主干网，得到全聚焦特征图，以及将待测试的焦点堆栈图像输入预先训练的焦点堆栈主干网，得到焦点堆栈特征图。
[0012]在一种实现方式中，将所述全聚焦特征图和所述焦点堆栈特征图输入预先训练的轮廓感知模型，得到显著性预测结果和物体轮廓预测结果，包括：
[0013]在预先训练的轮廓感知模型中，采用2D卷积层和ReLU激活函数将所述焦点堆栈特征图中的各个焦点堆栈显著特征处理为第一焦点堆栈特征，以及将所述全聚焦特征图中的
各个全聚焦显著特征处理为第一全聚焦特征；
[0014]采用紧凑聚合模块对各个所述第一焦点堆栈特征进行处理，得到增强的分层焦点堆栈特征；
[0015]采用多个交互式特征融合模块将各个所述分层焦点堆栈特征和各个所述第一全聚焦特征进行互促融合，得到焦点堆栈初始融合特征和全聚焦初始融合特征；
[0016]基于轮廓原型表达将所述焦点堆栈初始融合特征处理为焦点堆栈细化融合特征，以及将所述全聚焦初始融合特征处理为全聚焦细化融合特征；
[0017]利用显著性检测头将所述焦点堆栈细化融合特征和所述全聚焦细化融合特征进行聚合，得到显著性预测结果和物体轮廓预测结果。
[0018]在一种实现方式中，所述分层焦点堆栈特征的计算公式为：
[0019][0020]其中，所述表示带有空洞率为1的3
×3×
3的3D扩张的深度可分离的卷积，所述表示带有空洞率为2的3
×3×
3的3D扩张的深度可分离的卷积，所述表示带有空洞率为3的3
×3×
3的3D扩张的深度可分离的卷积，所述代表转换层，用于通过一个3
×
3卷积将焦点堆栈的维度从N
×
128转换为1
×
128，所述表示第一焦点堆栈特征，所述l为焦点堆栈主干网的层数，取值为3,4,5。
[0021]在一种实现方式中，所述采用多个交互式特征融合模块将各个所述分层焦点堆栈特征和各个所述第一全聚焦特征进行互促融合，得到焦点堆栈初始融合特征和全聚焦初始融合特征，包括：
[0022]若交互式特征融合模块的输入为使用的显著性预测并实施辅助的深层监督，公式为：其中，所述Conv3×3表示3
×
3大小的卷积层，所述U表示双线性插值上采样；
[0023]通过预测显著性图来生成物体轮廓特征计算公式为：其中，所述是由3
×
3卷积和一个Groupnorm层和一个PReLU激活函数组成，用于将通道数从1转换到128；
[0024]对物体轮廓预测施加辅助的深度监督，计算公式为：
[0025]通过计算通道响应评价特征的重要性，计算公式为：其中(m,n)代表特征图的坐标位置，w
k
表示特征图F的第k个通道权重；
[0026]通过特征生成权重响应利用一个自适应的增强操作动态地调整不同特征的响应，计算公式包括：
[0027][0028][0029]其中，所述代表串联操作，所述FC代表全连接层，所述U表示双线性插值上采样，所述表示全聚焦初始融合特征。
[0030]在一种实现方式中，所述基于轮廓原型表达将所述焦点堆栈初始融合特征处理为焦点堆栈细化融合特征，以及将所述全聚焦初始融合特征处理为全聚焦细化融合特征，包括：
[0031]通过嵌入全局视图的轮廓提示完善所述全聚焦初始融合特征，计算公式为：
[0032]其中，所述Conv代表3
×
3卷积核大小的卷积层，所述表示全聚焦细化融合特征。
[0033]在一种实现方式中，所述显著性预测结果S
P
的计算公式为：
[0034]其中，所述表示全聚焦细化融合特征，所述表示焦点堆栈细化融合特征；
[0035]所述物体轮廓预测结果S
C
的计算公式为：
[0036]在一种实现方式中，所述双流深层卷积网络的训练步骤包括：
[0037]获取训练数据集，所述训练数据集中包括：全聚焦训练图像和焦点堆栈训练图像；
[0038]将所述全聚焦训练图像和所述焦点堆栈训练图像输入初始双流深层卷积网络，所述初始双流深层卷积网络包括全聚焦主干网和焦点堆栈主干网；
[0039]从所述全聚焦主干网输出全聚焦训练特征图从所述焦点堆栈主干网输出焦点堆栈训练特征图其中，l为全聚焦主干网和焦点堆栈主干网的层数，取值为2,3,4,5；
[0040]根据所述全聚焦训练特征图建立全聚焦图G
r
，所述G
r
＝{A
r
,F
r
}，其中，所述A
r
表示全聚焦图的邻接矩阵，所述F
r
表示全聚焦图的节点；
[0041]根据所述焦点堆栈训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隐式图学习的光场显著性目标检测方法，其特征在于，包括：将待测试的全聚焦图像和待测试的焦点堆栈图像输入预先训练的双流深层卷积网络，得到全聚焦特征图和焦点堆栈特征图；将所述全聚焦特征图和所述焦点堆栈特征图输入预先训练的轮廓感知模型，得到显著性预测结果和物体轮廓预测结果。2.根据权利要求1所述的基于隐式图学习的光场显著性目标检测方法，其特征在于，所述双流深层卷积网络包括全聚焦主干网和焦点堆栈主干网；所述将待测试的全聚焦图像和待测试的焦点堆栈图像输入预先训练的双流深层卷积网络，得到全聚焦特征图和焦点堆栈特征图，包括：将待测试的全聚焦图像输入预先训练的全聚焦主干网，得到全聚焦特征图，以及将待测试的焦点堆栈图像输入预先训练的焦点堆栈主干网，得到焦点堆栈特征图。3.根据权利要求1所述的基于隐式图学习的光场显著性目标检测方法，其特征在于，将所述全聚焦特征图和所述焦点堆栈特征图输入预先训练的轮廓感知模型，得到显著性预测结果和物体轮廓预测结果，包括：在预先训练的轮廓感知模型中，采用2D卷积层和ReLU激活函数将所述焦点堆栈特征图中的各个焦点堆栈显著特征处理为第一焦点堆栈特征，以及将所述全聚焦特征图中的各个全聚焦显著特征处理为第一全聚焦特征；采用紧凑聚合模块对各个所述第一焦点堆栈特征进行处理，得到增强的分层焦点堆栈特征；采用多个交互式特征融合模块将各个所述分层焦点堆栈特征和各个所述第一全聚焦特征进行互促融合，得到焦点堆栈初始融合特征和全聚焦初始融合特征；基于轮廓原型表达将所述焦点堆栈初始融合特征处理为焦点堆栈细化融合特征，以及将所述全聚焦初始融合特征处理为全聚焦细化融合特征；利用显著性检测头将所述焦点堆栈细化融合特征和所述全聚焦细化融合特征进行聚合，得到显著性预测结果和物体轮廓预测结果。4.根据权利要求3所述的基于隐式图学习的光场显著性目标检测方法，其特征在于，所述分层焦点堆栈特征的计算公式为：其中，所述表示带有空洞率为1的3
×3×
3的3D扩张的深度可分离的卷积，所述表示带有空洞率为2的3
×3×
3的3D扩张的深度可分离的卷积，所述表示带有空洞率为3的3
×3×
3的3D扩张的深度可分离的卷积，所述代表转换层，用于通过一个3
×
3卷积将焦点堆栈的维度从N
×
128转换为1
×
128，所述表示第一焦点堆栈特征，所述l为焦点堆栈主干网的层数，取值为3,4,5。5.根据权利要求3所述的基于隐式图学习的光场显著性目标检测方法，其特征在于，所述采用多个交互式特征融合模块将各个所述分层焦点堆栈特征和各个所述第一全聚焦特征进行互促融合，得到焦点堆栈初始融合特征和全聚焦初始融合特征，包括：
若交互式特征融合模块的输入为使用的显著性预测并实施辅助的深层监督，公式为：其中，所述Conv3×3表示3
×
3大小的卷积层，所述U表示双线性插值上采样；通过预测显著性图来生成物体轮廓特征计算公式为：其中，所述是由3
×
3卷积和一个Groupnorm层和一个PReLU激活函数组成，用于将通道数从1转换到128；对物体轮廓预测施加辅助的深度监督，计算公式为：通过计算通道响应评价特征的重要性，计算公式为：其中(m,n)代表特征图的坐标位置，w
k
表示特征图F的第k个通道权重；通过特征生成权重响应利用一个自适应的增强操作动态地调整不同特征的响应，计算公式包括：增强操作动态地调整不同特征的响应，计算公式包括：其中，所述代表串联操作，所述FC代表全连接层，所述U表示双线性插值上采样，所述表示全聚焦初始融合特征。6.根据权利要求5所述的基于隐式图学习的光场显著性目标检测方法，其特征在于，所述基于轮廓原型表达将所述焦点堆栈初始融合特征处理为焦点堆栈细化融合特征，以及将所述全聚焦初始融合特征处理为全聚焦细化融合特征，包括：通过嵌入全局视图的轮廓提示完善所述全聚焦初始融合特征，计算公式为：其中，所述Conv代表3
×
3卷积核大小的卷积层，所述表示全聚焦细化融合特征。7.根据权利要求6所述的基于隐式图学习的光场显著性目标检测方法，其特征在于，所述显著性预测结果S
P
的计算公式为：其中，所述表示全聚焦细化融合特征，所述表示焦点堆栈细化融合特征；所述物体轮廓预测结果S
C
的计算公式为：8.根据权利要求1所述的基于隐式图学习的光场显著性目标检测方法，其特征在于，所述双流深层卷积网络的训练步骤包括：
获取训练数据集，所述训练数据集中包括：全聚焦训练图像和焦点堆栈训练图像；将所述全聚焦训练图像和所述焦点堆栈训练图像输入初始双流深层卷积网络，所述初始双流深层卷积网络包括全聚焦主干网和焦点堆栈主干网；从所述全聚焦主干网输出全聚焦训练特征图从所述焦点堆栈主干网输出焦点堆栈训练特征图其中，l为全聚焦主干网和焦点堆栈主干网的层数，取值为2,3,4,5；根据所述全聚焦训练特征图建立全聚焦图G
r
，所述G
r
＝{A
r
,F
r
}，其中，所述A
r
表示全聚焦图的邻接矩阵，所述F
r
表示全聚焦图的节点；根据所述焦点堆栈训练特征图建立焦点堆栈图G
f
＝{A
f
,F
f
}，其中，所述...

【专利技术属性】
技术研发人员：高伟，廖桂标，李革，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：