一种基于双流卷积神经网络的镜面高光检测和去除方法技术

本发明专利技术公开了一种基于双流卷积神经网络的镜面高光检测和去除方法，将输入的原始带高光图像求取像素点在x方向和y方向上的梯度，提取得到第一高光特征映射图，将第一高光特征映射图经过第一卷积块注意力模块CBAM处理后，与预处理后的图像相减，输出第一级无高光图像；对第一高光特征映射图进行逐级降采样缩小尺寸，将降采样缩小尺寸后的各级高光特征映射图分别经过各级卷积块注意力模块CBAM处理后，与前一级输出的无高光图像相减，最终得到粗略无高光图像。然后通过高光提取模块，提取细化高光信息，进行高光细化去除，得到最终的无高光图像。本发明专利技术可以有效地解决镜面高光造成的图像信息退化问题，从而降低高光对目标检测等视觉任务的干扰。觉任务的干扰。觉任务的干扰。

【技术实现步骤摘要】
一种基于双流卷积神经网络的镜面高光检测和去除方法


[0001]本申请属于图像修复领域，尤其涉及一种基于双流卷积神经网络的镜面高光检测和去除方法。

技术介绍

[0002]随着自动化产业的发展，智能机器人在智能家用、医疗服务、军事导航、机械工业等领域的应用层出不穷。智能机器人研究领域的一大热点就是解决视觉任务中的难题，镜面高光反射造成的图像信息退化是这些难题中不可忽视的存在。镜面高光指的是是高反射率物体表面由于光线照射，会呈现出的大量亮点、亮斑等区域，这些区域的颜色、纹理、结构等图像信息会退化、甚至完全丢失。因此，高光造成的图像信息退化对于目标检测、对象跟踪等视觉任务的影响往往是致命的。
[0003]为了消除这种影响，近年来，已经有许多研究者致力于检测和去除图像中的高光。目前的方法可以分为基于模型的传统方法和基于深度学习的方法。基于模型的高光检测和去除方法又分为单幅图像和多幅图像的高光检测与去除。其中，单幅图像的高光检测与去除方法有：基于不同形式的阈值的方法，但由于受到阈值的约束，这些方法难以定位所有高光；基于场景中只有小部分区域包含高光这一假设的方法，该方法却不具备应对大面积高光的能力；基于颜色、空间、光照估计的方法，或是基于固有图像分解的方法，但对于背景、光照复杂的真实图像，它们并不能生成令人满意的高光去除效果。与单幅图像的方法不同，多幅图像的方法通过假设已知表面的几何形状，估计光源的位置，最后叠加多幅图像从而分离高光。虽然多福图像的方法可以获得比单幅图像的方法更精确的高光去除结果，但这类方法计算量大且运算复杂、实用性低。
[0004]尽管现有的基于模型的单幅图像高光检测和去除方法效率高且易于实现，但对于具有非常明亮的外观或材质的图像，它们往往并不可靠，通常会错误地将白色外观或高强度的像素检测为高光，或者在场景中存在大面积高光时失效。而基于深度学习的方案能够克服这些问题，通过构建大规模真实世界数据集，利用现代深度学习工具可以获得高质量的高光去除结果。已经有许多优秀的前期工作设计了基于深度学习的网络，利用上下文对比特征定位高光的位置，并进一步提出了联合高光检测和去除的多任务网络。基于深度学习的方法脱离了传统模型的约束，生成的无高光图像较于先前的传统方法已经取得了很大进步，但仍然存在缺陷。已有的方法对低饱和度区域的高光检测能力较弱，高光的检测和去除结果不完整，且高光去除结果中存在视觉伪影、补偿的像素存在颜色、结构、纹理失真。

技术实现思路

[0005]本申请提出了一种基于双流卷积神经网络的镜面高光检测和去除方法，来解决镜面高光造成图像信息退化，从而影响目标识别等视觉任务准确率的问题。
[0006]为了实现上述目的，本申请技术方案如下：
[0007]一种基于双流卷积神经网络的镜面高光检测和去除方法，包括：
[0008]将输入的原始带高光图像进行预处理，然后求取像素点在x方向和y方向上的梯度，提取得到第一高光特征映射图；
[0009]将第一高光特征映射图经过第一卷积块注意力模块CBAM处理后，与预处理后的图像相减，输出第一级无高光图像；
[0010]对第一高光特征映射图进行逐级降采样缩小尺寸，将降采样缩小尺寸后的各级高光特征映射图分别经过各级卷积块注意力模块CBAM处理后，与前一级输出的无高光图像相减，最终得到粗略无高光图像；
[0011]将粗略无高光图像进行线性变换后得到线性变换后的粗略无高光图像，输入到高光提取模块，所述高光提取模块包括编码器和解码器，提取细化高光信息；
[0012]将最后一级卷积块注意力模块CBAM的输出特征进行线性变换得到线性变换后的高光特征映射图，结合线性变换后的粗略无高光图像和细化高光信息，进行高光细化去除，得到最终的无高光图像。
[0013]进一步的，所述对第一高光特征映射图进行四次逐级降采样缩小尺寸，将降采样缩小尺寸后的各级高光特征映射图分别经过各级卷积块注意力模块CBAM处理后，与前一级输出的无高光图像相减，最终得到粗略无高光图像，包括：
[0014]所述第一高光特征映射图经过一次降采样后得到第二高光特征映射图，再经过一次降采样后得到第三高光特征映射图，再经过一次降采样后得到第四高光特征映射图，再经过一次降采样后得到第五高光特征映射图；
[0015]第二高光特征映射图输入到第二卷积块注意力模块CBAM，然后第二卷积块注意力模块CBAM的输出与第一级无高光图像之间进行减法操作，输出第二级无高光图像；
[0016]第三高光特征映射图输入到第三卷积块注意力模块CBAM，然后第三卷积块注意力模块CBAM的输出与第二级无高光图像之间进行减法操作，输出第三级无高光图像；
[0017]第四高光特征映射图输入到第四卷积块注意力模块CBAM，然后第四卷积块注意力模块CBAM的输出与第三级无高光图像之间进行减法操作，输出第四级无高光图像；
[0018]第五高光特征映射图输入到第五卷积块注意力模块CBAM，然后第五卷积块注意力模块CBAM的输出与第四级无高光图像之间进行减法操作，输出第五级无高光图像。
[0019]进一步的，所述编码器包括卷积层和膨胀卷积层，所述解码器包括门控卷积层和卷积层。
[0020]进一步的，所述将最后一级卷积块注意力模块CBAM的输出特征进行线性变换得到线性变换后的高光特征映射图，结合线性变换后的粗略无高光图像和细化高光信息，进行高光细化去除，得到最终的无高光图像，采用公式表示如下：
[0021][0022]其中，f
output
表示最终的无高光图像，σ为Sigmoid激活函数，MLP表示多层感知器，f
diff
表示线性变换后的粗略无高光图像，f
spec
表示线性变换后的高光特征映射图，表示细化高光信息，α和β分别表示f
apec
和的权重值，表示矩阵元素相加，表示矩阵元素相减，Residual表示残差操作，Gated表示门控卷积操作。
[0023]本申请提出了一种基于双流卷积神经网络的镜面高光检测和去除方法，构建了基
于双流特征选择策略的高光特征粗提取过程和高光特征深度细化处理过程，并将其组合成基于卷积块注意力与双流卷积神经网络的镜面高光检测和去除方法，可以有效地解决镜面高光造成的图像信息退化问题，从而降低高光对目标检测等视觉任务的干扰。
附图说明
[0024]图1为本申请基于双流卷积神经网络的镜面高光检测和去除方法流程图；
[0025]图2为本申请实施例网络的整体结构示意图；
[0026]图3为卷积块注意力模块CBAM结构示意图。
具体实施方式
[0027]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0028]在一个实施例中，如图1所示，提出了一种基于双流卷积神经网络的镜面高光检测和去除方法，包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双流卷积神经网络的镜面高光检测和去除方法，其特征在于，所述基于双流卷积神经网络的镜面高光检测和去除方法，包括：将输入的原始带高光图像进行预处理，然后求取像素点在x方向和y方向上的梯度，提取得到第一高光特征映射图；将第一高光特征映射图经过第一卷积块注意力模块CBAM处理后，与预处理后的图像相减，输出第一级无高光图像；对第一高光特征映射图进行逐级降采样缩小尺寸，将降采样缩小尺寸后的各级高光特征映射图分别经过各级卷积块注意力模块CBAM处理后，与前一级输出的无高光图像相减，最终得到粗略无高光图像；将粗略无高光图像进行线性变换后得到线性变换后的粗略无高光图像，输入到高光提取模块，所述高光提取模块包括编码器和解码器，提取细化高光信息；将最后一级卷积块注意力模块CBAM的输出特征进行线性变换得到线性变换后的高光特征映射图，结合线性变换后的粗略无高光图像和细化高光信息，进行高光细化去除，得到最终的无高光图像。2.根据权利要求1所述的基于双流卷积神经网络的镜面高光检测和去除方法，其特征在于，所述对第一高光特征映射图进行四次逐级降采样缩小尺寸，将降采样缩小尺寸后的各级高光特征映射图分别经过各级卷积块注意力模块CBAM处理后，与前一级输出的无高光图像相减，最终得到粗略无高光图像，包括：所述第一高光特征映射图经过一次降采样后得到第二高光特征映射图，再经过一次降采样后得到第三高光特征映射图，再经过一次降采样后得到第四高光特征映射图，再经过一次降采样后得到第五高光特征映射图；第二高光特征映射图输入到第二卷积块注意力模块CBAM，然后第二卷积块注意力模块CBAM的输出与第一级无高...

【专利技术属性】
技术研发人员：刘盛，徐婧婷，陈冠州，刘浅汐，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：