一种基于深度学习和重影现象的玻璃检测方法技术

本申请关于基于深度学习和重影现象的玻璃检测方法，涉及计算机视觉技术领域。方法包括：基于单张原始输入图像进行玻璃检测，图像为单张RGB图像；基于原始输入图像通过骨干网络的深度学习方法来提取重影特征获取重影区域预测图；通过重影区域预测图与原始输入图像通道连接后，基于骨干网络在重影线索的引导下提取玻璃特征，之后基于卷积神经网络进行玻璃特征解码以及玻璃区域的分割结果；输出玻璃区域预测图。相比于现有技术，本申请基于单张图像进行玻璃检测，适用的范围更为广泛。使用骨干网络能够更准确高效地提取重影特征以及玻璃区域特征，同时利用重影现象能够更准确地定位玻璃区域，获得高质量的玻璃区域预测图，具有良好的鲁棒性。有良好的鲁棒性。有良好的鲁棒性。

【技术实现步骤摘要】
一种基于深度学习和重影现象的玻璃检测方法


[0001]本申请涉及计算机视觉
，特别涉及一种基于深度学习和重影现象的玻璃检测方法。

技术介绍

[0002]玻璃检测工作最近引起了广泛的关注。玻璃表面，包括玻璃窗、玻璃门和玻璃墙，在我们日常生活的室内和室外场景中无处不在。然而由于它们是透明表面，所以通常没有任何特定的视觉图像，呈现的信息很大程度上取决于他们背后的场景。由于玻璃缺乏一致的视觉外观和特殊功能，例如机器人和无人机等基于计算机视觉的系统很容易无视玻璃表面，往往检测到的玻璃区域并不是玻璃表面，而是穿透玻璃的场景，从而会影响其正常工作。因此，准确地检测玻璃表面对于许多基于计算机视觉的系统至关重要。
[0003]同时随着计算机技术的发展和计算机视觉原理的广泛应用，深度学习基于强大的学习能力和特征表达能力，在计算机视觉领域迅速发展，并迅速提到了以往的基于先验知识的人工构造特征的方式，其中近年来基于transformer的深度学习方法在众多领域取得了超过卷积神经网络的结果。
[0004]现有的基于深度学习的方法利用上下文对比信息，然而却没有针对玻璃物理特性挖掘有用的线索。利用反射进行玻璃检测也有很大的局限，因为反射并非玻璃区域特有的物理特性，光滑的表面，例如墙面、地板、显示器等所产生的反射都会影响玻璃区域的检测结果的准确性。

技术实现思路

[0005]本申请所要解决的技术问题是现有技术中检测玻璃区域的检测结果准确性较低，本申请的目的在于提供一种基于深度学习和重影现象的玻璃检测方法，基于深度学习方法以更有效地提取全局特征，基于重影现象的玻璃检测方法来更准确地检测到玻璃区域以获得到高质量的检测结果，具有良好的鲁棒性。
[0006]为实现上述目的，本申请的所采用如下技术方案是：
[0007]一方面，一种基于深度学习和重影现象的玻璃检测方法，包括如下步骤：
[0008]基于单张原始输入图像进行玻璃检测，所述图像为单张RGB图像；
[0009]基于原始输入图像通过骨干网络的深度学习方法来提取重影特征，计算获取重影区域预测图；
[0010]通过重影区域预测图与原始输入图像通道连接后，基于骨干网络在重影线索的引导下提取玻璃特征，之后基于卷积神经网络进行玻璃特征解码以及获取玻璃区域的分割结果；
[0011]基于玻璃区域的分割结果，输出玻璃区域预测图。
[0012]所述获取重影区域预测图包括如下步骤：
[0013]基于骨干网络获取多尺度特征；
[0014]基于获取的多尺度特征输入双重反射估计模块获取偏移量估计图来检测重影区域，其中，所述双重反射估计模块通过一次反射检测和二次反射检测获取一次反射特征与二次反射特征；
[0015]融合一次反射特征，二次反射特征以及偏移量估计图获取重影特征，通过基于卷积神经网络的解码器，获取高质量的重影区域预测图。
[0016]所述双层反射估计模块过程包括如下步骤：
[0017]基于骨干网络获取的多尺度特征输入双重估计反射估计模块；
[0018]基于多尺度特征，通过一次检测获取一次反射特征、一次反射区域预测图，通过二次检测获取二次反射特征和二次反射区域预测图；
[0019]通过可变形卷积对一次反射特征和二次反射特征进行特征约束；
[0020]基于一次反射区域预测图和二次反射预测图输入到编码解码器结构，通过编码器获取偏移量估计图；
[0021]融合一次反射特征、二次反射特征、偏移量估计图获取的重影特征输入到解码器获取重影区域预测图。
[0022]所述的特征约束将通过可变形卷积的一次反射特征与二次反射特征相减，使用的损失函数的计算公式：
[0023][0024]其中为可变形卷积操作，为对应i尺度下的一次反射特征，为对应i尺度下的二次反射特征。
[0025]所述骨干网络为Swin
‑
Transformer。
[0026]本申请基于Swin
‑
Transformer提取全局特征，同时全面考虑到了重影本身的物理特性，设计双重反射估计模块预测偏移图，能够提升检测到的重影区域的准确性。其中，进行的特征约束也有利于重影特征的提取。
[0027]另一方面，一种基于深度学习和重影现象的玻璃检测系统，该系统适用于基于深度学习和重影现象的玻璃检测方法中，该系统包括：
[0028]获取模块，用于获取单张原始输入图像；
[0029]重影检测模块，用于基于原始输入图像通过骨干网络的深度学习方法来提取重影特征，计算获取重影区域预测图；
[0030]玻璃分割模块，用于将重影区域预测图与原始输入图像通道连接后，基于骨干网络在重影线索的引导下提取玻璃特征，之后基于卷积神经网络进行玻璃特征解码以及玻璃区域的分割结果；
[0031]输出模块，用于输出玻璃区域预测图。
[0032]玻璃分割模块为U形结构，包括编码部分和解码部分。
[0033]本申请的玻璃分割模块，设计了一个U形结构，不同于传统的U
‑
Net以及大部分的基于卷积神经网络的方法，本申请使用Swin
‑
Transformer与卷积结合的方式，transformer提取的全局特征有利于潜在玻璃区域的定位，利用卷积神经网络进行特征融合渐进解码，最后获得高质量的玻璃区域预测图。
[0034]本申请提供的技术方案带来的有益效果至少包括：
[0035]相比现有技术，基于单张图像进行玻璃检测，适用的范围更为广泛。在网络构造上，使骨干网络来构造网络，能够更准确高效地提取重影特征以及玻璃区域特征。同时利用重影这种特殊的视觉线索，能够更准确地定位玻璃区域，获得高质量的玻璃区域预测图，具有良好的鲁棒性。
附图说明
[0036]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]图1示出了一种基于深度学习和重影现象的玻璃检测方法流程示意图；
[0038]图2示出了本申请一个示例性实施例提供的重影检测模块的流程示意图；
[0039]图3示出了本申请一个示例性实施例提供的双重反射估计模块过程示意图；
[0040]图4示出了本申请一个示例性实施例提供的双重反射估计模块流程示意图；
[0041]图5示出了本申请一个示例性实施例提供的一种基于深度学习和重影现象的玻璃检测系统的结构框图；
[0042]图6示出了本申请一个示例性实施例提供的一种基于深度学习和重影现象的玻璃检测系统中的双层反射估计模块的结构框图；
[0043]图7示出了本申请一个示例性实施例提供的玻璃检测网络连接示意图；
[0044]图8示出了为实验结果图，其中，第一列Input为输入的真实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和重影现象的玻璃检测方法，包括如下步骤：基于单张原始输入图像进行玻璃检测，所述图像为单张RGB图像；基于原始输入图像通过骨干网络的深度学习方法来提取重影特征，计算获取重影区域预测图；通过重影区域预测图与原始输入图像通道连接后，基于骨干网络在重影线索的引导下提取玻璃特征，之后基于卷积神经网络进行玻璃特征解码以及获取玻璃区域的分割结果；基于玻璃区域的分割结果，输出玻璃区域预测图。2.根据权利要求1所述的基于深度学习和重影现象的玻璃检测方法，其特征在于，所述获取重影区域预测图包括如下步骤：基于骨干网络获取多尺度特征；基于获取的多尺度特征输入双重反射估计模块获取偏移量估计图来检测重影区域，其中，所述双重反射估计模块通过一次反射检测和二次反射检测获取一次反射特征与二次反射特征；融合一次反射特征，二次反射特征以及偏移量估计图获取重影特征，通过基于卷积神经网络的解码器，获取高质量的重影区域预测图。3.根据权利要求2所述的基于深度学习和重影现象的玻璃检测方法，其特征在于，所述双层反射估计模块过程包括如下步骤：基于骨干网络获取的多尺度特征输入双重估计反射估计模块；基于多尺度特征，通过一次检测获取一次反射特征、一次反射区域预测图，通过二次检测获取二次反射特征和二次反射区域预测图；通过可变形卷积对一次反射特征和二次反射特征进行特征约束...

【专利技术属性】
技术研发人员：晏涛，高嘉晖，李贺龙，
申请(专利权)人：江南大学，
类型：发明
国别省市：