一种基于偏振成像和深度学习的透明目标检测方法技术

本发明专利技术公开了一种基于偏振成像和深度学习的透明目标检测方法，包括以下步骤：步骤1，训练深度学习网络检测模型；步骤2，通过训练好的深度学习网络检测模型对透明目标进行目标检测：检测结果＝训练好的深度学习网络检测模型(S0，DoLP，I

【技术实现步骤摘要】
一种基于偏振成像和深度学习的透明目标检测方法


[0001]本专利技术属于透明目标的检测
，具体涉及一种基于偏振成像和深度学习的透明目标检测方法。

技术介绍

[0002]透明目标在现实世界中广泛存在，如透明的塑料瓶子、透明杯子等许多由塑料、玻璃制成的物品。所以透明物品检测在智能制造，智能驾驶等领域具有极其重要的现实意义和应用价值。比如透明物品的生产线上，如何检测到透明物品的准确位置以帮助机械手捕捉该物品；智能驾驶如何识别透明物并避开。因此，从输入图像中正确地定位每个透明目标是至关重要的。但是，与传统物体相比，透明目标的图像缺乏颜色、纹理、形状、边缘等传统目标识别检测极其依赖的相关信息。现有的针对透明目标的检测方法较少，由于对透明目标识别定位的不精确，这些透明目标会对现有的机器视觉系统产生关键影响，进一步影响许多应用中的决策及成本。在2003年，Osadchy等人使用镜面高光作为识别发光物体的积极信息来源,但是这个过程需要一个明亮的光源。TransCut提出了一种基于LF
‑
Linear和遮挡检测的能量函数，从4D光场图像中优化生成分割结果。TOM
‑
Net将透明物体消光定义为折射估计问题,此文提出了一种多尺度编码器
‑
解码器网络来生成粗输入，然后利用残差网络将其细化为详细的粗输入。需要注意的是，TOM
‑
Net在训练过程中需要一个折射流图作为标签，这很难从现实世界中获得，所以只能依靠合成的训练数据。因此将透明目标检测引入到偏振成像领域非常有必要。
[0003]同时，深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解译有很大的帮助，它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。因此，专利技术一种基于偏振成像和深度学习的透明目标检测方法，在智能制造等领域具有极其重要的现实意义和应用价值。

技术实现思路

[0004]为了解决上述存在的技术问题，本专利技术设计了一种基于偏振成像和深度学习的透明目标检测方法。
[0005]为了解决上述存在的技术问题，本专利技术采用了以下方案：
[0006]一种基于偏振成像和深度学习的透明目标检测方法，包括以下步骤：
[0007]步骤1，训练深度学习网络检测模型；
[0008]步骤11，搭建透明目标偏振图像数据采集系统；
[0009]步骤12，利用所述采集系统采集偏振图像数据，构建训练数据集；
[0010]步骤13，对训练数据集中的每一个原始偏振图像数据进行解马赛克得到相对应的四个角度的线偏振图像I0(x,y)，I
45
(x,y)，I
90
(x,y)和I
135
(x,y)；
[0011]步骤14，根据步骤13中每一个原始偏振图像数据得到的四个角度的线偏振图像I0(x,y)，I
45
(x,y)，I
90
(x,y)和I
135
(x,y)，依据偏振原理使用Stokes矢量、线偏振角、线偏振度公式构建每一个原始偏振图像数据相应的一组S0，DoLP，I
E
和L1图像，S0是探测总强度，通常是两个互交的线偏振图像之和，公式如下：
[0012]S0＝I0(x,y)+I
90
(x,y)＝I
45
(x,y)+I
135
(x,y)#(1)；
[0013]线偏振度DoLP这一概念是在不同物体的内部构造、外貌、材质和粗糙度有所差别的基础上提出来的，反映出对物体偏振态的辐射特性差异,公式如下：
[0014][0015]S1是根据Stokes矢量参数对同一原始偏振图像数据的两幅偏振图像I0(x,y)、I
90
(x,y)进行计算得到的参数，表示水平方向上的光强与竖直方向上光强的差；S2是根据Stokes矢量参数对同一原始偏振图像数据的两幅偏振图像I
45
(x,y)、I
135
(x,y)进行计算得到的参数，表示45
°
方向上的光强与135
°
方向上光强的差；
[0016]I
E
表示增强之后的线偏振图像，公式如下：
[0017][0018]AoLP表示线偏振角图像，也即偏振方位角，能够很好的反应光场中的光照、阴影、表面平整度、应力双折射等属性信息，更多的包含透明目标的边缘信息，公式如下：
[0019][0020]为了解决AoLP中0和π的混叠问题，我们提出了L1，因为线偏振角公式中的除运算导致其对于噪声非常敏感，当S0和S1接近于0时，会发生计算的误差，AoLP中0和π的混叠问题是由于arctan运算中不能区分0与π导致的。在新的表征中，主要是为了解决0和π的混叠问题，也即去除arctan运算的新的表征，我们只使用ρcos2θ即L1，式中ρ是DoLP，θ是AoLP：
[0021]L1＝ρcos2θ＝S1/S0#(5)；
[0022]步骤15，对训练数据集中的每一个原始偏振图像数据进行图像标注得到Mask掩码数据集；根据Mask掩码数据集中的每一个Mask掩码图像制作相应的Edge边缘图像；
[0023]步骤16，将训练数据集中的每一组S0，DoLP，I
E
和L1表征图像输入深度学习网络检测模型，对深度学习网络检测模型进行训练，以训练数据集中相对应的原始偏振图像数据已标注的Mask掩码图像作为训练目标,用相应的Edge边缘图像在训练过程中进行边缘监督；直到将训练数据集中的全部原始偏振图像数据都使用一次，即完成一轮训练；
[0024]步骤17，设置训练轮数；重复步骤16，直到完成全部训练轮数，得到最终的深度学习网络检测模型；
[0025]步骤18，设置一个包含透明目标原始图像数据的测试集，使用两个评价指标MAE和S
‑
measure来评估步骤17中得到的深度学习网络检测模型；测试合格，则获得训练好的深度学习网络检测模型；反之，则重复步骤16
‑
17，对深度学习网络检测模型重新训练直到获得训练好的深度学习网络检测模型；
[0026]步骤2，通过训练好的深度学习网络检测模型对透明目标进行目标检测；
[0027]检测结果＝训练好的深度学习网络检测模型(S0，DoLP，I
E
,L1)。
[0028]进一步，所述步骤13中，使用牛顿插值法或最邻近插值法或双线性插值法对原始偏振图像数据进行解马赛克。
[0029]进一步，所述步骤13中，使用牛顿插值法对原始偏振图像数据进行解马赛克。
[0030]进一步，所述步骤14具体包括：
[0031]步骤141，Stokes参数S＝[S0,S1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于偏振成像和深度学习的透明目标检测方法，其特征在于，包括以下步骤：步骤1，训练深度学习网络检测模型；步骤11，搭建透明目标偏振图像数据采集系统；步骤12，利用所述采集系统采集偏振图像数据，构建训练数据集；步骤13，对训练数据集中的每一个原始偏振图像数据进行解马赛克得到相对应的四个角度的线偏振图像I0(x，y)，I
45
(x，y)，I
90
(x，y)和I
135
(x，y)；步骤14，根据步骤13中每一个原始偏振图像数据得到的四个角度的线偏振图像I0(x，y)，I
45
(x，y)，I
90
(x，y)和I
135
(x，y)，依据偏振原理使用Stokes矢量、线偏振角、线偏振度公式构建每一个原始偏振图像数据相应的一组S0，DoLP，I
E
和L1图像，S0是探测总强度，通常是两个互交的线偏振图像之和，公式如下：S0＝I0(x，y)+I
90
(x，y)＝I
45
(x，y)+I
135
(x，y)#(1)；线偏振度DoLP，反映出对物体偏振态的辐射特性差异，公式如下：S1是根据Stokes矢量参数对同一原始偏振图像数据的两幅偏振图像I0(x，y)、I
90
(x，y)进行计算得到的参数，表示水平方向上的光强与竖直方向上光强的差；S2是根据Stokes矢量参数对同一原始偏振图像数据的两幅偏振图像I
45
(x，y)、I
135
(x，y)进行计算得到的参数，表示45
°
方向上的光强与135
°
方向上光强的差；I
E
表示增强之后的线偏振图像，公式如下：AoLP表示线偏振角图像，更多的包含透明目标的边缘信息，公式如下：为了解决AoLP中0和π的混叠问题，我们提出了L1，公式中ρ是DoLP，θ是AoLP：L1＝ρcos2θ＝S1/S0#(5)；步骤15，对训练数据集中的每一个原始偏振图像数据进行图像标注得到Mask掩码数据集；根据Mask掩码数据集中的每一个Mask掩码图像制作相应的Edge边缘图像；步骤16，将训练数据集中的每一组S0，DoLP，I
E
和L1表征图像输入深度学习网络检测模型，对深度学习网络检测模型进行训练，以训练数据集中相对应的原始偏振图像数据已标注的Mask掩码图像作为训练目标，用相应的Edge边缘图像在训练过程中进行边缘监督；直到将训练数据集中的全部原始偏振图像数据都使用一次，即完成一轮训练；步骤17，设置训练轮数；重复步骤16，直到完成全部训练轮数，得到最终的深度学习网络检测模型；步骤18，设置一个包含透明目标原始图像数据的测试集，使用两个评价指标MAE和S
‑
measure来评估步骤17中得到的深度学习网络检测模型；测试合格，则获得训练好的深度学习网络检测模型；反之，则重复步骤16
‑
17，对深度学习网络检测模型重新训练直到获得训
练好的深度学习网络检测模型；步骤2，通过训练好的深度学习网络检测模型对透明目标进行目标检测：检测结果＝训练好的深度学习网络检测模型(S0，DoLP，I
E
，L1)。2.根据权利要求1所述的基于偏振成像和深度学习的透明目标检测方法，其特征在于，所述步骤13中，使用牛顿插值法或最邻近插值法或双线性插值法对原始偏振图像数据进行解马赛克。3.根据权利要求1所述的基于偏振成像和深度学习的透明目标检测方法，其特征在于，所述步骤14具体包括：步骤141，Stokes参数S＝[S0，S1，S2，S3]
T
是由George Gabriel Stokes定义的描述电磁辐射的偏振状态的一组值；Stokes矢量的四个参数分别表示不同的意义，S0表示光的总强度，S1表示水平方向上偏振光强与竖直方向偏振光强的差值，S2表示45
°
方向偏振光强与135
°
方向偏振光强的差值，S3表示右旋偏振光强度与左旋偏振光强度的差值；步骤142，线偏振度DoLP和线偏振角AoLP是被广泛应用于目标检测任务的两个关键指标，由Srokes矢量的前三个参数可计算出这两个度量，公式如下：标，由Srokes矢量的前三个参数可计算出这两个度量，公式如下：步骤143，探测光通常为部分偏振光，由自然光和偏振光组成；自然目标中圆偏振成份很小可以忽略，因此偏振光通常以线偏振光为主，线偏振光I
p
由S1和S2决定，其计算表达式为：自然界中，太阳环境下，反射光中以水平方向的线偏振光为主；因此S1远远显著于S2，为此提出了一种线偏振增强的线偏振增强参量I
E
，为了获得更多的目标偏振特征，将S1参数添加到I
p
参数的第二个平方项，其计算表达式为：步骤144，基于Umov效应，在光强较弱的光场中，光的散射较为显著，但是该部分的噪声也比较高，因此线偏振角图像对于噪声非常敏感，AoLP的噪声敏感特性，主要是由于其中的除运算引入的，当S0和S1接近于0时，会发生计算的误差，AoLP中0和π的混叠问题是由于arctan运算...

【专利技术属性】
技术研发人员：任文艺，赵曼，于若宁，伍丹，解迎革，张社奇，
申请(专利权)人：西北农林科技大学，
类型：发明
国别省市：