一种基于偏振图像和机器学习的高光物件测量方法技术

本发明专利技术属于视觉测量技术领域，具体为一种基于偏振图像和机器学习的高光物件测量方法。本发明专利技术将线偏振片和神经网络算法引入到视觉测量系统中，通过改变偏振角度得到多幅高光强弱不同的图像，从中提取高光像素，将其V通道值作为神经网络算法的训练样本，以进一步抑制高光，最后将所得高光抑制图像导入至立体匹配算法中；本发明专利技术能够对具有高反射特性表面的待测物件进行较为准确的视觉测量，通过抑制由外界光源引发的高光现象，提高视觉测量过程中立体匹配的准确率，最终获得更精确的测量结果。实验证明，本发明专利技术有效抑制了物件图像的高光，提高了视觉测量中的立体匹配精度，获得了更可靠的深度信息和更精确测量结果。

A high light object measurement method based on polarization image and machine learning

【技术实现步骤摘要】
一种基于偏振图像和机器学习的高光物件测量方法
本专利技术属于视觉测量
，具体涉及一种基于偏振图像和神经网络学习对具有高反射表面的待测物体进行三维测量的方法。
技术介绍
视觉测量技术在工业生产和日常生活中具有广泛应用，其通过对相机采集的图像进行处理来获取待测物见的三维信息。因此，图像质量对视觉测量系统具有重要的意义，而对于具有高反射特性表面的物件，其表面的镜面反射会产生图像的高光区域，覆盖被测物件的外部纹理和颜色特征，最终或降低图像质量；常用的高光抑制方法主要是基于双色反射模型，通过改进算法以处理少量图像甚至单个图像，从而分离高光区域中的漫反射成份和镜面反射成份，最终达到去除高光的效果。但由于硬件限制和较少的图像信息，可能会导致物件真实信息的一些误差，如颜色失真、纹理失真甚至结构失真；因此，通过硬件和优化算法抑制物件图像的高光区域，同时降低其颜色、纹理和结构信息的失真度，具有重要现实意义。
技术实现思路
本专利技术的目的在于克服传统高光抑制方法容易造成物件颜色信息失真、纹理信息失真和结构信息失真等问题，提供一种基于偏振图像和机器学习的高光物件测量方法，抑制物件图像的高光区域，同时降低其颜色、纹理和结构信息的失真度。本专利技术提出的基于偏振图像和机器学习的高光物件测量方法，涉及构建视觉测量系统，并通过调节视觉测量系统中线偏振片和神经网络学习，实现高光物件测量。所述的视觉测量系统，包括CMOS相机、线偏振片、偏振片电动旋转架及其控制器；CMOS相机采用张正友标定法标定获得内外参数；其中，线偏振片置于所述CMOS相机与待测物件中间，其中心与CMOS相机的光轴重合，线偏振片固定在电动旋转架内，由计算机通过连接电动旋转架控制器控制线偏振片角度，并控制CMOS相机分别进行图像拍摄。本专利技术方法的具体步骤为：(1)搭建上述双目视觉测量系统，通过计算机控制电动旋转架，从而控制线偏振片的旋转角度；在不同旋转角度下，通过计算机控制左右CMOS相机分别进行图像拍摄，得到多幅不同偏振角度下的图像，形成偏振图像序列；(2)对拍摄的偏振图像进行白平衡处理：将图像依次从RGB转换为HSV通道，采用均值漂移算法对其V通道图像进行平滑；再通过公式(1)寻找重心其中xi表示图像中每个像素，表示二维图像矩阵A中的像素坐标[A(x)，A(y)]，表示图像的R、G、B3个通道值[R，G，B]，上述5种数据共同构成一个5维空间，在此空间内像素点xi通过公式(1)计算并移动至坐标重心表示颜色重心，hA是图像矩阵A的核平滑尺度，hRGB为RGB通道核平滑尺度，g是高斯核函数；(3)通过估计外部光源与平滑后图像V通道值之间的关系，得到图像的高光阈值，根据阈值提取每幅偏振图像中的高光像素：当图像V通道值超过阈值时，则判别为高光像素并提取；(4)根据高光像素的数量及其V通道值，对提取的高光像素集从强到弱进行排序，强高光图像的高光像素数量和高光像素V通道值高于弱高光图像的高光像素数量和高光像素V通道值；最强高光图像的高光像素数量最多且高光像素值最大，最弱高光图像的高光像素数量最少且高光像素值最小；(5)采用BP神经网络进行学习训练，首先初始化BP神经网络，即将神经网络的初始参数设置为高斯分布；对步骤(3)提取的高光像素进行采样，并将其V通道值进行归一化，构成矩阵M，基于矩阵M分别构造输入矩阵和对应输出矩阵，矩阵列数m等于最弱高光图像中的高光像素的个数，矩阵行数n等于除最弱高光图像以外的偏振图像数量，将除最弱高光图像以外的偏振图像的高光像素按照步骤(3)顺序构造输入矩阵，再将除最强高光图像以外的偏振图像高光像素按照步骤(3)的顺序构造BP神经网络的输出矩阵，BP神经网络的输出矩阵的维数与输入矩阵保持一致；若步骤(3)提取的高光像素值Hi，j(i＝1，2，3，…，n；j＝1，2，3，…，m)低于高光阈值，则采用其对应图像中对应像素V通道值进行填充；(6)将步骤(5)构造的输入和输出矩阵导入至BP神经网络，进行训练；再将最弱高光图像的高光像素V通道值输入至训练完成的神经网络中，将输出值反归一化，得到高光抑制后的高光像素V通道值，再将所得的高光像素V通道值替换最弱高光图像中对应像素点V通道值，同时可调整S通道值以增强物件表面的颜色信息，最后将将图像从HSV转换为RGB通道，再对RGB图像进行平滑；(7)将步骤(6)所得的图像转换为灰度图进行双目视觉立体匹配，得到高光抑制之后的视差图，根据相机的内外标定参数，得到物件三维信息。本专利技术能够对具有高反射特性表面的待测物件进行较为准确的视觉测量，通过抑制由外界光源引发的高光现象，提高视觉测量过程中立体匹配的准确率，最终获得更精确的测量结果。实验证明，本专利技术有效抑制了物件图像的高光，提高了视觉测量中的立体匹配精度，获得了更可靠的深度信息和更精确测量结果。附图说明图1是不同偏振角度下CMOS相机采集的物件图像。图2是用于高光抑制的BP神经网络算法流程图。图3是高光抑制前后的视差图对比。具体实施方式(1)首先搭建一套双目视觉的被动测量系统，待测物件表面具有高反射率，其图像存在高光现象。待测物件放置在CMOS相机前约350mm处，线偏振片置于电动偏振片旋转架内放置在CMOS相机与待测物件中间，采用张正友标定法对CMOS相机进行标定以求取相机的内外参数，用于矫正相机所拍摄的图像，相机的视场角为57.3°*43.8°(1/2')，基于标定参数矫正后的图像中，其空间分辨率约为0.21毫米/像素。如图2所示，基于上述实验装置，通过相机和线偏振片拍摄多幅不同偏振角度的图像，在高光区域中，不同偏振角度下(α，β，γ，θ)，图像具有明显变化，其中θ角度下，图像高光最弱，但是仍存在一些高光区域，导致物件特征被覆盖，从而在之后的图像立体匹配中，左右图像中在该区域中具有较大差异，影响特征匹配的精度，最终产生不准确的视差图和深度图。(2)基于自动阈值白平衡算法，对步骤(1)采集的图像进行白平衡处理，对其中高光像素进行定位和提取，以减少不相关像素的干扰，再将处理后图像的颜色空间从RGB转换到HSV通道，提取其中直接反映光照信息V通道。为了减少图像中的噪声点，减少其对高光抑制和立体匹配的影响，引入均值漂移算法对其V通道图像进行平滑。设xi表示图像中每个像素，m表示图像中像素点的数量，则RGB图像中的每个像素点包含5种数据，分别为二维图像矩阵A中像素坐标xA＝[A(x)，A(y)]，和RGB通道中3个通道值(xRGB＝[R，G，B]。像素点xi在上述5种数据组成的空间中计算并移动至坐标重心以在图像矩阵A中坐标(A(X)，A(y))为中心点方形区域内的像素点，可表示为：其中，hA是图像矩阵A的核平滑尺度，定义g为Gaussian分布核函数，在公式(1)范围内，像素点xi根据颜色重心计算并移动至坐标重心坐标重心求解公式如下：其中，hRGB为RGB通道核平滑尺度，hRGB与hA都是Mean-Shi本文档来自技高网...

【技术保护点】
1.一种基于偏振图像和机器学习的高光物件测量方法，其特征在于，具体步骤如下：/n（1）搭建双目视觉测量系统，该系统包括CMOS相机、线偏振片、偏振片电动旋转架及其控制器；CMOS相机采用张正友标定法标定获得内外参数；其中，线偏振片置于所述CMOS相机与待测物件中间，其中心与CMOS相机的光轴重合，线偏振片固定在电动旋转架内；由计算机通过连接电动旋转架控制器控制线偏振片角度，并控制左右CMOS相机分别进行图像拍摄；得到多幅不同偏振角度下的图像，形成偏振图像序列；/n（2）对拍摄的偏振图像进行白平衡处理；将图像依次从RGB转换为HSV通道，采用均值漂移算法对其V通道图像进行平滑；再通过公式（1）寻找重心y

【技术特征摘要】
1.一种基于偏振图像和机器学习的高光物件测量方法，其特征在于，具体步骤如下：
（1）搭建双目视觉测量系统，该系统包括CMOS相机、线偏振片、偏振片电动旋转架及其控制器；CMOS相机采用张正友标定法标定获得内外参数；其中，线偏振片置于所述CMOS相机与待测物件中间，其中心与CMOS相机的光轴重合，线偏振片固定在电动旋转架内；由计算机通过连接电动旋转架控制器控制线偏振片角度，并控制左右CMOS相机分别进行图像拍摄；得到多幅不同偏振角度下的图像，形成偏振图像序列；
（2）对拍摄的偏振图像进行白平衡处理；将图像依次从RGB转换为HSV通道，采用均值漂移算法对其V通道图像进行平滑；再通过公式（1）寻找重心yiA（k）：

(1)
其中表示图像中每个像素，xiA表示二维图像矩阵A中的像素坐标[A(x),A(y)]，xiRGB表示图像的RGB3个通道值[R,G,B]，上述5种数据共同构成一个5维空间，在此空间内像素点xi通过公式(1)计算并移动至坐标重心yiA（k），yiRGB（k）表示颜色重心，hA是图像矩阵A的核平滑尺度，hRGB为RGB通道核平滑尺度，是高斯核函数；
（3）通过估计外部光源与平滑后图像V通道值之间的关系，得到图像的高光阈值，根据阈值提取每幅偏振图像中的高光像素：当图像V通道值超过阈值时，则判别为高光像素并提取；
（4）根据高光像素的数量及其V通道值，对提取的高光像素集从强到弱进行排序，强高光图像的高光像素...

【专利技术属性】
技术研发人员：孔令豹，孙翔，徐敏，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31