基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法技术

为解决表面缺陷检测信息不完善、精度和效率不高等问题，本发明专利技术提供一种基于偏振结构光成像技术和改进Mask R‑CNN的缺陷检测方法，首先将偏振处理和结构光三维成像相结合，获取物体高清晰度的二维实物图和三维空间信息，并对二维实物图进行中值滤波处理；其次在Mask R‑CNN目标识别方法的基础上，加入K‑means算法对训练集进行聚类分析，并对原始FPN结构增加自上而下兼具侧边连接的支路，将下层高分辨率特征和上层高分辨率特征相结合生成新特征图；之后利用改进后的Mask R‑CNN网络检测出带有缺陷的图像，并对缺陷进行分类、定位、分割；最后通过数据整理获得缺陷的类型、位置、长度、宽度、深度、面积等一系列信息，做到对缺陷数据的量化，有效提高物体表面缺陷检测精度和效率。

【技术实现步骤摘要】
基于偏振结构光成像和改进MaskR-CNN的缺陷检测方法
本专利技术涉及一种基于偏振结构光成像技术和改进MaskR-CNN的缺陷检测方法，属于图像处理

技术介绍
无损检测技术是在不损害或不影响被检测对象使用性能和内部组织的前提下，利用热、声、光、电、磁等反应的变化来对被测物体中存在的缺陷进行检测。随着产品质量要求越来越高，检测手段越来越丰富，对产品表面缺陷识别也越来越严格。结构光成像检测技术在很多方面都有应用，能够检测出产品表面缺陷的三维尺寸信息，但在三维重构过程中由于大面积耀光会影响光栅条纹的提取从而导致无法获得较为准确的深度信息，而偏振处理可以有效地起到滤除杂光的作用，提高图像的清晰度。此外，传统的人工检测方法不但效率低下，且容易产生视觉疲劳，造成误判，而基于改进MaskR-CNN深度学习的目标检测方法可以有效地提升检测速度和精度。因此研究新的光学成像检测技术来提高检测效率和检测精度是研究者努力的重要方向。
技术实现思路
本专利技术针对目前表面缺陷检测的信息不完善、精度和效率不高等问题提供一种基于偏振结构光成像技术和改进MaskR-CNN的缺陷检测方法。首先通过对反射光的偏振处理得到待测物体表面的高清晰度结构特征，获取物体表面的二维实物图和光栅条纹畸变图像，结合结构光三维成像技术的优势，做到对待测物体的高分辨率三维重构，更为准确地获取待测物品三维尺寸信息；其次利用中值滤波对二维实物图进行滤波处理后制作数据集；然后在MaskR-CNN网络基础上加入K-means算法对训练集进行聚类分析，使改进后的网络能够自动调整最适合的选取框面积，并对原始FPN结构增加自上而下兼具侧边连接的支路，将下层高分辨率特征和上层高分辨率特征相结合生成新特征图；之后利用改进MaskR-CNN网络检测出带有缺陷的图像，并对缺陷进行分类、定位、分割；最后通过数据整理获得缺陷的类型、位置、长度、宽度、深度、面积等一系列信息，做到对缺陷数据的量化。基于以上原理，本专利技术的技术方案为：所述一种基于偏振结构光成像和改进MaskR-CNN的缺陷检测方法，包括以下步骤：步骤1：在载物台上设置好检测工位，并在检测工位上方的预定角度处放置结构光光学投射器和激光光源；在反射光角度处放置工业相机，工业相机镜头前放置偏振片；步骤2：在检测工位上放置待测物体，首先打开激光光源照射物体表面，反射光经过偏振处理后进入工业相机，获取物体表面的二维实物图；然后关闭激光光源，利用结构光光学投射器将已知相位的光栅条纹图像投射于物体同一表面，在表面形成由被测物体表面形状所调制的光栅条纹，工业相机拍摄经过偏振处理的光栅条纹畸变图像；步骤3：对步骤2拍摄的二维实物图进行中值滤波处理；步骤4：获取步骤2拍摄的光栅条纹畸变图像的相位分布信息，并利用相位与物体空间坐标的关系求出物体表面的三维坐标，获得待测物体的三维空间信息；步骤5：将步骤4中值滤波处理后的图片作为待测图片输入到已经训练好的改进MaskR-CNN网络中；所述改进的MaskR-CNN网络包括预处理模块、ResNet-101残差网络、改进的特征金字塔网络、区域候选网络；在预处理模块中对输入图片进行尺寸调整，在确保输入的图片不失真的情况下将图片尺寸处理成2的整数次方倍数的方形尺寸，以提高语义分割的精确度；步骤6：在MaskR-CNN网络中，采用ResNet-101残差网络对步骤5预处理后的图片进行特征提取；特征提取后采用改进的特征金字塔网络进行结构搭建，在解决网络退化的同时加入多尺度信息，实现特征多尺度的融合；最后将融合后的特征层作为有效特征层输入到区域候选网络；步骤7：利用区域候选网络和非极大值抑制算法过滤掉一部分候选感兴趣区域，得到最终的候选感兴趣区域；有效特征层与最终的候选感兴趣区域对应的部分经过ROIAlign处理后得到局部特征层，然后再并行两个结构分支：第一个分支采用全连接层进行分类和回归预测，从而完成缺陷分类和定位；第二个分支采用Head层将ROIAlign层的输出维度扩大，通过全卷积网络进行掩膜预测；步骤8：采用语义分割模型对回归预测得到的有效特征层中的缺陷区域进行语义分割；当多个同类型缺陷存在粘连或重叠时，通过Mask语义分割将单个缺陷进行分离，并进一步统计缺陷数目，获取缺陷的几何属性。进一步的，步骤3的中值滤波指：对于像素点x(n)，取像素点x(n)前后N个像素点，共同组成操作像素点x(n-N)...x(n)...x(n+N)，根据公式y(n)＝med[x(n-N)...x(n)...x(n+N)]计算中值滤波后得到的像素点y(n)，其中med[]表示将窗口内所有数值按单调顺序排列后取中间值。进一步的，步骤4中采用四步相移法获取步骤2拍摄的光栅条纹畸变图像的相位分布信息：所述四步相移法指在不同时刻投影一系列具有一定相位差的光栅，将投射的相移图案每次平移π/2，平移三次；相机获取每次投影在被测物体表面的光栅条纹图像后，由拍摄的时间序列图像，求取每一点的相位差；通过分别投射四副不同相位的条纹图像，计算同一点在不同条纹投射时的相位差。进一步的，步骤4中采用时间相位展开法获取步骤2拍摄的光栅条纹畸变图像的相位分布信息：所述时间相位展开法指按时间先后顺序将多个不同的编码条纹图案依次向被测物体表面上投射，得到并采集相对应的光栅编码条纹图案，将光栅编码条纹图案与编码方式对照进行解码，最终实现解相位，得到图像的相位分布信息。进一步的，步骤5中训练的改进MaskR-CNN网络过程包括以下过程：对步骤3中的中值滤波处理后带有缺陷的图片进行数据扩充并建立原始数据集；采用标注工具对原始数据集中每张缺陷图片的缺陷区域进行标注；将标注好的图片数据集分为训练集、验证集、测试集；同时通过迁移学习的方法将COCO数据集上训练得到的网络参数值作为MaskR-CNN网络的初始参数；通过加入K-means算法对MaskR-CNN进行改进，利用K-means算法对训练集目标进行聚类分析，确定与MaskR-CNN中特征层对应的初始化聚类中心：对于MaskR-CNN网络中的特征金字塔网络，在原始特征金字塔网络的基础上增加自上而下兼具侧边连接的支路，并将下层高分辨率特征和上层高分辨率特征相结合，生成更充分融合低层位置信息和高层语义信息的新特征图，利用各层特征信息，提升缺陷检测精度；将训练集输入到具有初始参数的改进MaskR-CNN网络中进行训练，训练完成后，利用所述验证集验证改进MaskR-CNN网络的缺陷识别结果，并相应对网络参数进行调整，最终得到用来分类、定位和分割缺陷的改进MaskR-CNN网络。进一步的，数据扩充方法包括图片旋转、独立目标裁剪、颜色抖动、随机平移、对比度增强、锐度变化、增加高斯噪音或缩放。进一步的，所述K-means算法流程为：假设训练集中目标样本X有n个缺陷对象，X＝{X1,X2,X3,...,Xn}，其中每个对象都具有长和宽两本文档来自技高网...

【技术保护点】
1.一种基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法，其特征在于：包括以下步骤：/n步骤1：在载物台上设置好检测工位，并在检测工位上方的预定角度处放置结构光光学投射器和激光光源；在反射光角度处放置工业相机，工业相机镜头前放置偏振片；/n步骤2：在检测工位上放置待测物体，首先打开激光光源照射物体表面，反射光经过偏振处理后进入工业相机，获取物体表面的二维实物图；然后关闭激光光源，利用结构光光学投射器将已知相位的光栅条纹图像投射于物体同一表面，在表面形成由被测物体表面形状所调制的光栅条纹，工业相机拍摄经过偏振处理的光栅条纹畸变图像；/n步骤3：对步骤2拍摄的二维实物图进行中值滤波处理；/n步骤4：获取步骤2拍摄的光栅条纹畸变图像的相位分布信息，并利用相位与物体空间坐标的关系求出物体表面的三维坐标，获得待测物体的三维空间信息；/n步骤5：将步骤4中值滤波处理后的图片作为待测图片输入到已经训练好的改进MaskR-CNN网络中；所述改进的Mask R-CNN网络包括预处理模块、ResNet-101残差网络、改进的特征金字塔网络、区域候选网络；/n在预处理模块中对输入图片进行尺寸调整，在确保输入的图片不失真的情况下将图片尺寸处理成2的整数次方倍数的方形尺寸，以提高语义分割的精确度；/n步骤6：在Mask R-CNN网络中，采用ResNet-101残差网络对步骤5预处理后的图片进行特征提取；特征提取后采用改进的特征金字塔网络进行结构搭建，在解决网络退化的同时加入多尺度信息，实现特征多尺度的融合；最后将融合后的特征层作为有效特征层输入到区域候选网络；/n步骤7：利用区域候选网络和非极大值抑制算法过滤掉一部分候选感兴趣区域，得到最终的候选感兴趣区域；有效特征层与最终的候选感兴趣区域对应的部分经过ROI Align处理后得到局部特征层，然后再并行两个结构分支：第一个分支采用全连接层进行分类和回归预测，从而完成缺陷分类和定位；第二个分支采用Head层将ROI Align层的输出维度扩大，通过全卷积网络进行掩膜预测；/n步骤8：采用语义分割模型对回归预测得到的有效特征层中的缺陷区域进行语义分割；当多个同类型缺陷存在粘连或重叠时，通过Mask语义分割将单个缺陷进行分离，并进一步统计缺陷数目，获取缺陷的几何属性。/n...

【技术特征摘要】
1.一种基于偏振结构光成像和改进MaskR-CNN的缺陷检测方法，其特征在于：包括以下步骤：
步骤1：在载物台上设置好检测工位，并在检测工位上方的预定角度处放置结构光光学投射器和激光光源；在反射光角度处放置工业相机，工业相机镜头前放置偏振片；
步骤2：在检测工位上放置待测物体，首先打开激光光源照射物体表面，反射光经过偏振处理后进入工业相机，获取物体表面的二维实物图；然后关闭激光光源，利用结构光光学投射器将已知相位的光栅条纹图像投射于物体同一表面，在表面形成由被测物体表面形状所调制的光栅条纹，工业相机拍摄经过偏振处理的光栅条纹畸变图像；
步骤3：对步骤2拍摄的二维实物图进行中值滤波处理；
步骤4：获取步骤2拍摄的光栅条纹畸变图像的相位分布信息，并利用相位与物体空间坐标的关系求出物体表面的三维坐标，获得待测物体的三维空间信息；
步骤5：将步骤4中值滤波处理后的图片作为待测图片输入到已经训练好的改进MaskR-CNN网络中；所述改进的MaskR-CNN网络包括预处理模块、ResNet-101残差网络、改进的特征金字塔网络、区域候选网络；
在预处理模块中对输入图片进行尺寸调整，在确保输入的图片不失真的情况下将图片尺寸处理成2的整数次方倍数的方形尺寸，以提高语义分割的精确度；
步骤6：在MaskR-CNN网络中，采用ResNet-101残差网络对步骤5预处理后的图片进行特征提取；特征提取后采用改进的特征金字塔网络进行结构搭建，在解决网络退化的同时加入多尺度信息，实现特征多尺度的融合；最后将融合后的特征层作为有效特征层输入到区域候选网络；
步骤7：利用区域候选网络和非极大值抑制算法过滤掉一部分候选感兴趣区域，得到最终的候选感兴趣区域；有效特征层与最终的候选感兴趣区域对应的部分经过ROIAlign处理后得到局部特征层，然后再并行两个结构分支：第一个分支采用全连接层进行分类和回归预测，从而完成缺陷分类和定位；第二个分支采用Head层将ROIAlign层的输出维度扩大，通过全卷积网络进行掩膜预测；
步骤8：采用语义分割模型对回归预测得到的有效特征层中的缺陷区域进行语义分割；当多个同类型缺陷存在粘连或重叠时，通过Mask语义分割将单个缺陷进行分离，并进一步统计缺陷数目，获取缺陷的几何属性。


2.根据权利要求1所述一种基于偏振结构光成像和改进MaskR-CNN的缺陷检测方法，其特征在于：步骤3的中值滤波指：
对于像素点x(n)，取像素点x(n)前后N个像素点，共同组成操作像素点x(n-N)...x(n)...x(n+N)，根据公式
y(n)＝med[x(n-N)...x(n)...x(n+N)]
计算中值滤波后得到的像素点y(n)，其中med[]表示将窗口内所有数值按单调顺序排列后取中间值。


3.根据权利要求1所述一种基于偏振结构光成像和改进MaskR-CNN的缺陷检测方法，其特征在于：步骤4中采用四步相移法获取步骤2拍摄的光栅条纹畸变图像的相位分布信息：
所述四步相移法指在不同时刻投影一系列具有一定相位差的光栅，将投射的相移图案每次平移π/2，平移三次；相机获取每次投影在被测物体表面的光栅条纹图像后，由拍摄的时间序列图像，求取每一点的相位差；通过分别投射四副不同相位的条纹图像，计算同一点在不同条纹投射时的相位差。


4.根据权利要求1所述一种基于偏振结构光成像和改进MaskR-CNN的缺陷检测方法，其特征在于：步骤4中采用时间相位展开法获取步骤2拍摄的光栅条纹畸变图像的相位分布信息：
所述时间相位展开法指按时间先后顺序将多个不同的编码条纹图案依次向被测物体表面上投射，得到并采集相对应的光栅编码条纹图案，将光栅编码条纹图案与编码方式对照进行解码，最终实现解相位，得到图像的相位分布信息。


5.根据权利要求1所述一种基于偏振结构光成像和改进MaskR-CNN的缺陷检测方法，其特征在于：步骤5中训练的改进MaskR-CNN网络过程包括以下过程：
对步骤3中的中值滤波处理后带有缺陷的...

【专利技术属性】
技术研发人员：汪诚，吴静，李彬，丁相玉，周九茹，安志斌，桂敏，
申请(专利权)人：中国人民解放军空军工程大学，
类型：发明
国别省市：陕西;61