基于多光源协同的表面缺陷检测方法及系统技术方案

本发明专利技术提供了一种基于多光源协同的表面缺陷检测方法及系统，包括采集物体在不同方向光源照射下的一组图像；对训练集样本进行随机裁剪，并添加噪声，得到训练数据；每个分支均以一个三通道RGB图像作为输入，得到多分支特征信息；对网络进行搭建，使用最大池化将多分支特征信息进行融合，将数量不定的特征向量聚合为一个具有固定通道数的特征图，保留各个分支最显著的特征，得到待训练检测模型；使用训练数据，输入待训练检测模型，完成模型前向计算，得到已训练检测模型；将已训练检测模型用于实际工业质检场景中，对工件表面缺陷进行检测。本发明专利技术通过二维图像对物体的三维形状进行还原，解决了工业质检场景下三维缺陷难以检测与分类的问题。分类的问题。分类的问题。

【技术实现步骤摘要】
基于多光源协同的表面缺陷检测方法及系统


[0001]本专利技术涉及工业质检的
，具体地，涉及基于多光源协同的表面缺陷检测方法及系统。

技术介绍

[0002]工业生产的零件由于制造工艺和运输条件的限制，常常在生产和运输过程中产生表面缺陷。为了确保自动化生产的产品质量，进行零件的表面缺陷检测是不可缺少的关键环节。以往这类零件的检测方法往往分为人工检测和自动化检测两种。
[0003]在公开号为CN112630230A的专利文献中公开了一种基于光度立体法的在线表面缺陷检测方法，检测过程中，零件随传送带持续运动，当到达检测区域，分布于检测区域四周的光源循环亮起，同时相机同步拍摄不同方向光源照明情况下的图片，在整个过程中零件随传送带持续运动，拍摄不同图片的过程中，零件位置发生了移动，表面缺陷检测步骤包括：通过提取边缘信息制作模板，根据模板匹配实现多张图片中零件位置的统一，以满足后续光度立体法解算的前提条件；通过光度立体法恢复不同工位下的零件表面梯度、曲率信息；依次通过二值化、边缘检测、连通域检测特征提取手段提取零件表面缺陷，并根据阈值进行初步筛选以判断待测零件加工质量是否合格。
[0004]在公开号为CN113658155A的专利文献中公开了一种基于光度立体的物体表面瑕疵检测分析方法及装置，其中，一种基于光度立体的物体表面瑕疵检测分析方法包括：获取至少三种不同角度光源的待测物体表面图像上的像素值，构建光度立体数学模型；对光度立体数学模型进行反射率计算，构建反射率图；计算得到待测物体表面的梯度场；根据待测物体表面的梯度场，进行高斯表面曲率计算和进行平均表面曲率计算，获取高斯表面曲率缺陷图和平均表面曲率缺陷图；分析反射率图、高斯表面曲率缺陷图和平均表面曲率缺陷图，得到检测结果。
[0005]其缺点为：1.采用卷积神经网络，训练和测试时输入的图像数量和图像大小必须一致，不利于模型的灵活运用。2.训练和测试时必须将光源方向作为输入，对于无法获得光源准确信息的场景很难运用。3.未构建足够的训练集样本，采用无监督的方法进行学习，三维重建效果不满足预期。4.直接对非朗伯体表面的反射率进行建模，计算繁琐，且很难适应不同材质的物体。
[0006]因此，需要提出一种新的技术方案以改善上述技术问题。

技术实现思路

[0007]针对现有技术中的缺陷，本专利技术的目的是提供一种基于多光源协同的表面缺陷检测方法及系统。
[0008]根据本专利技术提供的一种基于多光源协同的表面缺陷检测方法，所述方法包括如下步骤：
[0009]步骤S1：根据光度立体法的基本原理，以相同的相机视角，采集物体在不同方向光
源照射下的一组图像，根据每个像素点的光照强度计算物体表面的法向量；
[0010]步骤S2：使用仿真数据集Blobby Dataset和Sculpture Dataset作为训练集，对训练集样本进行随机裁剪，并添加噪声，得到训练数据；
[0011]步骤S3：全卷积神经网络是一个多分支的暹罗网络，在输入端，各分支网络具有相同的配置、参数以及权重，每个分支均以一个三通道RGB图像作为输入，得到多分支特征信息；
[0012]步骤S4：对网络进行搭建，使用最大池化将步骤S3输出的多分支特征信息进行融合，将数量不定的特征向量聚合为一个具有固定通道数的特征图，保留各个分支最显著的特征，得到待训练检测模型；
[0013]步骤S5：使用步骤S2中得到的训练数据，输入步骤S4中得到的待训练检测模型，完成模型前向计算，得到已训练检测模型；
[0014]步骤S6：将步骤S5中得到的已训练检测模型用于实际工业质检场景中，对工件表面缺陷进行检测。
[0015]优选地，所述步骤S1将相机方向固定竖直向下，设置四个不同方向的光源；各方向光源轮流照射待测物体，相机分别对单个光源照射下的物体进行拍摄，采集到的图像作为测试数据。
[0016]优选地，所述步骤S3中的每个单分支使用Darknet
‑
53的主干部分进行特征提取，使用特征金字塔结构进行特征融合；Darknet
‑
53共对输入图像进行五次降采样，压缩图像，减少参数；特征金字塔结构自上而下地将高层特征信息与低层特征信息融合，并传递到下一层，加强特征的提取，得到多分支特征信息。
[0017]优选地，所述步骤S4中将融合特征信息输入法向量回归网络；所述法向量回归网络设置有两个上采样层和一个逆卷积层；在法向量回归网络的末端采用L2归一化层统一特征向量的量纲，并生成表面法向量；网络搭建完成后，得到待训练检测模型。
[0018]优选地，所述步骤S5中的训练的结果采用预测法向量和真实法向量之间的估计误差进行监督；采用余弦相似度表示损失函数；通过损失函数计算实际输出和期望输出之间的差距，根据梯度反向传播算法，得到模型中能够学习参数的梯度，根据优化器配置完成梯度的参数更新，再次进行前向传播，反复迭代；随着损失函数逐渐减小，完成模型的训练，得到已训练检测模型。
[0019]本专利技术还提供一种基于多光源协同的表面缺陷检测系统，所述系统包括如下模块：
[0020]模块M1：根据光度立体法的基本原理，以相同的相机视角，采集物体在不同方向光源照射下的一组图像，根据每个像素点的光照强度计算物体表面的法向量；
[0021]模块M2：使用仿真数据集Blobby Dataset和Sculpture Dataset作为训练集，对训练集样本进行随机裁剪，并添加噪声，得到训练数据；
[0022]模块M3：全卷积神经网络是一个多分支的暹罗网络，在输入端，各分支网络具有相同的配置、参数以及权重，每个分支均以一个三通道RGB图像作为输入，得到多分支特征信息；
[0023]模块M4：对网络进行搭建，使用最大池化将模块M3输出的多分支特征信息进行融合，将数量不定的特征向量聚合为一个具有固定通道数的特征图，保留各个分支最显著的
特征，得到待训练检测模型；
[0024]模块M5：使用模块M2中得到的训练数据，输入模块M4中得到的待训练检测模型，完成模型前向计算，得到已训练检测模型；
[0025]模块M6：将模块M5中得到的已训练检测模型用于实际工业质检场景中，对工件表面缺陷进行检测。
[0026]优选地，所述模块M1将相机方向固定竖直向下，设置四个不同方向的光源；各方向光源轮流照射待测物体，相机分别对单个光源照射下的物体进行拍摄，采集到的图像作为测试数据。
[0027]优选地，所述模块M3中的每个单分支使用Darknet
‑
53的主干部分进行特征提取，使用特征金字塔结构进行特征融合；Darknet
‑
53共对输入图像进行五次降采样，压缩图像，减少参数；特征金字塔结构自上而下地将高层特征信息与低层特征信息融合，并传递到下一层，加强特征的提取，得到多分支特征信息。
[0028]优选地，所述模块M4中将融合特征信息输入法向量回归网络；所述法向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多光源协同的表面缺陷检测方法，其特征在于，所述方法包括如下步骤：步骤S1：根据光度立体法的基本原理，以相同的相机视角，采集物体在不同方向光源照射下的一组图像，根据每个像素点的光照强度计算物体表面的法向量；步骤S2：使用仿真数据集Blobby Dataset和Sculpture Dataset作为训练集，对训练集样本进行随机裁剪，并添加噪声，得到训练数据；步骤S3：全卷积神经网络是一个多分支的暹罗网络，在输入端，各分支网络具有相同的配置、参数以及权重，每个分支均以一个三通道RGB图像作为输入，得到多分支特征信息；步骤S4：对网络进行搭建，使用最大池化将步骤S3输出的多分支特征信息进行融合，将数量不定的特征向量聚合为一个具有固定通道数的特征图，保留各个分支最显著的特征，得到待训练检测模型；步骤S5：使用步骤S2中得到的训练数据，输入步骤S4中得到的待训练检测模型，完成模型前向计算，得到已训练检测模型；步骤S6：将步骤S5中得到的已训练检测模型用于实际工业质检场景中，对工件表面缺陷进行检测。2.根据权利要求1所述的基于多光源协同的表面缺陷检测方法，其特征在于，所述步骤S1将相机方向固定竖直向下，设置四个不同方向的光源；各方向光源轮流照射待测物体，相机分别对单个光源照射下的物体进行拍摄，采集到的图像作为测试数据。3.根据权利要求1所述的基于多光源协同的表面缺陷检测方法，其特征在于，所述步骤S3中的每个单分支使用Darknet
‑
53的主干部分进行特征提取，使用特征金字塔结构进行特征融合；Darknet
‑
53共对输入图像进行五次降采样，压缩图像，减少参数；特征金字塔结构自上而下地将高层特征信息与低层特征信息融合，并传递到下一层，加强特征的提取，得到多分支特征信息。4.根据权利要求1所述的基于多光源协同的表面缺陷检测方法，其特征在于，所述步骤S4中将融合特征信息输入法向量回归网络；所述法向量回归网络设置有两个上采样层和一个逆卷积层；在法向量回归网络的末端采用L2归一化层统一特征向量的量纲，并生成表面法向量；网络搭建完成后，得到待训练检测模型。5.根据权利要求1所述的基于多光源协同的表面缺陷检测方法，其特征在于，所述步骤S5中的训练的结果采用预测法向量和真实法向量之间的估计误差进行监督；采用余弦相似度表示损失函数；通过损失函数计算实际输出和期望输出之间的差距，根据梯度反向传播算法，得到模型中能够学习参数的梯度，根据优化器配置完成梯度的参数更新，再次进行前向传播，反复迭代；随着损失函数逐渐减小，完成模型的训练，得到已训练检测模型。6.一种基于多...

【专利技术属性】
技术研发人员：李源琦，刘潇颖，
申请(专利权)人：上海互觉科技有限公司，
类型：发明
国别省市：