基于光度立体表面重建的数据集制作方法及验证系统技术方案

基于光度立体表面重建的缺陷检测数据集制作方法，包括以下步骤：(1)选择四种类型的对象生成数据集；(2)获取多张不同光照条件下的图像；对每个对象依次激励不同位置光源进行打光，获取对象表面区域的一组光度图像；(3)获取多张不同光照条件下的图像；对每个对象依次激励不同位置光源进行打光，获取对象表面区域的一组光度图像；(4)基于步骤(3)获得的法向量图，构建基于光度立体表面重建的缺陷检测数据集。本发明专利技术还提供一种基于光度立体表面重建的缺陷检测数据集制作方法的验证系统。发明专利技术能够通过获取多张不同光源条件下的图像，避免由于表面反光造成的信息缺失，光度立体视觉能够获取表面法向量图；并设计了验证系统，对整体方案进行验证，实现了金属表面缺陷的有效识别。实现了金属表面缺陷的有效识别。实现了金属表面缺陷的有效识别。

【技术实现步骤摘要】
基于光度立体表面重建的数据集制作方法及验证系统


[0001]本专利技术涉及基于光度立体表面重建的数据集制作方法及验证系统。

技术介绍

[0002]当前，企业中多数采用人工目视检测的方式进行产品表面质量检测，该方法存在以下几个问题：工厂生产环境较为恶劣，尤其是冲压车间存在较大的振动噪声，不适宜工人长时间工作；工人通过目视检测的方式会受到主观因素影响；长时间进行检测会造成眼部疲劳，损害身体健康。自动化检测成为企业发展的趋势，自动化检测能够规范检测标准，节省劳动力成本，降低工人劳动强度，提高检测效率。
[0003]计算机视觉的发展大大缓解了这个问题，基于图像的机器视觉检测技术，能够实现非接触式表面无损检测，同时能够将无损检测与自动化和智能化相结合，实现高效率、高精度的非接触式缺陷检测。但是，使用机器视觉算法进行缺陷检测的必要条件是能够在图像中提取缺陷的形态信息，然而金属表面的高反光特性会使采集的图像中部分区域出现过曝现象，单张图像很难获取被测表面所有缺陷的信息。有必要调整光的方向与角度，以确保缺陷不在光泽或阴影区域。但产品零件尺寸较大，检测精度要求较高，难以通过一次成像获取整个表面的图像信息。不同产品间存在尺寸差异，并且腔体曲面难以在正上方获取高质量的表面信息；对于缺陷的检测要求中包含深度方向的信息，二维图像检测难以处理。
[0004]与此同时，近年来光度立体视觉技术在先进制造领域受到了极大的关注，该技术利用在已知光源环境中固定视角下拍摄的不同光照条件的图像，根据物体表面的反射规律，求解出物体表面的法向量信息，反映物体表面的三维特征。由于实际的检测物体多数为非朗伯体材料，非朗伯体表面的反射规律复杂，难以通过理想假设进行精确建模，非朗伯体光度立体(Non
‑
Lambertian Photometric Stereo)成为当前光度立体视觉算法的主要研究方向。
[0005]缺陷检测方法和光度立体算法在各自的基准上都取得了优异的性能。然而，基于光度立体的缺陷检测方法很少。这是由于大多数当前缺陷检测数据是在单一照明下捕获、无法实现法向求解，不能应用于光度立体。同时，现有的光度立体数据集缺乏缺陷样本。

技术实现思路

[0006]为克服上述问题，本专利技术提供一种基于光度立体表面重建的缺陷检测数据集制作方法，包括以下步骤：
[0007](1)构建缺陷样品集，缺陷样品集由多个样品组成，样品属性包括颜色、材质、形状和缺陷类型，每个样品至少有一个属性与其他样品不同；
[0008](2)对每个对象依次激励不同位置光源进行打光，每个位置光源激励获得一张图像，以至少三张图像形成一组光度图像；
[0009](3)将光度图像输入到光度立体网络模型中，使用训练完成的光度立体网络模型根据光度图像进行模型推理估计各像素点处的表面法向量，获得对象表面法向量图；训练
光度立体网络模型包括如下步骤，
[0010]3.1)建立采集系统的成像环境模型，对光度立体成像装置进行光源信息标定；
[0011]3.2)搭建基于三维卷积的光度立体网络模型，使用光度立体合成数据集对模型进行监督训练，至模型在训练数据集上收敛；其中，光度立体合成数据集为Bloddy数据集与Sculpture数据集，用于验证的真实物体数据集为DiLiGenT数据集；
[0012]3.3)设计光度立体网络模型的评价指标，光度立体模型的性能通过表面法向量估计精度进行评价，表面法向量估计精度的计算指标为预测法向量与真实法向量间的平均角度误差；其计算公式为：
[0013][0014]其中，N
k
表示预测法向量图中第k像素处的法向量，表示真实法向量图中第k像素处的法向量，K表示法向量图中像素数的总和；MAE值越小表示法向量的估计精度越高；
[0015](4)基于步骤(3)获得的法向量图，构建基于光度立体表面重建的缺陷检测数据集；
[0016]4.1)使用Python的标注脚本LabelImg进行缺陷目标区域的矩形框标注；
[0017]4.2)读取每个图像的注释文件，获取当前图像中每个缺陷的位置和类别信息，设置滑动窗口，从当前图像的左上角开始、以滑动窗口遍历图像；
[0018]4.3)判断当前滑动窗口内是否存在缺陷目标，如果没有缺陷目标则舍弃该窗口裁切的图像；如果存在缺陷，则将与滑动窗口存在交集的缺陷区域信息进行保存；
[0019]4.4)判断步骤(4.3)保存的区域信息是否存在窗口包含不完整缺陷的情况，不存在则将缺陷的位置信息转换至窗口的图像坐标系下，进行保存生成新的标注文件；当存在不完整的缺陷区域时，计算窗口中该缺陷的面积与实际标注缺陷区域面积的比值，通过阈值判断，当比值大于0.75时，调整缺陷的标注信息，以窗口边界作为新的边界，当比值小于0.75时，将该缺陷舍弃，然后将窗口图片进行保存，并生成新的标注文件；完成后获得缺陷样本图像；
[0020]4.5)将步骤4.6)获得的缺陷样本图像划分为训练集、验证集和测试集。
[0021]进一步，缺陷样品集种至少包括四种类型的缺陷样品；所述四种类型包括不锈钢的黄色半球、银色半球、黄色圆锥体和银色圆锥体，每个样品通过模拟生产过程的冲击在其表面上产生缺陷，缺陷的类型至少包括点状凹坑、变形、划痕和擦伤。
[0022]进一步，对光源标定包括以下步骤：光源方向标定；使用镀铬金属球作为标定球，首先获取标定球球心，通过图像处理求解钢球表面的高光点位置，进而求得该点处的表面法向量；
[0023]获取标定球的参数圆心坐标(x
C
，y
C
)和半径r，处理高光点图像，获取高光点P坐标(x
P
，y
P
)，进行该点处球面法向量的计算；根据标定球三视图，高光点相较于圆心的相对坐标为法向量的x和y方向的分量，z方向分量根据勾股定理计算，N表示为:
[0024][0025]已知反射方向向量和法线方向向量，待求的入射方向向量可由下述方法获取；
[0026]首先将反射方向向量进行平移，与法线方向向量延长向量S相交，根据光的反射定律，向量L、R和S形成等腰三角形；入射方向向量L可表示为：
[0027]L＝R
‑
S
ꢀꢀꢀ
(2)
[0028]向量S与法向方向向量方向相同，可通过向量R与向量N进行表示：
[0029][0030]综合上式，可求得：
[0031]L＝R
‑
2(R
·
N)N
ꢀꢀ
(4)
[0032]3.1.2)光源强度标定；利用标准白板，将标准白板视作理想的朗伯体表面，标准白板的形状为理想平面，各点法向量一致，白板的平面法向量n
std
＝(0，0，1)
T
；标定白板的光度立体公式如下：
[0033][0034]其中，白板表面像素响应值光源方向l，白板平面法向量均为已知参数，k本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于光度立体表面重建的缺陷检测数据集制作方法，其特征在于，包括以下步骤：(1)构建缺陷样品集，缺陷样品集由多个样品组成，样品属性包括颜色、材质、形状和缺陷类型，每个样品至少有一个属性与其他样品不同；(2)对每个对象依次激励不同位置光源进行打光，每个位置光源激励获得一张图像，以至少三张图像形成一组光度图像；(3)将光度图像输入到光度立体网络模型中，使用训练完成的光度立体网络模型根据光度图像进行模型推理估计各像素点处的表面法向量，获得对象表面法向量图；训练光度立体网络模型包括如下步骤，3.1)建立采集系统的成像环境模型，对光度立体成像装置进行光源信息标定；3.2)搭建基于三维卷积的光度立体网络模型，使用光度立体合成数据集对模型进行监督训练，至模型在训练数据集上收敛；其中，光度立体合成数据集为Bloddy数据集与Sculpture数据集，用于验证的真实物体数据集为DiLiGenT数据集；3.3)设计光度立体网络模型的评价指标，光度立体模型的性能通过表面法向量估计精度进行评价，表面法向量估计精度的计算指标为预测法向量与真实法向量间的平均角度误差；其计算公式为：其中，N
k
表示预测法向量图中第k像素处的法向量，表示真实法向量图中第k像素处的法向量，K表示法向量图中像素数的总和；MAE值越小表示法向量的估计精度越高；(4)基于步骤(3)获得的法向量图，构建基于光度立体表面重建的缺陷检测数据集；4.1)使用Python的标注脚本LabelImg进行缺陷目标区域的矩形框标注；4.2)读取每个图像的注释文件，获取当前图像中每个缺陷的位置和类别信息，设置滑动窗口，从当前图像的左上角开始、以滑动窗口遍历图像；4.3)判断当前滑动窗口内是否存在缺陷目标，如果没有缺陷目标则舍弃该窗口裁切的图像；如果存在缺陷，则将与滑动窗口存在交集的缺陷区域信息进行保存；4.4)判断步骤(4.3)保存的区域信息是否存在窗口包含不完整缺陷的情况，不存在则将缺陷的位置信息转换至窗口的图像坐标系下，进行保存生成新的标注文件；当存在不完整的缺陷区域时，计算窗口中该缺陷的面积与实际标注缺陷区域面积的比值，通过阈值判断，当比值大于0.75时，调整缺陷的标注信息，以窗口边界作为新的边界，当比值小于0.75时，将该缺陷舍弃，然后将窗口图片进行保存，并生成新的标注文件；完成后获得缺陷样本图像；4.5)将步骤4.6)获得的缺陷样本图像划分为训练集、验证集和测试集。2.如权利要求1所述的基于光度立体表面重建的缺陷检测数据集制作方法，其特征在于：所述缺陷样品集种至少包括四种类型的缺陷样品；所述四种类型包括不锈钢的黄色半球、银色半球、黄色圆锥体和银色圆锥体，每个样品通过模拟生产过程的冲击在其表面上产生缺陷，缺陷的类型至少包括点状凹坑、变形、划痕和擦伤。3.如权利要求1所述的基于光度立体表面重建的缺陷检测数据集制作方法，其特征在
于：对光源标定包括以下步骤：光源方向标定；使用镀铬金属球作为标定球，首先获取标定球球心，通过图像处理求解钢球表面的高光点位置，进而求得该点处的表面法向量；获取标定球的参数圆心坐标(x
C
，y
C
)和半径r，处理高光点图像，获取高光点P坐标(x
P
，y
P
)，进行该点处球面法向量的计算；根据标定球三视图，高光点相较于圆心的相对坐标为法向量的x和y方向的分量，z方向分量根据勾股定理计算，N表示为:已知反射方向向量和法线方向向量，待求的入射方向向量可由下述方法获取；首先将反射方向向量进行平移，与法线方向向量延长向量S相交，根据光的反射定律，向量L、R和S形成等腰三角形；入射方向向量L可表示为：L＝R
‑
S
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)向量S与法向方向向量方向相同，可通过向量R与向量N进行表示：综合上式，可求得：L＝R
‑
2(R
·
N)N
ꢀꢀꢀꢀ
(4)3.1.2)光源强度标定；利用标准白板，将标准白板视作理想的朗伯体表面，标准白板的形状为理想平面，各点法向量一致，白板的平面法向量n
std
＝(0，0，1)
T
；标定白板的光度立体公式如下：其中，白板表面像素响应值I
std
，光源方向l，白板平面法向量均为已知参数，kc是相机内参，Elight是光源强度，T是曝光时间，ρ
white
是白板反射率；将上式整理可得：上式左侧为常数，通过计算各光源间的该常数比值，然后进行归一化，得到各光源相对强度因子。4.如权利要求1所述的基于光度立体表面重建的缺陷检测数据集制作方法，其特征在于：搭建基于三维卷积的光度立体网络模型具体为包括以下步骤：3.2.1)设计光度立体网络模型的网络模型输入，输入数据是光度矩阵和光源方向与光源强度的标定矩阵；每一帧光度图像的尺寸为3
×
W
×
H，与之对应的光源方向与光源强度标定参数为3
×
1的向量，其中图像宽度为W，图像高度为H，表述物体的图像像素数p可表示为p＝W
×
H；将光源方向参数、光源方向一维向量按照空间维度复制，生成3
×
W
×
H的光源方向图，与对应的光度图像进行拼接，生成6
×
W
×
H的矩阵，然后将q张光度图像在空间维度进行拼接，生成(6
×
q)
×
W
×
H的三维矩阵作为模型的输入；3.2.2)设计光度立体网络模型的初始特征提取模块，对输入的(6
×
q)
×
W
×
H数据矩阵进行卷积操作，获取每一帧的特征图谱，为后续使用三维卷积的提取时空特征做准备；初始特征模块由三维卷积层、激活函数层和Dropout层组成，首先使用6
×1×
1的三维卷积核对
原始矩阵进行卷积操作，卷积核空间维度的大小与单帧光度及光源方向数据矩阵的空间维度相同，用于提取单帧数据的特征；激活函数使用LeakyReLU函数，Dropout层通过随机失活避免模型过拟合；3.2.3)设计光度立体网络模型的三维特征提取模块，获得各帧光度数据的特征...

【专利技术属性】
技术研发人员：曹衍龙，丁斌杰，陈景曦，于明州，黄六一，葛皓，俞佳良，韦逍遥，刘文渊，
申请(专利权)人：浙江大学，
类型：发明
国别省市：