缺陷检测方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种缺陷检测方法、装置、计算机设备和存储介质。所述方法包括：获取在单一光源下对目标对象进行拍摄所得到的彩色图像；获取与所述目标对象对应的多光源图像，所述多光源图像包括在不同方向的标定光源下分别对所述目标对象进行拍摄所得到的多张光源图像；基于所述多光源图像生成材质图像和表面几何图像；所述材质图像表征所述目标对象的材质信息，所述表面几何图像表征所述目标对象表面的深度信息；根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。采用本方法能够提高缺陷检测的准确性和全面性。方法能够提高缺陷检测的准确性和全面性。方法能够提高缺陷检测的准确性和全面性。

【技术实现步骤摘要】
缺陷检测方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种缺陷检测方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着计算机技术的发展，出现了基于机器视觉技术的表面缺陷检测技术。通过表面缺陷检测技术能够对各种生产产品的表面进行缺陷检测，以识别产品表面的瑕疵和缺陷，有效提高了生产产品的质量。
[0003]传统的缺陷检测技术，通常是对生产产品拍摄RGB图像，通过对RGB图像的分析和处理，检测出产品存在的缺陷。然而，产品的缺陷类型众多，单纯通过RGB图像进行缺陷检测，无法适应不同的缺陷类型，容易导致漏检。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高准确性和全面性的缺陷检测方法、装置、计算机设备和存储介质。
[0005]一种缺陷检测方法，所述方法包括：
[0006]获取在单一光源下对目标对象进行拍摄所得到的彩色图像；
[0007]获取与所述目标对象对应的多光源图像，所述多光源图像包括在不同方向的标定光源下分别对所述目标对象进行拍摄所得到的多张光源图像；
[0008]基于所述多光源图像生成材质图像和表面几何图像；所述材质图像表征所述目标对象的材质信息，所述表面几何图像表征所述目标对象表面的深度信息；
[0009]根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
[0010]一种缺陷检测装置，所述装置包括：
[0011]第一获取模块，用于获取在单一光源下对目标对象进行拍摄所得到的彩色图像；
[0012]第二获取模块，用于获取与所述目标对象对应的多光源图像，所述多光源图像包括在不同方向的标定光源下分别对所述目标对象进行拍摄所得到的多张光源图像；
[0013]生成模块，用于基于所述多光源图像生成材质图像和表面几何图像；所述材质图像表征所述目标对象的材质信息，所述表面几何图像表征所述目标对象表面的深度信息；
[0014]检测模块，用于根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
[0015]在一个实施例中，所述装置还包括标定模块；所述标定模块，用于获取在不同标定光源的照射下对球体进行拍摄所得到的各张包含高亮区域的标定图像；确定每张所述标定图像中所述高亮区域的高亮位置和所述球体的球心位置，并根据预设反射方向、所述球心位置和所述高亮位置，确定各所述标定图像中球体表面的法向量；基于各所述法向量和所述预设反射方向，确定各所述标定光源分别对应的方向。
[0016]在一个实施例中，所述标定模块，还用于确定每张所述标定图像的所述高亮区域中关键点的位置；根据每个所述高亮区域中关键点的位置，分别确定每个所述高亮区域对应的高亮位置。
[0017]在一个实施例中，所述生成模块，还用于将所述多张光源图像进行像素点匹配处理，得到所述多张光源图像中相匹配的目标像素点；根据各所述标定光源的方向向量和所述目标像素点在对应的光源图像中的像素值，确定所述目标像素点所对应的反射信息；基于每个所述目标像素点对应的反射信息，生成材质图像；根据各所述标定光源的方向向量、所述目标像素点和所述反射信息，生成表面几何图像。
[0018]在一个实施例中，所述材质图像包括红色通道材质图像、绿色通道材质图像和蓝色通道材质图像，所述生成模块，还用于确定所述目标像素点在对应的光源图像中的红色通道值、绿色通道值和蓝色通道值；根据各所述标定光源的方向向量和所述目标像素点对应的红色通道值、绿色通道值和蓝色通道值，确定所述目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息；基于每个所述目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息，分别生成红色通道材质图像、绿色通道材质图像和蓝色通道材质图像。
[0019]在一个实施例中，所述生成模块，还用于根据所述反射信息、各所述标定光源的方向向量和所述目标像素点在对应的光源图像中的像素值，确定所述目标像素点所对应的法向量；基于每个所述目标像素点对应的法向量，生成表面几何图像。
[0020]在一个实施例中，所述检测模块，还用于对所述彩色图像、所述材质图像和所述表面几何图像分别进行特征提取，得到彩色特征、材质特征和几何特征；将所述彩色特征、所述材质特征和所述几何特征进行融合，得到融合特征；基于所述融合特征对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
[0021]在一个实施例中，所述检测模块，还用于从所述融合特征中提取待检测的局部特征，对所提取的局部特征进行缺陷检测，得到所述局部特征对应的局部检测结果；返回从所述融合特征中提取待检测的局部特征的步骤并继续执行，直至所述融合特征中不存在未进行缺陷检测的局部特征时停止，获得每个所述局部特征分别对应的局部检测结果；基于各所述局部检测结果，生成所述目标对象的缺陷检测结果；所述缺陷检测结果包括所述目标对象中存在缺陷的缺陷类别、缺陷位置和缺陷面积中的至少一种。
[0022]在一个实施例中，所述检测模块，还用于基于所提取的局部特征分别进行缺陷类别检测、缺陷位置检测和缺陷面积检测，得到所述局部特征对应的局部检测结果；所述局部检测结果包括所述局部特征对应的缺陷类别、缺陷掩膜图和缺陷包围框。
[0023]在一个实施例中，所述检测模块，还用于基于各所述局部特征对应的缺陷掩膜图，生成包含所述目标对象的对象掩膜图；根据所述对象掩膜图、各所述局部特征对应的缺陷类别和缺陷包围框，得到所述目标对象所存在的缺陷对应的缺陷类别、每个缺陷所对应的缺陷位置，以及每个缺陷的缺陷面积。
[0024]在一个实施例中，所述目标对象为金属注射成形器件；所述多光源图像包括在至少三个不同方向的标定光源下分别对所述金属注射成形器件进行拍摄所得到的至少三张光源图像；所述缺陷检测结果中的缺陷类别包括裂纹、压伤、粘料、缺料、亮印和脏污中的至少一种。
[0025]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0026]获取在单一光源下对目标对象进行拍摄所得到的彩色图像；
[0027]获取与所述目标对象对应的多光源图像，所述多光源图像包括在不同方向的标定光源下分别对所述目标对象进行拍摄所得到的多张光源图像；
[0028]基于所述多光源图像生成材质图像和表面几何图像；所述材质图像表征所述目标对象的材质信息，所述表面几何图像表征所述目标对象表面的深度信息；
[0029]根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。
[0030]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0031]获取在单一光源下对目标对象进行拍摄所得到的彩色图像；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种缺陷检测方法，其特征在于，所述方法包括：获取在单一光源下对目标对象进行拍摄所得到的彩色图像；获取与所述目标对象对应的多光源图像，所述多光源图像包括在不同方向的标定光源下分别对所述目标对象进行拍摄所得到的多张光源图像；基于所述多光源图像生成材质图像和表面几何图像；所述材质图像表征所述目标对象的材质信息，所述表面几何图像表征所述目标对象表面的深度信息；根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果。2.根据权利要求1所述的方法，其特征在于，所述不同方向的标定光源是通过标定步骤得到的；所述标定步骤包括：获取在不同标定光源的照射下对球体进行拍摄所得到的各张包含高亮区域的标定图像；确定每张所述标定图像中所述高亮区域的高亮位置和所述球体的球心位置，并根据预设反射方向、所述球心位置和所述高亮位置，确定各所述标定图像中球体表面的法向量；基于各所述法向量和所述预设反射方向，确定各所述标定光源分别对应的方向。3.根据权利要求2所述的方法，其特征在于，所述确定每张所述标定图像中所述高亮区域的高亮位置，包括：确定每张所述标定图像的所述高亮区域中关键点的位置；根据每个所述高亮区域中关键点的位置，分别确定每个所述高亮区域对应的高亮位置。4.根据权利要求1所述的方法，其特征在于，所述基于所述多光源图像生成材质图像和表面几何图像，包括：将所述多张光源图像进行像素点匹配处理，得到所述多张光源图像中相匹配的目标像素点；根据各所述标定光源的方向向量和所述目标像素点在对应的光源图像中的像素值，确定所述目标像素点所对应的反射信息；基于每个所述目标像素点对应的反射信息，生成材质图像；根据各所述标定光源的方向向量、所述目标像素点和所述反射信息，生成表面几何图像。5.根据权利要求4所述的方法，其特征在于，所述材质图像包括红色通道材质图像、绿色通道材质图像和蓝色通道材质图像，所述根据各所述标定光源的方向向量和所述目标像素点在对应的光源图像中的像素值，确定所述目标像素点所对应的反射信息，包括：确定所述目标像素点在对应的光源图像中的红色通道值、绿色通道值和蓝色通道值；根据各所述标定光源的方向向量和所述目标像素点对应的红色通道值、绿色通道值和蓝色通道值，确定所述目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息；所述基于每个所述目标像素点对应的反射信息，生成材质图像，包括：基于每个所述目标像素点对应红色通道的反射信息、绿色通道的反射信息和蓝色通道的反射信息，分别生成红色通道材质图像、绿色通道材质图像和蓝色通道材质图像。
6.根据权利要求4所述的方法，其特征在于，所述根据各所述标定光源的方向向量、所述目标像素点和所述反射信息，生成表面几何图像，包括：根据所述反射信息、各所述标定光源的方向向量和所述目标像素点在对应的光源图像中的像素值，确定所述目标像素点所对应的法向量；基于每个所述目标像素点对应的法向量，生成表面几何图像。7.根据权利要求1所述的方法，其特征在于，所述根据所述彩色图像、所述材质图像和所述表面几何图像，对所述目标对象进行缺陷检测，得到所述目标对象的缺陷检测结果，包括...

【专利技术属性】
技术研发人员：高斌斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：