产品图像缺陷检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及一种产品图像缺陷检测方法、装置、电子设备及存储介质。本发明专利技术所述的一种产品图像缺陷检测方法包括：获取待检测的产品图像；将所述产品图像输入训练好的语义分割模型，得到缺陷预测二值图；将所述产品图像输入训练好的关键点监测模型，得到所述产品图像中所有缺陷点对应的坐标；将所述缺陷点对应的坐标投射到所述缺陷预测二值图中，遍历所有缺陷预测区域，当所述缺陷预测区域内包含缺陷点对应的坐标，则判定该缺陷预测区域为真实缺陷区域。本发明专利技术所述的一种产品图像缺陷检测方法，引入关键点检测算法，利用其图像级信息预测过杀低的优势，来缓解语义分割算法的像素级信息预测过杀高的问题。预测过杀高的问题。预测过杀高的问题。

【技术实现步骤摘要】
产品图像缺陷检测方法、装置、电子设备及存储介质


[0001]本专利技术涉及工业缺陷识别的
，特别是涉及一种产品图像缺陷检测方法、装置、电子设备及存储介质。

技术介绍

[0002]工业生产过程中会产生各种类型的缺陷，其会影响产品质量甚或安全问题，通常需要用计算式视觉技术将其检测与识别。深度学习的语义分割算法属于像素级的分类算法，其能对图像的每个像素进行分类，预测每个像素是否是缺陷。由于语义分割是对像素进行分类，可准确输出缺陷位置与面积等业界所需的数据，且其预测精度高，稳定性强，所以广泛应用于工业外观缺陷检测与识别。
[0003]但是，将语义分割算法用于工业质检有其固有问题，其根源正是语义分割本身的特点：语义分割是对整幅图像的每个像素进行分类，只要有一个像素预测为缺陷，就意味着该图有缺陷，但由于噪声的干扰，随机出现少量像素预测为缺陷是很有可能的，业务上不应该将其视为缺陷。简而言之，就是语义分割模型存在过杀率高的问题，即将不是缺陷的少量像素预测为缺陷，导致在工业质检中将良品误判为次品。
[0004]针对语义分割的这个问题，目前常规的方法是设置面积阈值，通过卡面积的方式滤除小面积的噪声缺陷，但是，这个方法存在不足，体现在面积阈值设置得过大，会滤除真实的缺陷，设置得过小，又难以滤除噪声缺陷。也就是说技术人员难以设置统一、可靠的面积阈值，往往依靠个人经验，最终导致因人而异。

技术实现思路

[0005]基于此，本专利技术的目的在于，提供一种产品图像缺陷检测方法、装置、电子设备及存储介质，引入关键点检测算法，利用其图像级信息预测过杀低的优势，来缓解语义分割算法的像素级信息预测过杀高的问题。
[0006]第一方面，本专利技术提供一种产品图像缺陷检测方法，包括以下步骤：
[0007]获取待检测的产品图像；
[0008]将所述产品图像输入训练好的语义分割模型，得到缺陷预测二值图；
[0009]将所述产品图像输入训练好的关键点监测模型，得到所述产品图像中所有缺陷点对应的坐标；
[0010]将所述缺陷点对应的坐标投射到所述缺陷预测二值图中，遍历所有缺陷预测区域；
[0011]当所述缺陷预测区域内包含缺陷点对应的坐标，则判定该缺陷预测区域为真实缺陷区域。
[0012]进一步地，所述语义分割模型为deeplab v3模型。
[0013]进一步地，所述deeplab v3模型的训练过程包括：
[0014]获取语义分割数据集，所述数据集包括多张产品图像，每张产品图像包括对应的
缺陷标注；
[0015]构建deeplab v3模型，其中，所述deeplab v3模型的损失函数为逐像素的交叉熵损失；
[0016]使用所述语义分割数据集训练所述deeplab v3模型，得到训练好的语义分割模型；其中，训练采用poly学习率策略，初始学习率设置为0.007。
[0017]进一步地，所述关键点检测模型为SimpleBaselines模型。
[0018]进一步地，所述SimpleBaselines模型的训练过程包括：
[0019]获取关键点检测数据集，所述数据集包括多张产品图像，每张产品图像包括对应的缺陷关键点坐标标注；
[0020]构建所述SimpleBaselines模型，其中，所述SimpleBaselines模型的损失函数为均方误差，优化算法为Adam，batch size＝32；num epochs＝30；lr＝0.01；
[0021]使用所述关键点检测数据集对所述SimpleBaselines模型进行训练至收敛，得到训练好的关键点检测模型。
[0022]第二方面，本专利技术还提供一种产品图像缺陷检测装置，包括：
[0023]产品图像获取模块，用于获取待检测的产品图像；
[0024]缺陷预测二值图获取模块，用于将所述产品图像输入训练好的语义分割模型，得到缺陷预测二值图；
[0025]缺陷点坐标获取模块，用于将所述产品图像输入训练好的关键点监测模型，得到所述产品图像中所有缺陷点对应的坐标；
[0026]缺陷区域判定模块，用于将所述缺陷点对应的坐标投射到所述缺陷预测二值图中，遍历所有缺陷预测区域，当所述缺陷预测区域内包含缺陷点对应的坐标，则判定该缺陷预测区域为真实缺陷区域。
[0027]第三方面，本专利技术还提供一种电子设备，包括：
[0028]至少一个存储器以及至少一个处理器；
[0029]所述存储器，用于存储一个或多个程序；
[0030]当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本专利技术第一方面任一所述的一种产品图像缺陷检测方法的步骤。
[0031]第四方面，本专利技术还提供一种计算机可读存储介质，
[0032]所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本专利技术第一方面任一所述的一种产品图像缺陷检测方法的步骤。
[0033]本专利技术提供的一种产品图像缺陷检测方法、装置、电子设备及存储介质，引入关键点检测算法，利用其图像级信息预测过杀低的优势，来缓解语义分割算法的像素级信息预测过杀高的问题。无需人工设置面积阈值，克服以往方法中难以设置面积阈值的不足；缓解语义分割模型的过杀高问题，提升工业质检的缺陷识别精度。
[0034]为了更好地理解和实施，下面结合附图详细说明本专利技术。
附图说明
[0035]图1为本专利技术提供的一种产品图像缺陷检测方法的流程示意图；
[0036]图2为一个实施例中提取得到语义分割缺陷区域和缺陷关键点坐标示意图；
[0037]图3为一个实施例中锂电池转接片焊接图像的灰度化图像，该产品表面可能存在爆点类型的缺陷；
[0038]图4为图3中的产品原图经过语义分割模型后得到的缺陷区域二值图的灰度化图像；
[0039]图5为图3中的产品原图经过关键点检测模型后得到的关键点图像的灰度化图像；
[0040]图6为图4和图5的二值图和关键点图结合的图像；
[0041]图7为本专利技术提供的一种产品图像缺陷检测装置的结构示意图。
具体实施方式
[0042]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
[0043]应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
[0044]在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0045本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种产品图像缺陷检测方法，其特征在于，包括以下步骤：获取待检测的产品图像；将所述产品图像输入训练好的语义分割模型，得到缺陷预测二值图；将所述产品图像输入训练好的关键点监测模型，得到所述产品图像中所有缺陷点对应的坐标；将所述缺陷点对应的坐标投射到所述缺陷预测二值图中，遍历所有缺陷预测区域，当所述缺陷预测区域内包含缺陷点对应的坐标，则判定该缺陷预测区域为真实缺陷区域。2.根据权利要求1所述的一种产品图像缺陷检测方法，其特征在于：所述语义分割模型为deeplab v3模型。3.根据权利要求2所述的一种产品图像缺陷检测方法，其特征在于，所述deeplab v3模型的训练过程包括：获取语义分割数据集，所述数据集包括多张产品图像，每张产品图像包括对应的缺陷标注；构建deeplab v3模型，其中，所述deeplab v3模型的损失函数为逐像素的交叉熵损失；使用所述语义分割数据集训练所述deeplab v3模型，得到训练好的语义分割模型；其中，训练采用poly学习率策略，初始学习率设置为0.007。4.根据权利要求1所述的一种产品图像缺陷检测方法，其特征在于：所述关键点检测模型为SimpleBaselines模型。5.根据权利要求1所述的一种产品图像缺陷检测方法，其特征在于，所述SimpleBaselines模型的训练过程包括：获取关键点检测数据集，所述数据集包括多张产品图像，每张产品图像包括对应的缺陷关键点坐标标注；构建所述Sim...

【专利技术属性】
技术研发人员：赵哲，肖圣端，张权，王刚，吕炎州，英高海，
申请(专利权)人：广州市易鸿智能装备有限公司，
类型：发明
国别省市：