小五金的缺陷识别检测方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术涉及小五金缺陷检测技术领域，具体涉及一种小五金的缺陷识别检测方法、装置及计算机可读存储介质，所述方法包括：对包含缺陷的小五金进行图像采集，形成小五金的初始图像集，对所述初始图像集中的缺陷区域进行人工标注和图像扩充，对扩充后的初始图像进行预处理，得到样本图像集；将样本图像集划分为训练集和验证集，将所述训练集输入搭建好的语义分割模型进行训练，通过验证集对所述语义分割模型进行验证，当语义分割模型的损失函数值收敛时，得到训练好的语义分割模型；在线采集待检小五金的产品图像，将产品图像输入训练好的语义分割模型得到预测结果，本发明专利技术适用于大多数小五金产品的检测，具有通用性高、操作简单的优点。

【技术实现步骤摘要】
小五金的缺陷识别检测方法、装置及计算机可读存储介质
本专利技术涉及小五金缺陷检测
，具体涉及一种小五金的缺陷识别检测方法、装置及计算机可读存储介质。
技术介绍
区别于以金属为原料传统的建筑小五金，近年来发展了用各种非金属材料制作的、可运用到工业及各领域的小五金，如陶瓷、玻璃、橡胶、塑料等。此类非金属制品有着质量高、外形美观、和成本低的优点，可大大减少有色金属的使用，其应用已日趋广泛。小五金陶瓷件的生产工序复杂，每一个生产环节都有可能产生影响陶瓷性能的缺陷，这些缺陷主要有斑点、流胶和气泡等。目前小五金部件的检测大多靠人工检查，或使用基于传统图像处理方法的机器视觉表面缺陷检测方法。人工检查的方法存在下列缺点：速度慢且容易出现漏检的情况；无法保证标准的统一，产品合格与否是检查者根据主观感觉来进行判断。基于传统方法的机器视觉表面缺陷检测方法虽然改善人工检查方法的缺点，但是在近年的生产实践应用中，也显露出其局限性：算法复杂且缺陷特征提取的人工干涉量大，这要求开发者必须拥有足够的图像处理知识和从业经验；其通用性差，针对不同的产品往往需要设计新的检测算法；当面对复杂缺陷时误检率高。
技术实现思路
本专利技术目的在于提供一种小五金的缺陷识别检测方法、装置及计算机可读存储介质，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。为了实现上述目的，本专利技术提供以下技术方案：一种小五金的缺陷识别检测方法，所述方法包括以下步骤：对包含缺陷的小五金进行图像采集，从采集的图像中提取出小五金的目标检测区域，将多张目标检测区域的图像形成小五金的初始图像集，对所述初始图像集中的缺陷区域进行人工标注；对标注好的初始图像集中的初始图像进行图像扩充，对扩充后的初始图像进行预处理，得到样本图像集；将样本图像集划分为训练集和验证集，将所述训练集输入搭建好的语义分割模型进行训练，通过验证集对所述语义分割模型进行验证，当语义分割模型的损失函数值收敛时，得到训练好的语义分割模型；在线采集待检小五金的产品图像，将所述待检小五金的产品图像输入训练好的语义分割模型，得到预测结果，所述预测结果包括确定所述待检小五金为合格品还是不良品。进一步，所述语义分割模型采用编码器-解码器网络模型，所述编码器-解码器网络模型包含改进编码器和解码器，其中，所述改进编码器包括编码器和残差连接模块，所述残差连接模块包括第一残差卷积层、第一残差批标准化层、第一残差激活函数、第二残差卷积层、第二残差批标准化层和第二残差激活函数，所述编码器包括第一编码卷积层、编码批标准化层、编码激活函数、第二编码卷积层和随机失活层。进一步，所述第一编码卷积层的步长为1，所述第二编码卷积层的步长为2，所述第一编码卷积层的卷积核大小为3*3，所述第二编码卷积层的卷积核大小为2*2，所述第一残差卷积层和第二残差卷积层的卷积核大小为3*3。进一步，所述将所述训练集输入搭建好的语义分割模型进行训练，还包括：对所述样本图像集中的样本图像进行一次卷积操作，得到特征图，所述卷积操作的卷积核数目为64、卷积核大小为3*3、并采用填充策略，使特征图的数目为64、且所述特征图与样本图像的尺寸大小保持一致。进一步，所述解码器包括上采样层、解码卷积层、解码激活函数和输出层，所述解码器与所述改进编码器通过跳跃连接结构进行连接。进一步，所述上采样层为2*2转置卷积，其卷积核大小为2；所述解码卷积层的卷积核大小为3*3，所述输出层的卷积核大小为1*1。进一步，所述将所述待检小五金的产品图像输入训练好的语义分割模型，得到预测结果，包括：将所述产品图像输入训练好的语义分割模型，得到预测图像，所述预测图像分割定位有缺陷区域，所述预测图像与所述待检小五金的产品图像的尺寸大小一致；分别计算每个缺陷区域的像素面积占所述预测图像的像素面积的比例，当所述比例低于设定的比例阈值时，确定该待检小五金为合格品；当所述比例达到设定的比例阈值时，确定该待检小五金为不良品。进一步，所述方法还包括：分别对各个种类的缺陷使用对应的颜色进行标记，当确定该待检小五金为不良品时，输出该待检小五金中每一类缺陷的缺陷类型和像素面积。一种小五金的缺陷识别检测系统，所述系统包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述任一项所述的小五金的缺陷识别检测方法。一种计算机可读存储介质，所述计算机可读存储介质上存储有小五金的缺陷识别检测程序，所述小五金的缺陷识别检测程序被处理器执行时实现如上述任意一项所述的小五金的缺陷识别检测方法的步骤。本专利技术的有益效果是：本专利技术公开一种小五金的缺陷识别检测方法、装置及计算机可读存储介质，本专利技术通过自动学习提取小五金的缺陷特征，可适用于大多数小五金产品的检测，且具有抗干扰能力强、鲁棒性高的特点，可实现一步到位的小五金缺陷自动分割与缺陷分类，并能对检测结果进行量化处理，本专利技术具有通用性高、操作简单的优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例中小五金的缺陷识别检测方法的流程示意图；图2是本专利技术实施例中图像扩充的效果示意图；图3是本专利技术实施例中编码器-解码器网络模型的结构示意图；图4是本专利技术实施例中残差连接模块的结构示意图；图5是本专利技术实施例中由产品图像得到预测结果的效果示意图。具体实施方式以下将结合实施例和附图对本申请的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本申请的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。参考图1，如图1所示为本申请实施例提供的一种小五金的缺陷识别检测方法，所述方法包括以下步骤：步骤S100、对包含缺陷的小五金进行图像采集，从采集的图像中提取出小五金的目标检测区域，将多张目标检测区域的图像形成小五金的初始图像集，对所述初始图像集中的缺陷区域进行人工标注；具体地，使用工业相机CCD配合光源照明系统对小五金进行图像采集，从采集的图像中，通过对目标检测区域(小五金区域)进行剪切得到小五金的初始图像集，然后使用Labelme标注软件对所述初始图像集中的缺陷区域进行人工标注，完成图像标签集的制作。其中，提取目标检测区域是为减少无关区域对检测结果的干扰，这样语义分割网络只需要对感兴趣区域进行处理，从而快速提取有效特征，步骤S200、对标注好的初始图像集中的初始图像进行图像扩充，对扩充后的初始图像进行预处理，得到样本图像集；其中，所述预处理包括去均本文档来自技高网...

【技术保护点】
1.一种小五金的缺陷识别检测方法，其特征在于，所述方法包括以下步骤：/n对包含缺陷的小五金进行图像采集，从采集的图像中提取出小五金的目标检测区域，将多张目标检测区域的图像形成小五金的初始图像集，对所述初始图像集中的缺陷区域进行人工标注；/n对标注好的初始图像集中的初始图像进行图像扩充，对扩充后的初始图像进行预处理，得到样本图像集；/n将样本图像集划分为训练集和验证集，将所述训练集输入搭建好的语义分割模型进行训练，通过验证集对所述语义分割模型进行验证，当语义分割模型的损失函数值收敛时，得到训练好的语义分割模型；/n在线采集待检小五金的产品图像，将所述待检小五金的产品图像输入训练好的语义分割模型，得到预测结果，所述预测结果包括确定所述待检小五金为合格品还是不良品。/n

【技术特征摘要】
1.一种小五金的缺陷识别检测方法，其特征在于，所述方法包括以下步骤：
对包含缺陷的小五金进行图像采集，从采集的图像中提取出小五金的目标检测区域，将多张目标检测区域的图像形成小五金的初始图像集，对所述初始图像集中的缺陷区域进行人工标注；
对标注好的初始图像集中的初始图像进行图像扩充，对扩充后的初始图像进行预处理，得到样本图像集；
将样本图像集划分为训练集和验证集，将所述训练集输入搭建好的语义分割模型进行训练，通过验证集对所述语义分割模型进行验证，当语义分割模型的损失函数值收敛时，得到训练好的语义分割模型；
在线采集待检小五金的产品图像，将所述待检小五金的产品图像输入训练好的语义分割模型，得到预测结果，所述预测结果包括确定所述待检小五金为合格品还是不良品。


2.根据权利要求1所述的一种小五金的缺陷识别检测方法，其特征在于，所述语义分割模型采用编码器-解码器网络模型，所述编码器-解码器网络模型包含改进编码器和解码器，其中，所述改进编码器包括编码器和残差连接模块，所述残差连接模块包括第一残差卷积层、第一残差批标准化层、第一残差激活函数、第二残差卷积层、第二残差批标准化层和第二残差激活函数，所述编码器包括第一编码卷积层、编码批标准化层、编码激活函数、第二编码卷积层和随机失活层。


3.根据权利要求2所述的一种小五金的缺陷识别检测方法，其特征在于，所述第一编码卷积层的步长为1，所述第二编码卷积层的步长为2，所述第一编码卷积层的卷积核大小为3*3，所述第二编码卷积层的卷积核大小为2*2，所述第一残差卷积层和第二残差卷积层的卷积核大小为3*3。


4.根据权利要求1所述的一种小五金的缺陷识别检测方法，其特征在于，所述将所述训练集输入搭建好的语义分割模型进行训练，还包括：
对所述样本图像集中的样本图像进行一次卷积操作，得到特征图，所述卷积操作的卷积核数目为64、卷积核大小为3...

【专利技术属性】
技术研发人员：梁智宇，苏彩红，詹宁宙，
申请(专利权)人：佛山科学技术学院，佛山市精视自动化科技有限公司，
类型：发明
国别省市：广东;44