金属零件表面缺陷检测与识别方法及装置制造方法及图纸

本发明专利技术属于机器视觉技术领域，具体涉及一种金属表面缺陷检测与识别方法及装置。旨在解决现有技术在不同的环境下检测和识别精度低的问题。本发明专利技术提供一种金属表面缺陷检测与识别方法，包括基于获取的金属零件表面的原始图像，通过预先构建的表面缺陷检测模型对原始图像进行缺陷检测，得到缺陷区域位置；对缺陷区域位置进行轮廓检测，分别得到第一缺陷轮廓和第二缺陷轮廓；将第一缺陷轮廓与第二缺陷轮廓输入预先构建的表面缺陷分类模型，识别出金属零件表面的缺陷类别。本发明专利技术的方法具有全自动和检测精度高的优点。

【技术实现步骤摘要】
金属零件表面缺陷检测与识别方法及装置
本专利技术属于机器视觉
，具体涉及一种金属表面缺陷检测与识别方法及装置。
技术介绍
金属零件广泛应用于各行各业，例如汽车、机械制造和航空航天领域等。在实际生产过程中，由于加工工艺等各种原因，导致零件表面产生各类缺陷，例如划痕、麻点、凹陷、胶痕、异物等等，这些缺陷会严重影响零件的正常工作，因此，及时检测金属表面的缺陷，对缺陷进行严重程度评价，对提高金属表面质量具有重要意义。目前常用的金属表面缺陷检测主要是通过机器视觉来解决，采用传统的图像处理算法或者机器学习算法来对图像进行检测和识别，但是现有技术的方法针对各式各样的缺陷环境需要设定多种检测阈值，如果环境发生变化，如光照条件等发生变化时，现有技术的方法往往会失效，导致其检测和识别精度很低，鲁棒性和适应性低，无法满足工业生产的高精度要求。因此，如何提出一种解决上述问题的方案是本领域技术人员目前需要解决的问题。
技术实现思路
为了解决现有技术中的上述问题，即为了解决现有技术在不同的环境下检测和识别精度低的问题，本专利技术一方面提供了一种金属零件表面缺陷检测与识别方法，所述方法包括：基于获取的金属零件表面的原始图像，通过预先构建的表面缺陷检测模型对所述原始图像进行缺陷检测，得到缺陷区域位置；对所述缺陷区域位置进行轮廓检测，分别得到第一缺陷轮廓和第二缺陷轮廓；将所述第一缺陷轮廓与所述第二缺陷轮廓输入预先构建的表面缺陷分类模型，识别所述金属零件表面的缺陷类别；其中，所述表面缺陷检测模型基于融合卷积网络模型构建，并通过所述原始图像和带有缺陷位置标注信息的金属零件表面图像的训练集进行训练；所述表面缺陷分类模型基于分类卷积网络模型构建，并对所述分类卷积网络模型的全连接层进行训练。在上述方法的优选技术方案中，“通过预先构建的表面缺陷检测模型对所述原始图像进行缺陷检测”之前，该方法还包括训练所述融合卷积网络模型，其步骤包括：对标准金属零件表面图像的缺陷进行标注，得到标注图像；将所述原始图像和所述标注图像的像素进行数据扩增，得到数据扩增原始图像和数据扩增标注图像，其中，数据扩增包括对所述原始图像和所述标注图像进行仿射变换、亮度变换以及模糊变换；将所述数据扩增原始图像和所述数据扩增标注图像输入所述表面缺陷检测模型进行K层降维和K层升维操作，得到所述数据扩增标注图像中缺陷的区域位置，其中，K为正整数。在上述方法的优选技术方案中，“对标准金属零件表面图像的缺陷进行标注”，其方法为：将所述标准金属零件表面图像中缺陷区域的灰度值设定为0，将非缺陷区域的灰度值设定为1。在上述方法的优选技术方案中，“将所述数据扩增原始图像和所述数据扩增标注图像输入所述表面缺陷检测模型进行K层降维和K层升维操作”，其方法为：将所述数据扩增原始图像和所述数据扩增标注图像作为所述表面缺陷检测模型的第一输入图像；K层降维操作具体包括：对所述第一输入图像进行卷积操作和池化操作，将第M(M<K)层降维操作后的第一输入图像作为第M+1层降维操作的输入，将第K层降维操作后的第一输入图像作为第一层升维操作的输入；K层升维操作具体包括：对进行K层降维操作后的第一输入图像进行卷积操作和反卷积操作，得到第二输入图像，将第M层升维操作后的第二输入图像作为第M+1层升维操作的输入，将第N(N<K)层升维操作的输出与第K-N+1层升维操作的输入进行融合，并将融合结果作为第K-N+1层升维操作的输入，其中，M、N均为正整数。在上述方法的优选技术方案中，所述第一缺陷轮廓为所述缺陷区域位置的最小外接矩形，所述第二缺陷轮廓为所述缺陷区域位置的正最小外接矩形，其中所述正最小外接矩形为包含所述缺陷区域位置面积最小的情况下，其中两边平行于图像的水平轴，另外两边平行于图像的垂直轴的矩形。在上述方法的优选技术方案中，“识别出所述金属零件表面的缺陷类别”，其方法为：所述表面缺陷分类模型识别出所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别；判断所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别是否相同，若相同，则输出所述第一缺陷轮廓和所述第二缺陷轮廓中任意一个的缺陷类别；若不同，则计算所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别的概率，并按如下公式所述的方法确定输出的缺陷类别：其中，w表示置信权值，yi表示所述第一缺陷轮廓的缺陷类别，yj表示所述第二缺陷轮廓的缺陷类别，p1(yi)表示所述第一缺陷轮廓的缺陷类别的概率，p2(yj)表示所述第二缺陷轮廓的缺陷类别的概率。本专利技术的第二方面提供了一种金属零件表面缺陷检测与识别装置，所述装置包括：缺陷检测单元，所述缺陷检测单元被配置为基于获取的金属零件表面的原始图像，通过预先构建的表面缺陷检测模型对所述原始图像进行缺陷检测，得到缺陷区域位置；轮廓检测单元，所述轮廓检测单元被配置为对所述缺陷区域位置进行轮廓检测，分别得到第一缺陷轮廓和第二缺陷轮廓；缺陷识别单元，所述缺陷识别单元被配置为将所述第一缺陷轮廓与所述第二缺陷轮廓输入预先构建的表面缺陷分类模型，识别所述金属零件表面的缺陷类别；其中，所述表面缺陷检测模型基于融合卷积网络模型构建，并通过所述原始图像和带有缺陷位置标注信息的金属零件表面图像的训练集进行训练；所述表面缺陷分类模型基于分类卷积网络模型构建，并对所述分类卷积网络模型的全连接层进行训练。在上述方法的优选技术方案中，所述缺陷检测单元还包括训练单元，所述训练单元用于训练所述表面缺陷检测模型，具体用于：对标准金属零件表面图像的缺陷进行标注，得到标注图像；将所述原始图像和所述标注图像的像素进行数据扩增，得到数据扩增原始图像和数据扩增标注图像，其中，数据扩增包括对所述原始图像和所述标注图像进行仿射变换、亮度变换以及模糊变换；将所述数据扩增原始图像和所述数据扩增标注图像输入所述表面缺陷检测模型进行K层降维和K层升维操作，得到所述数据扩增标注图像中缺陷的区域位置，其中，K为正整数。在上述方法的优选技术方案中，所述训练单元还包括标注单元，所述标注单元被配置为：将所述标准金属零件表面图像中缺陷区域的灰度值设定为0，将非缺陷区域的灰度值设定为1。在上述方法的优选技术方案中，所述训练单元还包括降维单元和升维单元，其中，所述数据扩增原始图像和所述数据扩增标注图像作为所述表面缺陷检测模型的第一输入图像；所述降维单元被配置为对所述第一输入图像进行卷积操作和池化操作，将第M(M<K)层降维操作后的第一输入图像作为第M+1层降维操作的输入，将第K层降维操作后的第一输入图像作为第一层升维操作的输入；所述升维单元被配置为对进行K层降维操作后的第一输入图像进行卷积操作和反卷积操作，得到第二输入图像，将第M层升维操作后的第二输入图像作为第M+1层升维操作的输入，将第N(N<K)层升维操作的输出与第K-N+1层升维操作的输入进行融合，并将融合结果作为第K-N+1层升维操作的输入，其中，M、N均为正整数。在上述方法的优选技术方案中，所述第一缺陷轮廓为所述缺陷区域位置的最小外接矩形，所述第二缺陷轮廓为所述缺陷区域位置的正最小外接矩形，其中所述正最小外接矩形为包含所述缺陷区域位置面积最小的情况下，其中两边平行于图像的水平轴，另外两边平行于图像的垂直轴的矩形。在上本文档来自技高网...

【技术保护点】
1.一种金属零件表面缺陷检测与识别方法，其特征在于，所述方法包括：基于获取的金属零件表面的原始图像，通过预先构建的表面缺陷检测模型对所述原始图像进行缺陷检测，得到缺陷区域位置；对所述缺陷区域位置进行轮廓检测，分别得到第一缺陷轮廓和第二缺陷轮廓；将所述第一缺陷轮廓与所述第二缺陷轮廓输入预先构建的表面缺陷分类模型，识别所述金属零件表面的缺陷类别；其中，所述表面缺陷检测模型基于融合卷积网络模型构建，并通过所述原始图像和带有缺陷位置标注信息的金属零件表面图像的训练集进行训练；所述表面缺陷分类模型基于分类卷积网络模型构建，并对所述分类卷积网络模型的全连接层进行训练。

【技术特征摘要】
1.一种金属零件表面缺陷检测与识别方法，其特征在于，所述方法包括：基于获取的金属零件表面的原始图像，通过预先构建的表面缺陷检测模型对所述原始图像进行缺陷检测，得到缺陷区域位置；对所述缺陷区域位置进行轮廓检测，分别得到第一缺陷轮廓和第二缺陷轮廓；将所述第一缺陷轮廓与所述第二缺陷轮廓输入预先构建的表面缺陷分类模型，识别所述金属零件表面的缺陷类别；其中，所述表面缺陷检测模型基于融合卷积网络模型构建，并通过所述原始图像和带有缺陷位置标注信息的金属零件表面图像的训练集进行训练；所述表面缺陷分类模型基于分类卷积网络模型构建，并对所述分类卷积网络模型的全连接层进行训练。2.根据权利要求1所述的方法，其特征在于，“通过预先构建的表面缺陷检测模型对所述原始图像进行缺陷检测”之前，该方法还包括训练所述表面缺陷检测模型，其步骤包括：对标准金属零件表面图像的缺陷进行标注，得到标注图像；将所述原始图像和所述标注图像的像素进行数据扩增，得到数据扩增原始图像和数据扩增标注图像，其中，数据扩增包括对所述原始图像和所述标注图像进行仿射变换、亮度变换以及模糊变换；将所述数据扩增原始图像和所述数据扩增标注图像输入所述表面缺陷检测模型进行K层降维和K层升维操作，得到所述数据扩增标注图像中缺陷的区域位置，其中，K为正整数。3.根据权利要求2所述的方法，其特征在于，“对标准金属零件表面图像的缺陷进行标注”，其方法为：将所述标准金属零件表面图像中缺陷区域的灰度值设定为0，将非缺陷区域的灰度值设定为1。4.根据权利要求3所述的方法，其特征在于，“将所述数据扩增原始图像和所述数据扩增标注图像输入所述表面缺陷检测模型进行K层降维和K层升维操作”，其方法为：将所述数据扩增原始图像和所述数据扩增标注图像作为所述表面缺陷检测模型的第一输入图像；K层降维操作具体包括：对所述第一输入图像进行卷积操作和池化操作，将第M(M<K)层降维操作后的第一输入图像作为第M+1层降维操作的输入，将第K层降维操作后的第一输入图像作为第一层升维操作的输入；K层升维操作具体包括：对进行K层降维操作后的第一输入图像进行卷积操作和反卷积操作，得到第二输入图像，将第M层升维操作后的第二输入图像作为第M+1层升维操作的输入，将第N(N<K)层升维操作的输出与第K-N+1层升维操作的输入进行融合，并将融合结果作为第K-N+1层升维操作的输入，其中，M、N均为正整数。5.根据权利要求1所述的方法，其特征在于，所述第一缺陷轮廓为所述缺陷区域位置的最小外接矩形，所述第二缺陷轮廓为所述缺陷区域位置的正最小外接矩形，其中所述正最小外接矩形为包含所述缺陷区域位置面积最小的情况下，其中两边平行于图像的水平轴，另外两边平行于图像的垂直轴的矩形。6.根据权利要求1-5任意一项所述的方法，其特征在于，“识别出所述金属零件表面的缺陷类别”，其方法为：所述表面缺陷分类模型识别出所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别；判断所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别是否相同，若相同，则输出所述第一缺陷轮廓和所述第二缺陷轮廓中任意一个的缺陷类别；若不同，则计算所述第一缺陷轮廓和所述第二缺陷轮廓的缺陷类别的概率，并按如下公式所述的方法确定输出的缺陷类别：其中，w表示置信权值，yi表示所述第一缺陷轮廓的缺陷类别，yj表示所述第二缺陷轮廓的缺陷类别，p1(yi)表示所述第一缺陷轮廓的缺陷类别的概率，p2(yj)表示所述第二缺陷轮廓的缺陷类别的概率。7.一种金属零件表面缺陷检测与识别装置，其特征在于，所述装置包括：缺陷检测单元，所述缺陷检测单元被配置为基于获取的金属零件表面的原始图像，通过预先构建的表面缺陷检测模...

【专利技术属性】
技术研发人员：陶显，张大朋，刘希龙，徐德，马文治，林福严，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11