一种基于语义分割和目标检测融合模型的工业缺陷检测方法技术

本发明专利技术公开了一种基于语义分割和目标检测融合模型的工业缺陷检测方法，包括以下步骤：S1：获取待检测图像并进行像素色度分析，根据色度分析结果对待检测图像进行语义分割得到掩膜图；S2：将掩膜图与待检测图像的原图叠加得到分割输出图像；S3：将分割输出图像进行滑窗操作得到若干个滑窗图像，将得到的滑窗图像分别输入至卷积神经网络进行分类，得到滑窗图像对应的分类结果；S4：将卷积神经网络输出的分类结果分别输入至对应的目标检测网络，输出检测结果。本发明专利技术通过将语义分割、卷积神经网络与目标检测网络相融合，能够实现对多种复杂缺陷进行检测，同时提高了缺陷检测的准确率。率。率。

【技术实现步骤摘要】
一种基于语义分割和目标检测融合模型的工业缺陷检测方法


[0001]本专利技术涉及工业缺陷检测
，更具体地，涉及一种基于语义分割和目标检测融合模型的工业缺陷检测方法。

技术介绍

[0002]玻璃面板缺陷检测的过程按缺陷类型主要可以分为单种类缺陷检测，多种缺陷检测，还有多种复杂缺陷检测，而当中多种缺陷检测和多种复杂缺陷检测过程比较困难。单种类缺陷检测是在一个玻璃面板上只存在单一类玻璃面板的缺陷；多种缺陷检测是在一个玻璃面板上存在多种不同的玻璃面板缺陷，检测难度会比单缺陷检测大得多；多种复杂缺陷常常可能出现一个检测区域同时存在多种缺陷混杂，并且缺陷存在形式比较难以判断，比如可能存在缺陷像素色度值比较低和各类缺陷的尺寸相差甚大等问题。这些情况就导致了在实际检测环境中设备对于产品的检测难度变大，检测的精度下降。
[0003]现有的检测方法大部分采用faster RCNN目标检测网络，经过一定的调整，可以处理单种缺陷和多种缺陷检测的问题，但是对于多种复杂缺陷检测依然没有很合适的解决方案，对多种复杂缺陷检测检测能力不足。存在该问题的原因可能在于：第一，一个缺陷区域存在多种缺陷的特征，目标检测网络最终对缺陷特征进行预测类别时，可能会根据特征最明显的缺陷，然后来对其进行判断，然而这个区域内却是具有多个缺陷在内的，所以也导致了漏检的问题；第二，缺陷像素色度低，导致了特征提取网络提取到的特征不明显，导致目标检测网络对缺陷检测不到；第三，各种缺陷的尺寸相差很大，利用提取的特征，然后进行特征判断，可能大小差异，大缺陷需要用深层的特征进行判断，小缺陷需要用浅层的特征进行判断。
[0004]现有技术中，公开号为：CN106651837A中国专利技术专利，于2017年5月10日公开了一种白玻璃板表面崩边缺陷检测方法，针对于传统的肉眼识别的检测方式效率低下、精度有限、自动化水平低的问题。该检测方法通过扫描白玻璃板图像，并进行二值化处理；然后提取白玻璃板的外轮廓；根据外轮廓各部分的形状特征，分别沿不同方向检测各部分边缘的宽度；对检测到的边缘宽度值进行聚类，以元素数目最多的类的均值为依据，检测白玻璃板的崩边缺陷。该方案基于外轮廓各部分的形状特征对玻璃白边进行检测，其无法实现对复杂缺陷的检测。

技术实现思路

[0005]本专利技术为解决现有的工业缺陷检测方法无法检测复杂的缺陷，检测的准确率低的问题，提供一种基于语义分割和目标检测融合模型的工业缺陷检测方法。
[0006]本专利技术的首要目的是为解决上述技术问题，本专利技术的技术方案如下：
[0007]一种基于语义分割和目标检测融合模型的工业缺陷检测方法，包括以下步骤：
[0008]S1：获取待检测图像并进行像素色度分析，根据色度分析结果对待检测图像进行语义分割得到掩膜图；
[0009]S2：将掩膜图与待检测图像的原图叠加得到分割输出图像；
[0010]S3：将分割输出图像进行滑窗操作得到若干个滑窗图像，将得到的滑窗图像分别输入至卷积神经网络进行分类，得到滑窗图像对应的分类结果；
[0011]S4：将卷积神经网络输出的分类结果分别输入至对应的目标检测网络，输出检测结果。
[0012]进一步地，步骤S1中的根据色度分析结果对待检测图像进行语义分割得到掩膜图，具体为：若待检测图像色度值小于预设值则舍弃当前待检测图像并重新获取；若待检测图像色度值大于或等于预设值，则将待检测图像进行语义分割。
[0013]进一步地，步骤S1所述的语义分割采用unet语义分割模型，
[0014]所述unet语义分割模型包括预处理单元和unet语义分割单元，其中所述预处理单元处理的处理过程为：首先将输入的图像进行图像锐化，然后进行自适应直方图均衡化；
[0015]所述unet语义分割单元特征提取部分和上采样部分，所述特征提取部分首先对预处理后的图像进行特征提取，得到特征图，将得到的特征图进行上采样和多层特征融合，得到融合后的特征图，最后将融合后的特征图回归到跟原始图像一样尺寸的像素点的分类，得到掩膜图。
[0016]进一步地，所述unet语义分割模型包括训练过程和测试过程，其中训练过程如下：
[0017]a)首先是输入图像到预处理单元，得到预处理后的图像，将预处理后的图像输入到unet语义分割单元，得到语义分割的掩模图；
[0018]b)利用图像相似度算法对得到的语义分割网络的掩膜图与原始的输入图像对应的掩模图标签进行计算，得到相似度值；
[0019]c)最后将相似度值与预设的第二阈值进行比较，若相似度值大于预设的第二阈值，则输出预测的掩模图；若相似度值小于或等于预设的第二阈值，则返回预处理单元，将预处理单元的可调参数加1，然后继续上述步骤a)
‑
步骤b)，直到相似度值大于预设的第二阈值或者循环次数达到设定次数，则输出预测的掩模图；
[0020]所述测试过程如下：
[0021]首先是输入图像到预处理单元，得到预处理后的图像，将预处理后的图像输入到unet语义分割单元，得到语义分割的掩模图；
[0022]然后，把掩膜图中所有分割出来像素点记录个数，作为判断条件，然后返回预处理单元，将预处理单元的可调参数加1，再次根据预处理后的图像生成掩模图，然后继续上述步骤，把掩膜图中所有分割出来像素点记录个数，与上一次循环得到的判断条件进行比较，若此次掩膜图中所有分割出来像素点记录个数小于上一次循环得到的判断条件，则输出上一次循环unet语义分割单元所预测的掩模图；
[0023]若此次掩膜图中所有分割出来像素点记录个数大于上一次循环得到的判断条件，则将此次掩膜图中所有分割出来像素点记录个数作为新的判断条件，把上一次循环得到的判断条件代替，往复循环，直到掩膜图中所有分割出来像素点记录个数小于上一次循环得到的判断条件或者循环个数达到上限，则输出本次循环unet语义分割单元所预测的掩模图。
[0024]进一步地，利用图像相似度算法对得到的语义分割网络的掩膜图与原始的输入图像对应的掩模图标签进行计算，得到相似度值，具体过程为：
[0025]分别利用ORB算法、局部敏感哈希phash算法、直方图相似度算法计算得到的语义分割网络的掩膜图与原始的输入图像对应的掩模图标签的相似度值，分别记为：第一相似度值、第二相似度值、第三相似度值；
[0026]将得到的三个相似度值中的最大值与预设的第一阈值比较，若所述最大值大于或等于预设的第一阈值，则将所述最大值作为最终的相似度值；
[0027]若所述最大值小于预设的第一阈值，则将第一相似度值、第二相似度值、第三相似度值中最小值作为最终的相似度值。
[0028]进一步地，所述卷积神经网络依次包括：输入层、第一卷积层、线性整流层、池化层、第二卷积层、全连接层、输出层，其中，所述输入层用于特征向量的输入，所述第一卷积层和第二卷积层用于提取输入的不同特征；
[0029]所述线性整流层用于使用线性整流函数对输入向量进行线性整流激活并输出；
...

【技术保护点】

【技术特征摘要】
1.一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，包括以下步骤：S1：获取待检测图像并进行像素色度分析，根据色度分析结果对待检测图像进行语义分割得到掩膜图；S2：将掩膜图与待检测图像的原图叠加得到分割输出图像；S3：将分割输出图像进行滑窗操作得到若干个滑窗图像，将得到的滑窗图像分别输入至卷积神经网络进行分类，得到滑窗图像对应的分类结果；S4：将卷积神经网络输出的分类结果分别输入至对应的目标检测网络，输出检测结果。2.根据权利要求1所述的一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，步骤S1中的根据色度分析结果对待检测图像进行语义分割得到掩膜图，具体为：若待检测图像色度值小于预设值则舍弃当前待检测图像并重新获取；若待检测图像色度值大于或等于预设值，则将待检测图像进行语义分割。3.根据权利要求1所述的一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，步骤S1所述的语义分割采用unet语义分割模型，所述unet语义分割模型包括预处理单元和unet语义分割单元，其中所述预处理单元处理的处理过程为：首先将输入的图像进行图像锐化，然后进行自适应直方图均衡化；所述unet语义分割单元特征提取部分和上采样部分，所述特征提取部分首先对预处理后的图像进行特征提取，得到特征图，将得到的特征图进行上采样和多层特征融合，得到融合后的特征图，最后将融合后的特征图回归到跟原始图像一样尺寸的像素点的分类，得到掩膜图。4.根据权利要求3所述的一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，所述unet语义分割模型包括训练过程和测试过程，其中训练过程如下：a)首先是输入图像到预处理单元，得到预处理后的图像，将预处理后的图像输入到unet语义分割单元，得到语义分割的掩模图；b)利用图像相似度算法对得到的语义分割网络的掩膜图与原始的输入图像对应的掩模图标签进行计算，得到相似度值；c)最后将相似度值与预设的第二阈值进行比较，若相似度值大于预设的第二阈值，则输出预测的掩模图；若相似度值小于或等于预设的第二阈值，则返回预处理单元，将预处理单元的可调参数加1，然后继续上述步骤a)
‑
步骤b)，直到相似度值大于预设的第二阈值或者循环次数达到设定次数，则输出预测的掩模图；所述测试过程如下：首先是输入图像到预处理单元，得到预处理后的图像，将预处理后的图像输入到unet语义分割单元，得到语义分割的掩模图；然后，把掩膜图中所有分割出来像素点记录个数，作为判断条件，然后返回预处理单元，将预处理单元的可调参数加1，再次根据预处理后的图像生成掩模图，然后继续上述步骤，把掩膜图中所有分割出来像素点记录个数，与上一次循环得到的判断条件进行比较，若此次掩膜图中所有分割出来像素点记录个数小于上一次循环得到的判断条件，则输出上一次循环unet语义分割单元所预测的掩模图；若此次掩膜图中所有分割出来像素点记录个数大于上一次循环得到的判断条件，则将
此次掩膜图中所有分割出来像素点记录个数作为新的判断条件，把上一次循环得到的判断条件代替，往复循环，直到掩膜图中所有分割出来像素点记录个数小于上一次循环得到的判断条件或者循环个数达到上限，则输出本次循环unet语义分割单元所预测的掩模图。5.根据权利要求4所述的一种基于语义分割和目标检测融合模型的工业缺陷检测方法，其特征在于，利用图...

【专利技术属性】
技术研发人员：吴宗泽，陈志豪，查云威，邓木清，曾德宇，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：