一种基于U-Net网络的工业缺陷语义分割方法及存储介质技术

本发明专利技术公开了一种基于U

【技术实现步骤摘要】
一种基于U
‑
Net网络的工业缺陷语义分割方法及存储介质


[0001]本专利技术涉及计算机视觉
，更具体地，涉及一种基于U
‑
Net网络的工业缺陷语义分割方法及存储介质。

技术介绍

[0002]语义分割(Semantic Segmentation)，也称为像素级分类问题，其涉及将一些原始数据作为输入并将它们转换为具有突出显示的感兴趣区域的掩模，且输出和输入分辨率相同。因此语义分割具有两大需求，即高分辨率和高层语义。
[0003]传统方案中，工业产品表面缺陷（如玻璃面板缺陷、钢板缺陷等）的检测与识别有赖于人工完成，基于机器视觉和深度学习算法的检测方法被提出以替代传统的人工检验方法，不再需要人工选取特征，如采用U
‑
Net网络解决磁瓦划痕缺陷检测的小目标分割问题，U
‑
Net网络结构如图 1所示。
[0004]但是上述采用U
‑
Net网络的方法，学习模型参数多，训练难度大，在多变场景时由于获取全局信息不充分，造成语义分割时出现不匹配关系、混淆类别和不显著类别缺陷的误判、未判或错判问题，不能很好的满足相关领域的需求。

技术实现思路

[0005]本专利技术为克服上述现有技术所述的获取全局信息不充分的缺陷，提供一种基于U
‑
Net网络的工业缺陷语义分割方法及存储介质。
[0006]为解决上述技术问题，本专利技术的技术方案如下：第一方面，一种基于U
‑
Net网络的工业缺陷语义分割方法，包括：获取目标图像集；其中，所述目标图像集中包括对同一工业产品成像的若干张分割图像；对分割图像进行分类，划分为无缺陷类图像或有缺陷类图像；将无缺陷类图像直接转化为不带有缺陷信息的第一掩模图；将有缺陷类图像输入语义分割网络，得到带有缺陷信息的第二掩模图；其中，所述语义分割网络基于U
‑
Net网络构建，并引入PPM模块；合并第一掩模图和第二掩模图，得到关于工业产品的完整掩模图。
[0007]第二方面，一种计算机存储介质，所述计算机存储介质上存储有计算机指令，所述指令在计算机上执行时，使得所述计算机执行第一方面所述的方法。
[0008]与现有技术相比，本专利技术技术方案的有益效果是：相较于现有技术，本专利技术通过对分割图像进行分类，减少了无目标训练图像造成的资源浪费，降低后续图像语义分割的计算复杂度并放大缺陷语义特征，从而提高整体效率及准确率，同时缓解了由于网络加深造成的梯度消失和梯度爆炸问题；通过在U
‑
Net网络中引入PPM模块，可有效聚合不同区域的上下文信息，扩大感受野，提高了获取全局信息的能力，达到兼顾全局语义信息与局部细节信息的目的，避免了语义分割中误判、未判和错判
等问题，特别适用于工业产品的表面缺陷检测领域，如玻璃面板缺陷检测、钢板缺陷检测。
附图说明
[0009]图1为U
‑
Net网络结构示意图；图2为实施例1中工业缺陷语义分割方法流程示意图；图3为实施例1中超像素分割处理效果示例图；图4为实施例1中ResNet结构示意图；图5为实施例1中普通残差单元两层结构示意图；图6为实施例1中瓶颈残差单元结构示意图；图7为实施例1中U
‑
P
‑
Net网络结构示意图；图8为实施例1中PPM模块结构示意图；图9为实施例2中手机玻璃面板缺陷检测流程示意图；图10为实施例2中ResNet50结构示意图；图11为实施例2中气泡缺陷示例图；图12为实施例2中划痕缺陷示例图；图13为实施例2中锡灰缺陷示例图；图14为实施例2中第一掩模图示例图。
具体实施方式
[0010]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
[0011]附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0012]为便于更好的理解和实施本专利，对本申请实施例中涉及的一些术语和技术进行说明：（1）SLICSLIC（Simple Linear Iterative Clustering，超像素算法），是指具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。它利用像素之间特征的相似性将像素分组,用少量的超像素代替大量的像素来表达图片特征。其中，超像素是一个5维特征向量，它将彩色图像转换为CIELAB颜色空间和XY坐标。通过对5维特征向量构建距离测量准则，进而实现对图像像素的局部聚类。
[0013]（2）ResNet
ResNet（残差分类网络），参考了VGG19网络，在其基础上进行了修改，并利用残差学习思想引入跳跃连接（Shortcut connection，也叫短路连接），使得非线性层拟合残差映射，通过Shortcut将输入跨层传递，然后与经过卷积后的输出相加，经过堆叠可以构成深层次网络。
[0014]下面结合附图和实施例对本专利技术的技术方案做进一步的说明。
[0015]实施例1本实施例提供一种基于U
‑
Net网络的工业缺陷语义分割方法，参阅图 2，包括：获取目标图像集；其中，所述目标图像集中包括对同一工业产品成像的若干张分割图像；对分割图像进行分类，划分为无缺陷类图像或有缺陷类图像；将无缺陷类图像直接转化为不带有缺陷信息的第一掩模图；将有缺陷类图像输入语义分割网络，得到带有缺陷信息的第二掩模图；其中，所述语义分割网络基于U
‑
Net网络构建，并引入PPM模块；合并第一掩模图和第二掩模图，得到关于工业产品的完整掩模图。
[0016]本实施例在U
‑
Net网络中引入PPM（Pyramid Pooling Module，金字塔池化）模块，构成U
‑
P
‑
Net，用于扩大感受野，集合不同区域的上下文信息，提高了U
‑
Net网络获取全局信息的能力，从而达到兼顾全局语义信息与局部细节信息的目的，避免了语义分割中误判、未判和错判等问题。
[0017]在一优选实施例中，对目标图像集中的分割图像进行分类前，对目标数据集进行数据增强和/或数据扩充。在一些示例中，所述数据增强包括亮度调整、图像模糊和/或图片旋转，所述数据扩充包括增加噪声。
[0018]需要说明的是，通过数据增强和/或数据扩充，可解决目标数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于U
‑
Net网络的工业缺陷语义分割方法，其特征在于，包括：获取目标图像集；其中，所述目标图像集中包括对同一工业产品成像的若干张分割图像；对分割图像进行分类，划分为无缺陷类图像或有缺陷类图像；将无缺陷类图像直接转化为不带有缺陷信息的第一掩模图；将有缺陷类图像输入语义分割网络，得到带有缺陷信息的第二掩模图；其中，所述语义分割网络基于U
‑
Net网络构建，并引入PPM模块；合并第一掩模图和第二掩模图，得到关于工业产品的完整掩模图。2.根据权利要求1所述的一种基于U
‑
Net网络的工业缺陷语义分割方法，其特征在于，对目标图像集中分割图像进行分类之前，对分割图像进行超像素分割处理。3.根据权利要求2所述的一种基于U
‑
Net网络的工业缺陷语义分割方法，其特征在于，采用SLIC方法对图像进行超像素分割处理，包括：根据预设的超像素数量，在分割图像内均匀分配若干个初始的种子点；根据预设的领域范围大小对图像进行划分，对初始种子点所在领域内的所有像素点计算梯度值，将种子点重设为领域内梯度最小的像素点；对每个种子点对应领域内的像素点分配类别标签，即归属的聚类中心；迭代计算每个像素点与其周围种子点间的距离，并将距离值最小的种子点作为对应像素点的聚类中心，直至每个像素点的聚类中心不再变化，确定超像素分割结果，得到超像素分割后的超像素分割图像。4.根据权利要求3所述的一种基于U
‑
Net网络的工业缺陷语义分割方法，其特征在于，所述计算每个像素点与其周围种子点间的距离，其表达式为：其表达式为：其表达式为：式中，、、表示坐标为的像素点j的特征向量；、、表示坐标为的像素点的特征向量；表示颜色距离；表示空间距离；表示类内最大空间距离；表示最大颜色距离。5.根据权利要求3所述的一种基于U
‑
Net网络的工业缺陷语义分割方法，其特征在于，当超像素分割图像中存在异常的超像素时，重新生成超像素分割图像，包括：创建与异常的超像素相对应的标记表，初始化表内元素值；其中，所述异常的超像素包括超像素多连通、超像素尺寸小于第一预设值，和/或单个超像素被切割成若干个不连续超像素；按照“Z”型走向将不连续的超像素和/或尺寸过小超像素，重新分配给邻近的超像素，遍历过的像...

【专利技术属性】
技术研发人员：吴宗泽，李墨，陈志豪，任志刚，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：