一种工业环境下的纹理表面缺陷检测与分割装置及方法制造方法及图纸

本发明专利技术涉及一种工业环境下的纹理表面缺陷检测与分割装置及方法，属于工业纹理表面缺陷检测与分割技术领域。本发明专利技术包括输入模块I、特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V、分割模块VI；所述输入模块I输出至特征提取模块II，特征提取模块II输出至缺陷区域提取模块III和缺陷区域对齐模块IV，缺陷区域提取模块III输出至缺陷区域对齐模块IV，缺陷区域对齐模块IV输出至检测模块V和分割模块VI；本发明专利技术能够自动获取多类缺陷具体类别、缺陷精确位置坐标和缺陷空间分布信息，对缺陷多尺度有良好的鲁棒性。对纹理表面缺陷有着广泛的适用性和较高的检测精度。

A Texture Surface Defect Detection and Segmentation Device and Method in Industrial Environment

【技术实现步骤摘要】
一种工业环境下的纹理表面缺陷检测与分割装置及方法
本专利技术涉及一种工业环境下的纹理表面缺陷检测与分割装置及方法，属于工业纹理表面缺陷检测与分割

技术介绍
在工业产品加工过程中，由于原材料、轧制设备和工艺等原因，使得其表面不可避免会出现不同类型的缺陷，常见的缺陷包括划痕，气孔和夹杂物等，这些缺陷不仅影响产品的外观，还会降低产品的耐腐蚀性、耐磨性和疲劳强度等性能，给企业造成巨大的经济损失。如何在生产过程中自动检测与分割表面缺陷以控制和提高产品质量，一直是企业高度关注的问题。传统检测方法采用形态学、局部环形对比、显着图，区域和大津等进行缺陷定位；通过小波滤波器、局部二值模式，散射卷积网络等提取缺陷特征；通过贝叶斯网络、支持向量机、杂交染色体遗传算法等进行分类。传统分割方法大多基于统计特征、数学形态学、模糊集合、神经网络、多尺度理论和遗传算法等。这些基于人工设计的特征或浅层学习的特征对于缺陷多样化和噪声没有良好的鲁棒性，且要求设计者具有丰富的先验知识，只适用于特定的缺陷检测和分割，很难适应缺陷面积大小不一、形状种类多样化、背景区域复杂的缺陷自动检测与分割，自适应性及泛化性较差，存在应用的局限性。此外，一些研究人员仅关注单一类型的表面缺陷，如残留氧化皮，周期性缺陷，微缺陷和裂纹缺陷等。多类缺陷检测与分割仍然是一个主要挑战，因此，有必要提供一种通用的、可重用的缺陷检测与分割方法。目前，深度学习技术在视觉领域取得了巨大成功，并得益于GPU硬件加速和大数据技术，其已从学术界走向工程界，大量应用在图像分类、物体检测、图像分割、图像标注等实际工程领域。与传统的缺陷检测与分割方法不同，特征提取器和分类器可以从输入缺陷图像自动端到端地进行训练，以构建更加智能的检测与分割系统，可以弥补传统手动和浅层学习方法的缺点。除此之外，CNN的高度非线性映射能力使其非常有效解决表面缺陷检测与分割的实际问题，能自适应提取不同层级的特征，有效提高检测精度及泛化性。
技术实现思路
本专利技术提供了一种工业环境下的纹理表面缺陷检测与分割装置及方法，以用于解决传统方法需要依赖特征提取技术、自适应性和泛化性差等问题。使用基于掩模区域的卷积神经网络模型同时对输入的多类缺陷图像执行缺陷检测和分割任务。本专利技术的技术方案是：一种工业环境下的纹理表面缺陷检测与分割装置，包括输入模块I、特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V、分割模块VI；所述输入模块I输出至特征提取模块II，特征提取模块II输出至缺陷区域提取模块III和缺陷区域对齐模块IV，缺陷区域提取模块III输出至缺陷区域对齐模块IV，缺陷区域对齐模块IV输出至检测模块V和分割模块VI。进一步地，所述特征提取模块II用于提取缺陷图像的多尺度特征；所述缺陷区域提取模块III为候选区域提取网络RPN，用于对提取的缺陷图像的多尺度特征进行预测输出质量高的预测缺陷区域；所述缺陷区域对齐模块IV为感兴趣区域对齐层RoIAlign，用于根据提取的缺陷图像的多尺度特征使生成的预测缺陷区域映射产生固定大小的特征图；所述检测模块V为快速的基于区域的卷积神经网络FastR-CNN，用于输出预测缺陷区域映射产生的固定大小的特征图的具体类别和位置坐标；所述分割模块VI为掩码区域提取网络Mask，输出对应预测缺陷区域映射产生的固定大小的特征图的空间分布信息。一种工业环境下的纹理表面缺陷检测与分割方法，包括如下步骤：步骤1、建立用于微调训练的工业纹理表面缺陷检测与分割图像数据集作为输入模块I，其中包括训练集和测试集；步骤2、搭建特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V和分割模块VI；此些模块共同组成缺陷检测与分割网络；步骤3、通过特征提取模块II对输入模块I中的图像数据集进行缺陷图像的多尺度特征的提取；步骤4、通过缺陷区域提取模块III对提取的缺陷图像的多尺度特征进行预测输出质量高的预测缺陷区域；步骤5、缺陷区域对齐模块IV根据提取的缺陷图像的多尺度特征使生成的预测缺陷区域映射产生固定大小的特征图；步骤6、使用大型图像数据集COCO对缺陷检测与分割网络进行预训练；步骤7、设置缺陷检测与分割网络的超参数，包括卷积层数量、池化层数量、全连接层数量、卷积核尺寸、卷积核数量、卷积核滑动步长值、池化策略和激活函数类型；步骤8、构建整个缺陷检测与分割网络的多任务损失函数；步骤9、设置缺陷检测与分割网络的训练超参数，包括优化方法、迭代学习率、权重初始化策略、权重衰减参数和动量系数；步骤10、采用迁移学习方法对整个缺陷检测与分割网络进行训练，减少训练数据需求并提高训练模型的预测准确性；步骤11、使用训练完成的缺陷检测与分割网络来进行缺陷检测和分割的任务，得出预测缺陷区域映射产生的固定大小的特征图的轮廓、具体类别、位置坐标和空间分布信息。进一步地，步骤1所述的工业纹理表面缺陷检测与分割图像数据集的训练集为人工采用多边形对缺陷图像中的缺陷区域进行标注，每个标注指示对应缺陷的真实类别、位置坐标和空间分布。进一步地，步骤3所述特征提取模块II包括残差网络Resnet-101或Resnet-50和改进后的特征金字塔网络FPN，Resnet-101或Resnet-50包括第一层池化层输出C1，四个残差模块输出{C2,C3,C4,C5}，不同之处在于，Resnet-101残差网络的层数与Resnet-50的层数不同，Resnet-101包括101层，Resnet-50包括50层；FPN用于融合Resnet-101或Resnet-50的四个残差模块输出{C2,C3,C4,C5}，并输出最终的多尺度特征图。进一步地，步骤8所述损失函数为一个多任务损失函数，包括缺陷分类任务损失函数、缺陷定位损失函数和缺陷分割损失函数；所述缺陷分类任务损失函数如下式所示：Lcls(pi,pi*)＝-log[pipi*+(1-pi)(1-pi*)]其中，Lcls为缺陷分类任务损失函数，将候选缺陷区域anchor预测为缺陷和背景的对数损失；i表示缺陷特征图上anchor的下标；pi表示第i个anchor被预测为正样本即缺陷的概率；当anchor为正样本时，pi*＝1，当anchor为负样本即背景时，pi*＝0；所述缺陷定位任务损失函数如下式所示：其中，Lloc为缺陷定位任务损失函数，通过比较预测缺陷区域predicted-box边界框和真实缺陷区域ground-truth边界框的坐标差值得到；tl＝{tx,ty,tw,th}为第l个predicted-box边界框坐标对应的向量，(tx,ty)为predicted-box边界框的中心点坐标，tw和th为predicted-box边界框的宽和高；tl*＝{tx*,ty*,tw*,th*}为第l个ground-truth边界框坐标对应的向量，(tx*,ty*)为ground-truth边界框的中心点坐标，tw*和th*为ground-truth边界框的宽和高；R(tl-tl*)是函数，即向量t和t*中每个值的计算方法如下式所示：其中，(x,y)为predicted-box边界框的中心点坐标，w和h为predicted-box边界框的高和宽；(xa,ya)为anc本文档来自技高网...

【技术保护点】
1.一种工业环境下的纹理表面缺陷检测与分割装置，其特征在于：包括输入模块I、特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V、分割模块VI；所述输入模块I输出至特征提取模块II，特征提取模块II输出至缺陷区域提取模块III和缺陷区域对齐模块IV，缺陷区域提取模块III输出至缺陷区域对齐模块IV，缺陷区域对齐模块IV输出至检测模块V和分割模块VI。

【技术特征摘要】
1.一种工业环境下的纹理表面缺陷检测与分割装置，其特征在于：包括输入模块I、特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V、分割模块VI；所述输入模块I输出至特征提取模块II，特征提取模块II输出至缺陷区域提取模块III和缺陷区域对齐模块IV，缺陷区域提取模块III输出至缺陷区域对齐模块IV，缺陷区域对齐模块IV输出至检测模块V和分割模块VI。2.根据权利要求1所述的工业环境下的纹理表面缺陷检测与分割装置，其特征在于：所述特征提取模块II用于提取缺陷图像的多尺度特征；所述缺陷区域提取模块III为候选区域提取网络RPN，用于对提取的缺陷图像的多尺度特征进行预测输出质量高的预测缺陷区域；所述缺陷区域对齐模块IV为感兴趣区域对齐层RoIAlign，用于根据提取的缺陷图像的多尺度特征使生成的预测缺陷区域映射产生固定大小的特征图；所述检测模块V为快速的基于区域的卷积神经网络FastR-CNN，用于输出预测缺陷区域映射产生的固定大小的特征图的具体类别和位置坐标；所述分割模块VI为掩码区域提取网络Mask，输出对应预测缺陷区域映射产生的固定大小的特征图的空间分布信息。3.一种工业环境下的纹理表面缺陷检测与分割方法，其特征在于：包括如下步骤：步骤1、建立用于微调训练的工业纹理表面缺陷检测与分割图像数据集作为输入模块I，其中包括训练集和测试集；步骤2、搭建特征提取模块II、缺陷区域提取模块III、缺陷区域对齐模块IV、检测模块V和分割模块VI；此些模块共同组成缺陷检测与分割网络；步骤3、通过特征提取模块II对输入模块I中的图像数据集进行缺陷图像的多尺度特征的提取；步骤4、通过缺陷区域提取模块III对提取的缺陷图像的多尺度特征进行预测输出质量高的预测缺陷区域；步骤5、缺陷区域对齐模块IV根据提取的缺陷图像的多尺度特征使生成的预测缺陷区域映射产生固定大小的特征图；步骤6、使用大型图像数据集COCO对缺陷检测与分割网络进行预训练；步骤7、设置缺陷检测与分割网络的超参数，包括卷积层数量、池化层数量、全连接层数量、卷积核尺寸、卷积核数量、卷积核滑动步长值、池化策略和激活函数类型；步骤8、构建整个缺陷检测与分割网络的多任务损失函数；步骤9、设置缺陷检测与分割网络的训练超参数，包括优化方法、迭代学习率、权重初始化策略、权重衰减参数和动量系数；步骤10、采用迁移学习方法对整个缺陷检测与分割网络进行训练，减少训练数据需求并提高训练模型的预测准确性；步骤11、使用训练完成的缺陷检测与分割网络来进行缺陷检测和分割的任务，得出预测缺陷区域映射产生的固定大小的特征图的轮廓、具体类别、位置坐标和空间分布信息。4.根据权利要求3所述的工业环境下的纹理表面缺陷检测与分割方法，其特征在于：步骤1所述的工业纹理表面缺陷检测与分割图像数据集的训练集为人工采用多边形对缺陷图像中的缺陷区域进行标注，每个标注指示对应缺陷的真实类别、位置坐标和空间分布。5.根据权利要求3所述的工业环境下的纹理表面缺陷检测与分割方法，其特征在于：步骤3所述特征提取模块II包括残差网络Resnet-101或Resnet-50和改进后的特征金字塔网络FPN，Resnet-101或Resnet-50包括第一层池化层输出C1，四个残差模块输出{C2，C3，C4，C5}，不同之处在于，Resnet-101残差网络的层数与Resnet-50的层数不同，Resnet-101包括101层，Resnet-50包括50层；FPN用于融合Resnet-101或Resnet-50的四个残差模块输出{C2，C3，C4，C5}，并输出最终...

【专利技术属性】
技术研发人员：王剑平，王海云，张果，欧阳鑫，杨晓洪，车国霖，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南,53