复杂背景下基于视觉的压雪车外观缺陷检测方法及装置制造方法及图纸

本发明专利技术提供一种复杂背景下基于视觉的压雪车外观缺陷检测方法，其包括以下步骤：S1：利用移动终端通过随意拍摄的方式采集目标物体待检测区域图像，将图像信息传输到上位机；S2：上位机接收图像信息，并对图像进行缺陷检测；S3：上位机保存检测结果，最终生成检测报告。本发明专利技术将对象级缺陷检测与半监督缺陷分类相结合，提出了一种在复杂背景下实现对象级自动标注的半监督缺陷检测方法，该方法能够在少样本训练的情况下，识别多目标、多类别、小尺度的缺陷。

【技术实现步骤摘要】
复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
本专利技术涉及压雪车外观缺陷检测方法领域，具体地涉及一种基于视觉的能够在复杂背景下仅依靠少量标注即可实现对象级自动标注的压雪车外观缺陷检测技术。
技术介绍
产品外观检测是生产制造过程中产品质量控制的关键步骤。基于视觉的外观缺陷检测方法凭借其快速、鲁棒的特性，在织物、金属、木材等多个领域得到广泛应用。基于视觉的缺陷检测核心是缺陷特征提取，根据特征提取方式的不同，可将检测方法分为以下两类：基于人工特征提取的数字图像处理方法和基于神经网络特征自提取的深度学习方法。数字图像处理方法是根据缺陷的具体情况，手动设计缺陷特征提取算子。尽管该方法具有无监督、可解释性强的优点，但泛化性不足，对于复杂背景下的多目标检测，往往容易造成漏检以及误判。近年来，基于卷积神经网络的方法不断应用到缺陷检测任务上，取得了不错的效果。得益于CNN强大的特征提取能力，在有大量样本可供训练的通用缺陷数据集上，采用深度学习的检测方法可以达到较高的精度。然而实际的生产过程中，不仅缺陷样本数量少、种类多，且缺陷样本的对象级标注需要专业人员耗费大量的时间。针对复杂背景下多目标多尺度缺陷，且对象级标注的缺陷样本数量较少的问题，一些学者采用了半监督学习策略。半监督学习介于监督学习和无监督学习之间，该方法能充分利用有标签数据训练初始分类器，并利用大量无标签数据优化模型，能有效解决有监督学习依赖大量标注的问题，同时相较于无监督学习，其检测精度更高。目前尚没有将半监督学习和复杂背景下多目标对象级自动标注相结合的压雪车外观缺陷检测方法。
技术实现思路
为了解决上述现有技术的不足，本专利技术将复杂背景下缺陷对象级自动标注与半监督学习相结合，在标签样本较少的情况下，提高多目标缺陷定位与识别的精度。为此建立适当的模型，将复杂背景下多目标对象级标注和半监督学习相结合，共同检测压雪车外观缺陷，提高缺陷检测的准确度。本专利的检测系统主要包含图像采集，缺陷检测，检测结果生成三个部分。其中，图像采集使用工业相机对压雪车外观随意拍摄，不限制距离以及角度，但需确保待检测区域占据图像像素80％以上。缺陷检测部分包含多维图像分割算法、半监督分类优化模型、融合算法三个模块，多维缺陷分割算法从多个维度提取可能存在缺陷的区域，提高多目标缺陷的检出率；基于半监督方法构建了缺陷识别网络的优化模型，采用伪标签机制防止因输入错误标签而导致训练精度下降，结合基于特征距离聚类的标记模型，提高了识别网络的分类精度；基于准确的分类结果，融合算法对带标签图像块进行筛选融合，提高定位精度。检测结果生成共有两部分内容，一是通过数据线直接回传，以单张图像为单位；另一种方式是终端保存，直至该检测任务全部完成，以单个任务为单位，并生成检测报告。具体地，本专利技术提出一种复杂背景下基于视觉的压雪车外观缺陷检测方法，其包括以下步骤：S1：利用移动终端通过随意拍摄的方式采集目标物体待检测区域图像，将图像信息传输到上位机；S2：上位机接收图像信息，并对图像进行缺陷检测，其包括以下步骤：S21：多维图像分割算法从梯度、阈值和区域三个方向构建三个维度的特征图，对特征图经过形态学处理、轮廓提取和面积筛选后，生成基于各维度特征图的缺陷候选区域，保留区域图像块及其位置信息，获取缺陷候选区域；S22：将步骤S21中获取的缺陷候选区域分为有标签样本集DL和无标签样本集DU，有标签样本集DL进一步分为有标签训练集和有标签测试集，共C+1类，其中C类为缺陷类别，1类为背景类，标签采用one-hot编码，各类样本所包含的样本数量均相等；无标签样本集DU分为m个patch，每个patch包含相同数量的样本；S23：构建CNN模型，采用Resnet50模型作为初始分类模型，利用步骤S22中的有标签训练集对所述初始分类模型进行训练，使用adam算法更新初始分类模型中的参数，使用交叉熵损失作为损失函数，当模型收敛时，终止训练，计算测试组上的所述初始分类模型的预测误差；S24：将S23中训练后的初始分类模型拆除softmax分类层，将特征提取层连接特征距离相似性度量网络，对S22中的无标签样本集的patch1进行初步类别预测；其中，特征距离相似性度量网络将有标签数据集DL作为支持集，通过计算各类别样本的聚类中心，找到每个类的参考特征向量，计算候选样本与各类别聚类中心特征向量的欧式距离，选取最小值所在类别作为该候选样本的预测类别；假设表示有k个类别，每个类别有n个样本的有标签数据集，其中代表第i类有标签样本集合，代表第i类缺陷第j张图像的矩阵化表示，为其对应类别的one-hot编码，初始分类模型的特征提取层用映射函数fθ表示，将输入图像的矩阵化表示转换为特征向量如下式即fθ：其中，H、W、C分别为图像矩阵的行数、列数及维度数，即图像的高度、宽度及通道数，D是特征向量的维度，为2048维，θ是分类网络的权重参数；特征距离相似性度量网络将DL作为支持集，构建的聚类中心，得到代表的参考向量Ci，如下式：得到各类别支持集参考向量Ci后，计算测试样本特征向量F与各参考向量的欧式距离di,将距离最小的类别作为该测试样本的预测类别y，di如下式：其中，Fj表示测试向量F第j维的值，代表参考向量Ci第j维的值；S25：将S24中预测的无标签样本集DU中patch1及其预测的类别标签归类到伪标签样本集DP中，从有标签训练集和伪标签样本集中联合采样，输入分类网络进行训练，采用伪标签机制同时考虑两个不同样本集的损失函数，并采用动态更新的方式，优化损失函数，使用adam算法更新分类模型中的参数，当模型收敛时，终止训练，计算测试组上的所述分类模型的预测误差，得到新的分类模型；S26：将步骤S25中训练后的新的分类模型拆除softmax分类层，将特征提取层连接特征距离相似性度量网络(具体方法与前述步骤S24中方法一致)，对步骤S22中的无标签样本集的patch1和patch2进行类别预测，更新patch1的预测标签；S27：重复步骤S25和S26，直到所有无标签样本全部参与训练，得到最终的优化后的分类模型作为最优分类模型，利用最优分类模型对步骤S1中得到的缺陷候选区域进行预测，得到各缺陷候选区域的类别；S28：融合层将结合各缺陷候选区域的类别及位置信息，形成各维度的带标签缺陷图像，再融合三个维度的图像，进行缺陷候选区域的筛选及回归，得到标注有最终缺陷区域的图像；S3：上位机保存检测结果，最终生成检测报告，其包括以下步骤：S31、上位机将标注有缺陷区域的单个图像保存并回传至移动终端，并且在移动终端显示；S32、在该检测任务的所有图像缺陷区域标记完成后，上位机生成检测报告，报告内容包含各图像是否存在缺陷、缺陷类别、缺陷面积以及缺陷位置。优选地，步骤S1具体包括以下子步骤：S11、利用带有显示屏的移动终端进行随意拍摄的图像采集；S12、本文档来自技高网...

【技术保护点】
1.一种复杂背景下基于视觉的压雪车外观缺陷检测方法，其特征在于：其包括以下步骤：/nS1：利用移动终端通过随意拍摄的方式采集目标物体待检测区域图像，将图像信息传输到上位机；/nS2：上位机接收图像信息，并对图像进行缺陷检测，其包括以下步骤：/nS21：多维图像分割算法从梯度、阈值和区域三个方向构建三个维度的特征图，对特征图经过形态学处理、轮廓提取和面积筛选后，生成基于各维度特征图的缺陷候选区域，保留区域图像块及其位置信息，获取缺陷候选区域；/nS22：将步骤S21中获取的缺陷候选区域分为有标签样本集D

【技术特征摘要】
1.一种复杂背景下基于视觉的压雪车外观缺陷检测方法，其特征在于：其包括以下步骤：
S1：利用移动终端通过随意拍摄的方式采集目标物体待检测区域图像，将图像信息传输到上位机；
S2：上位机接收图像信息，并对图像进行缺陷检测，其包括以下步骤：
S21：多维图像分割算法从梯度、阈值和区域三个方向构建三个维度的特征图，对特征图经过形态学处理、轮廓提取和面积筛选后，生成基于各维度特征图的缺陷候选区域，保留区域图像块及其位置信息，获取缺陷候选区域；
S22：将步骤S21中获取的缺陷候选区域分为有标签样本集DL和无标签样本集DU，有标签样本集DL进一步分为有标签训练集和有标签测试集，共C+1类，其中C类为缺陷类别，1类为背景类，标签采用one-hot编码，各类样本所包含的样本数量均相等；无标签样本集DU分为m个patch，每个patch包含相同数量的样本；
S23：构建CNN模型，采用Resnet50模型作为初始分类模型，利用步骤S22中的有标签训练集对所述初始分类模型进行训练，使用adam算法更新初始分类模型中的参数，使用交叉熵损失作为损失函数，当模型收敛时，终止训练，计算测试组上的所述初始分类模型的预测误差；
S24：将步骤S23中训练后的初始分类模型拆除softmax分类层，将特征提取层连接特征距离相似性度量网络，对步骤S22中的无标签样本集的patch1进行初步类别预测；
其中，特征距离相似性度量网络将有标签数据集DL作为支持集，通过计算各类别样本的聚类中心，找到每个类的参考特征向量，计算候选样本与各类别聚类中心特征向量的欧式距离，选取最小值所在类别作为该候选样本的预测类别；
假设表示有k个类别，每个类别有n个样本的有标签数据集，其中代表第i类有标签样本集合，代表第i类缺陷第j张图像的矩阵化表示，为其对应类别的one-hot编码，初始分类模型的特征提取层用映射函数fθ表示，将输入图像的矩阵化表示转换为特征向量如下式



即fθ：
其中，H、W、C分别为图像矩阵的行数、列数及维度数，即图像的高度、宽度及通道数，D是特征向量的维度，为2048维，θ是分类网络的权重参数；
特征距离相似性度量网络将DL作为支持集，构建的聚类中心，得到代表的参考向量Ci，如下式：



得到各类别支持集参考向量Ci后，计算测试样本特征向量F与各参考向量的欧式距离di,将距离最小的类别作为该测试样本的预测类别y，di如下式：



其中，Fj表示测试向量F第j维的值，代表参考向量Ci第j维的值；
S25：将步骤S24中预测的无标签样本集DU中patch1及其预测的类别标签归类到伪标签样本集DP中，从有标签训练集和伪标签样本集中联合采样，输入分类网络进行训练，采用伪标签机制同时考虑两个不同样本集的损失函数，并采用动态更新的方式，优化损失函数，使用adam算法更新分类模型中的参数，当模型收敛时，终止训练，计算测试组上的所述分类模型的预测误差，得到新的分类模型；
S26：将步骤S25中训练后的新的分类模型拆除softmax分类层，将特征提取层连接特征距离相似性度量网络，对步骤S22中的无标签样本集的patch1和patch2进行类别预测，更新patch1的预测标签；
S27：重复步骤S25和S26，直到所有无标签样本全部参与训练，得到最终的优化后的分类模型作为最优分类模型，利用最优分类模型对步骤S1中得到的缺陷候选区域进行预测，得到各缺陷候选区域的类别；
S28：融合层将结合各缺陷候选区域的类别及位置信息，形成各维度的带标签缺陷图像，再融合三个维度的图像，进行缺陷候选区域的筛选及回归，得到标注有最终缺陷区域的图像；
S3：上位机保存检测结果，最终生成检测报告，其包括以下步骤：
S31、上位机将标注有缺陷区域的单个图像保存并回传至移动终端，并且在移动终端进行显示；
S32、在该检测任务的所有图像缺陷区域标记完成后，上位机生成检测报告，报告内容包含各图像是否存在缺陷、缺陷类别、缺陷面积以及缺陷位置。


2.根据权利要求1所述的复杂背景下基于视觉的压雪车外观缺陷检测方法，其特征在于：步骤S1具体包括以下子步骤：
S11、利用带有显示屏的移动终端进行随意拍摄的图像采集；
S12、随意拍摄的方式包含自然的角度、环境和距离，图像中目标物体的像素占比达到整张图像的80％及以上，图像中可以夹杂地面背景；
S13、采用有线传输或者无线传输的方式进行数据传输，将图像传送至上位机。


3.根据权利要求1所述的复杂背景下基于视觉的压雪车外观缺陷检测方法，其特征在于：步骤S25中，采样规则为1:1采样，伪标签机制所采用的损失函数为



其中n...

【专利技术属性】
技术研发人员：陈哲涵，张枫桦，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：北京;11