面向工业产品质检的小样本图像分割自我校准方法技术

本发明专利技术提出一种面向工业产品质检的小样本图像分割自我校准方法，包括：训练图像采集、划分训练集和测试集、选取指导图片和查询图片构造输入、算法模型初始化、进行自我校准算法的训练、算法性能的测试。所述校准方法，将小样本学习算法和工业产品质检相结合，利用双分支结构，解决工业产品质检领域由于缺少数据和缺少有关数据的标注等原因，无法将深度学习方法应用到工业产品质检的问题。应用到工业产品质检的问题。应用到工业产品质检的问题。

【技术实现步骤摘要】
面向工业产品质检的小样本图像分割自我校准方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种面向工业产品质检的小样本图像分割自我校准方法。

技术介绍

[0002]工业产品的缺陷检测是工业领域的重要分支，由于缺陷多种多样，传统的机器视觉算法很难对缺陷的特征进行完整的建模和迁移，而深度学习在特征提取和定位上都有比较好的结果，因此，使用基于深度学习的图像语义分割算法来进行工业产品的缺陷检测是目前研究的主要方法之一。
[0003]图像语义分割是计算机视觉中的一项基本任务，该任务旨在将输入图像中的每个像素划分为一个明确的类别。近年来，随着深度学习技术的发展和大规模标注数据集的出现，使得图像语义分割的准确率得到了显著的提高，图像语义分割技术也在缺陷检测、医学影像处理、自动驾驶等领域发挥着越来越大的作用。目前基于深度学习的图像语义分割算法主要通过深度卷积神经网络(Deep Convolution Neural Network)进行实现。虽然这类算法具有优异的性能，但是它们存在两个问题：
[0004]第一，基于深度学习的图像语义分割算法需要使用大量逐像素标注的图片来进行训练，才能生成一个性能良好的模型。以图像语义分割常用的数据集Common Objects in Context(下文简称COCO)为例，COCO数据集提供了12万张图片用于图像语义分割，每张图片都由人工进行逐像素(每张图片几万甚至几十万个像素)的标注以保证算法所涉及的模型能够得到充分地训练而收敛。
[0005]第二，基于深度学习的图像语义分割算法在训练完成后，针对新的图像类别，即没有参与训练模型的类别，除非同原来的数据一起重新训练模型，否则无法基于现有模型实现新类别的图像分割需求。例如，COCO数据集一共包含80个物体类别，则使用COCO数据集训练生成的图像语义分割模型只能对包含这80类的图像进行语义分割。若此时增加了新类别(如工业金属氧化块区域、轻工业织物破损区域)的语义分割需求，则只能通过人工标记大量的新类别图像，并重新训练模型来实现。要解决新类别图片数量不足、没有高质量的逐像素标注等问题，而这需要付出巨大的时间成本和人力成本。同时在缺陷检测等工业领域，相关数据的公开性不高，且获取成本高，不同的缺陷之间差异较大，这给深度学习方法在缺陷检测上的使用增加了难度。
[0006]基于现有技术存在的如上述问题，本专利技术提供一种面向工业产品质检的小样本图像分割自我校准方法。

技术实现思路

[0007]本专利技术提出了一种面向工业产品质检的小样本图像分割自我校准方法。
[0008]本专利技术采用以下技术方案：
[0009]一种面向工业产品质检的小样本图像分割自我校准方法，包括：
[0010]步骤1，采集训练图像，获得数据集，将数据集划分为训练集C
base
和测试集C
novel
两类，训练集C
base
为拥有样本缺陷的种类，训练集C
base
和测试集C
novel
无交集；
[0011]步骤2，构造自我校准算法的输入数据，输入数据包括若干三元组(I
s
，M
s
，I
q
)，三元组作为训练或测试过程中的基本数据单元，称为一个段，自我校准算法包括指导分支和查询分支，其中指导分支输入指导图片I
s
和指导图片I
s
的逐像素标注图像M
s
，指导分支用于从被充分标注的指导图片I
s
中学习并提取先验知识；查询分支的输入为查询图片I
q
，查询分支用于借鉴指导图片I
s
学习的知识来生成查询图片I
q
的预测结果；
[0012]步骤3，提取输入图片特征，对于每一个段，指导图片I
s
和查询图片I
q
分别通过一个由卷积神经网络组成的编码器，提取出其在高维空间的深度特征，指导图片I
s
的高维特征记为F
s
，查询图片I
q
的高维特征记为F
q
；
[0013]步骤4，生成指导图片的特征表示，将指导图片I
s
的高维特征F
s
输入到指导分支中，生成对应的特征表示；将指导图片I
s
的高维特征F
s
和其标注M
s
的逐像素相乘，将指导图片I
s
高维特征F
s
中的背景部分去除；通过全局平均池化生成指导图片I
s
的特征表示V
s
，输入到查询分支中；
[0014]步骤5，生成预测概率分布图，将查询图片I
q
的高维特征F
q
输入到查询分支中，和指导图片I
s
的特征表示V
s
一起生成查询图片I
q
的初步分割预测，指导图片I
s
的特征表示V
s
和查询图片I
q
的高维特征F
q
逐像素的计算余弦相似度，能够得到一概率分布图P，其中每个位置的值表示该位置像素属于前景类别的概率；
[0015]步骤6，生成初步标记掩码，选取一个阈值，将概率分布图P中大于阈值的位置设置为1，小于阈值的位置设置为0，得到由0和1组成的初步分割预测M
init
，其中0代表该位置像素属于背景类别，1代表该位置像素属于前景类别；
[0016]步骤7，生成用于对初步分割预测M
init
进行自我校准的特征表示V
q
，由于存在类内差异的问题，指导图片和查询图片的前景部分存在差异，初步分割预测M
init
中有预测错误或漏预测的部分，需要进行进一步校准；
[0017]步骤8，令查询图片I
q
的高层特征F
q
和V
q
逐像素计算余弦相似度，得到中间结果P
′
，令P
′
和查询图片I
q
的高维特征F
q
相乘，输入到ASPP模块中，得到输出校准后的校准分割预测结果M
rec
对应的概率分布图P
r
，作为算法的输出；
[0018]步骤9，计算所述算法的自我校准损失，监督模型的训练；
[0019]步骤10，生成预测结果。
[0020]进一步地，步骤7中，所述自我校准包括：令查询图片I
q
的高维特征F
q
和M
init
相乘，去除掉被判定为背景的区域，然后通过全局平均池化生成查询图片I
q
的特征表示V
q
。
[0021]进一步地，步骤9中，所述校准损失包括第一损失和第二损本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向工业产品质检的小样本图像分割自我校准方法，其特征在于，包括：步骤1，采集训练图像，获得数据集，将数据集划分为训练集C
base
和测试集C
novel
两类，训练集C
base
为拥有样本缺陷的种类，训练集C
base
和测试集C
novel
无交集；步骤2，构造自我校准算法的输入数据，输入数据包括若干三元组(I
s
，M
s
，I
q
)，三元组作为训练或测试过程中的基本数据单元，称为一个段，自我校准算法包括指导分支和查询分支，其中指导分支输入指导图片I
s
和指导图片I
s
的逐像素标注图像M
s
，指导分支用于从被充分标注的指导图片I
s
中学习并提取先验知识；查询分支的输入为查询图片I
q
，查询分支用于借鉴指导图片I
s
学习的知识来生成查询图片I
q
的预测结果；步骤3，提取输入图片特征，对于每一个段，指导图片I
s
和查询图片I
q
分别通过一个由卷积神经网络组成的编码器，提取出其在高维空间的深度特征，指导图片I
s
的高维特征记为F
s
，查询图片I
q
的高维特征记为F
q
；步骤4，生成指导图片的特征表示，将指导图片I
s
的高维特征F
s
输入到指导分支中，生成对应的特征表示；将指导图片I
s
的高维特征F
s
和其标注M
s
的逐像素相乘，将指导图片I
s
高维特征F
s
中的背景部分去除；通过全局平均池化生成指导图片I
s
的特征表示V
s
，输入到查询分支中；步骤5，生成预测概率分布图，将查询图片I
q
的高维特征F
q
输入到查询分支中，和指导图片I
s
的特征表示V
s
一起生成查询图片I
q
的初步分割预测，指导图片I
s
的特征表示V
s
和查询图片I
q
的高维特征F
q
逐像素的计算余弦相似度，能够得到一概率分布图P，其中每个位置的值表示该位置像素属于前景类别的概率；步骤6，生成初步标记掩码，选取一个阈值，将概率分布图P中大于阈值的位置设置为1...

【专利技术属性】
技术研发人员：高广宇，方致远，刘驰，张泽康，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：