【技术实现步骤摘要】
本专利技术涉及基于机器视觉的无损检测，尤其涉及一种面向管道内表面缺陷图像的跨粒度小样本分割方法。
技术介绍
1、视觉语义分割任务旨在将样本划分为具有特定语义属性的不同子块，并准确识别出每个子块的类别。语义分割在自动驾驶、医疗影像诊断、工业缺陷检测等领域发挥着重要作用。然而，传统的语义分割方法依赖于大量细粒度标注的数据，在标注数据稀缺时，传统语义分割方法的分割精度和泛化性能将显著下降。而小样本分割主要应用于分割没有参与网络训练的新缺陷类别的样本，即使这些样本中仅含有少量有标签的样本。小样本分割是元学习理论在分割领域的应用，通过将已有数据划分为元训练集和元测试集，前者用于训练模型参数，后者用于测试模型性能，其中元训练集和元测试集中所包含的缺陷类别之间没有交集。
2、近年来，大多数的小样本分割研究主要集中在自然场景图像上，如使用分割数据集pascal-voc、coco和fss-1000进行小样本分割研究。这些方法充分利用自然场景中的上下文语义信息和显著的边界信息，取得了良好的分割结果。然而，相较于自然场景图像分割任务，在现有的工业缺陷图像分割任务中存在如下挑战：缺陷区域与无缺陷区域的边缘模糊，缺陷分布离散且尺度变化大，同类缺陷之间外观差异大，异类缺陷之间有时外观差异却很小，不同缺陷类别的样本分布不均衡。这些挑战导致应用于自然场景图像的小样本分割在工业缺陷图像分割任务上展现出的性能并不令人满意。此外，对于一些用于缺陷图像的小样本分割方法，其严重依赖于类别充足的细粒度标注缺陷样本。然而，无缝钢管内表面仅包含6类常见缺陷，且每类
3、现有技术中，采用一种基于交叉注意力增强的编码器-解码器网络用于手机的屏幕缺陷分割，即通过卷积编码器从手机图像中提取缺陷信息，并通过交叉注意力机制激活缺陷信息。同时，编码器的中高层特征通过跳跃连接，将编码信息传递至对应的解码器层。由于编码器-解码器的卷积层数相对较浅，对于手机屏幕上外观显著、类别单一、背景干净的缺陷，分割性能良好。然而，对于缺陷特征更具挑战性且样本数量更稀疏的无缝钢管内表面缺陷来说，其网络的分割精度会有所下降。除此之外，还提出了一种基于最优特征运输网络的少样本缺陷分割方法，该方法将多尺度特征提取模块，最优双边运输模块和相关性分析模块集成到最优双边特征运输网络中。通过双边运输模块同时传递缺陷样本的前景指导信息和背景指导信息，并利用前景和背景信息引导查询集的分割，以增强网络对前景和背景边缘区域分割的鲁棒性。但该方法未考虑缺陷图像类间差异小、类内差异大的问题，在遇到缺陷面积小且分散的场景时，该网络难以有效建立离散缺陷之间的联系。此外，对于外观差异较小、纹理相似的缺陷样本，独立地传递前景和背景信息易使网络陷入局部最优解，从而导致网络产生过拟合现象，进而影响网络的分割性能。
4、上述两种方法，在一定程度上能解决工业产品缺陷的小样本分割问题，但是在更加复杂的场景下，当缺陷样本类型和数量均稀疏时，上述两种方法的分割性能就都会急剧下降。
技术实现思路
1、针对上述现有技术的不足，本专利技术提出了一种面向管道内表面缺陷图像的跨粒度小样本分割方法，解决在缺陷样本类型和数量均稀疏等不利场景下，分割网络的分割性能急剧下降的问题。
2、本专利技术提出的一种面向管道内表面缺陷图像的跨粒度小样本分割方法，该方法包括如下步骤：
3、步骤1：获取元训练集和元测试集，所述元训练集和所述元测试集中均以小样本任务为基本数据单元，每个小样本任务均由支持集图像、支持集标签、查询集图像和查询集标签组成；
4、步骤2：构建跨粒度小样本分割网络模型，包括：特征提取网络，支持集先验模块spm、支持集注意力模块sam、三联体原型模块tpm、多尺度细化解码器mrd、以及若干个卷积模块crd；其中特征提取网络分别与两个卷积模块和支持集先验模块spm连接，其中一个卷积模块分别连接支持集注意力模块sam和三联体原型模块tpm连接，将另外一个卷积模块的输出、支持集先验模块spm的输出、支持集注意力模块sam的输出、三联体原型模块tpm的输出经通道维度拼接整合后依次连接一个卷积模块和多尺度细化解码器mrd；
5、步骤3：将元训练集中的支持集图像、支持集标签、查询集图像和查询集标签作为跨粒度小样本输入跨粒度小样本分割网络模型，训练该分割网络模型，得到训练好的跨粒度小样本分割网络模型；
6、步骤4：将元测试集中的支持集图像、支持集标签、查询集图像和查询集标签作为跨粒度小样本输入训练好的跨粒度小样本分割网络模型，计算查询集分割图，得到每个查询集图像对应的预测缺陷类别；
7、进一步的，步骤1的所述支持集标签为所述支持集图像表征的表面缺陷类别，所述查询集标签为所述查询集图像表征的表面缺陷类别，且在同一个小样本任务中，支持集图像和查询集图像的表征的缺陷类别相同；
8、进一步的，步骤2中所述卷积模块crd由1*1卷积层、relu激活函数和dropout正则化组成；
9、进一步的，所述步骤3中包括：
10、步骤3.1：将元训练集中的支持集图像、支持集标签、查询集图像和查询集标签作为跨粒度小样本输入分割网络模型，利用特征提取网络分别提取支持集图像的第3级、第4级和第5级特征图和查询集图像的第3级、第4级和第5级特征图；
11、步骤3.2：分别沿通道维度拼接支持集图像的第3级和第4级特征图、查询集图像的第3级和第4级特征图，并利用卷积模块分别对拼接后的特征图进行降维融合，得到支持集细化特征图fs和查询集细化特征图fq；
12、步骤3.3：根据支持集图像的第5级特征图、支持集标签和查询集图像的第5级特征图，利用支持集先验模块spm计算支持集特征先验图pr；根据支持集细化特征图fs和支持集标签ms，利用支持集注意力模块sam计算支持集注意力增强特征图fa；根据支持集细化特征图fs和支持集标签ms，利用三联体原型模块tpm计算支持集三原型特征图fp；
13、步骤3.4：通过特征匹配的方式将支持集特征先验图pr、支持集注意力增强特征图fa、支持集三原型特征图fp和查询集细化特征图fq沿通道维度进行拼接，对拼接后的特征图进行降维融合，得到缺陷融合特征图fm；
14、步骤3.5：利用多尺度细化解码器mrd对缺陷融合特征图fm进行特征解码并计算查询集图像的分割结果；
15、步骤3.6：通过交叉熵损失函数计算查询集分割图pq和查询集标签mq之间的损失，利用随机梯度下降算法对跨粒度小样本分割网络模型中的网络模型参数进行迭代更新，当损失函数收敛后停止训练，冻结网络的全部可训练参数，得到训练好的跨粒度小样本分割网络模型；
16、进一步的，所述利用支持集先验模块spm计算支持集特征先验图pr的过程包括：
17、步骤a1：根据支持集图像的第5级特征图和支持集本文档来自技高网...
【技术保护点】
1.一种面向管道内表面缺陷图像的跨粒度小样本分割方法，其特征在于，该方法包括如下步骤：
2.根据所述权利要求1中一种面向管道内表面缺陷图像的跨粒度小样本分割方法，其特征在于，步骤1的所述支持集标签为所述支持集图像表征的表面缺陷类别，所述查询集标签为所述查询集图像表征的表面缺陷类别，且在同一个小样本任务中，支持集图像和查询集图像的表征的缺陷类别相同。
3.根据所述权利要求1中一种面向管道内表面缺陷图像的跨粒度小样本分割方法，其特征在于，步骤2中所述卷积模块CRD由1*1卷积层、ReLu激活函数和Dropout正则化组成。
4.根据所述权利要求1中一种面向管道内表面缺陷图像的跨粒度小样本分割方法，其特征在于，所述步骤3中包括：
5.根据所述权利要求4中一种面向管道内表面缺陷图像的跨粒度小样本分割方法，其特征在于，所述利用支持集先验模块SPM计算支持集特征先验图PR的过程包括：
6.根据所述权利要求4中一种面向管道内表面缺陷图像的跨粒度小样本分割方法，其特征在于，所述利用支持集注意力模块SAM计算支持集注意力增强特征图FA的过
7.根据所述权利要求4中一种面向管道内表面缺陷图像的跨粒度小样本分割方法，其特征在于，所述利用三联体原型模块TPM计算支持集三原型特征图FP的过程包括：通过像素级乘法对支持集细化特征FS和支持集标签MS进行计算，得到支持集图像的前景特征图，将该前景特征图分别通过全局平均池化GP得到平均原型向量VG，VG用于表征缺陷的均值特征；通过全局最大值池化MP得到峰值原型向量VM，VM用于表征缺陷的显著特征；通过全局自注意池化AP得到全局激活原型向量VA，VA用于建立离散缺陷特征的空间关联性，将上述三种原型向量加和后取平均值，再进行向量扩张得到支持集三原型特征图FP。
8.根据所述权利要求4中一种面向管道内表面缺陷图像的跨粒度小样本分割方法，其特征在于，所述步骤3.5中包括：
...【技术特征摘要】
1.一种面向管道内表面缺陷图像的跨粒度小样本分割方法，其特征在于，该方法包括如下步骤：
2.根据所述权利要求1中一种面向管道内表面缺陷图像的跨粒度小样本分割方法，其特征在于，步骤1的所述支持集标签为所述支持集图像表征的表面缺陷类别，所述查询集标签为所述查询集图像表征的表面缺陷类别，且在同一个小样本任务中，支持集图像和查询集图像的表征的缺陷类别相同。
3.根据所述权利要求1中一种面向管道内表面缺陷图像的跨粒度小样本分割方法，其特征在于，步骤2中所述卷积模块crd由1*1卷积层、relu激活函数和dropout正则化组成。
4.根据所述权利要求1中一种面向管道内表面缺陷图像的跨粒度小样本分割方法，其特征在于，所述步骤3中包括：
5.根据所述权利要求4中一种面向管道内表面缺陷图像的跨粒度小样本分割方法，其特征在于，所述利用支持集先验模块spm计算支持集特征先验图pr的过程包括：
6.根据所述权利要求4中一种面向管道内表面缺陷图像的跨粒度小样本分割方法，其特征在于，所述利用支持集注意力模块sam计算支持集注意力增强特征图fa的过程包括：通过像素级乘法对支持集细化特征图fs和支持集标签ms进行计算，得到支持集图像的前景特征图，利...
【专利技术属性】
技术研发人员：宋克臣，冯虎，颜云辉，崔文琦，李骏，
申请(专利权)人：东北大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。