一种地下管道图像异常样本判别方法、设备及存储设备技术

本发明专利技术公开了一种地下管道图像异常样本判别方法、设备及存储设备，方法具体如下：构建MobileViT模型；所述MobileViT模型主要包括MV2模块和MobileViT模块；将MobileViT模型中第一个卷积层和最后一个卷积层替换为可变卷积层，得到DeformMobileViT模型；将预训练参数迁移至地下管道异常识别任务，获得优化DeformMobileViT模型；利用地下管道公开数据集检验优化DeformMobileViT模型。本发明专利技术有益效果是：通过将MobileViT与可变形卷积技术相结合，可以在地下管道异常判别任务中取得更好的性能；通过迁移训练使得模型可以更快拟合且达到更好的效果。达到更好的效果。达到更好的效果。

【技术实现步骤摘要】
一种地下管道图像异常样本判别方法、设备及存储设备


[0001]本专利技术涉及图像识别领域，尤其涉及一种地下管道图像异常样本判别方法、设备及存储设备。

技术介绍

[0002]地下管道是城市的重要基础设施，对地下管道的定期检测和维护是市政管理部门的一项重要工作。
[0003]目前有很多学者已经在基于深度学习的地下管道缺陷检测领域做了很多相关工作，也取得了许多成果。例如，在2019年，Hassan等人提出基于对AlexNet进行变换学习的模型，该模型能够识别6种主要的裂纹类型。Xie et al.使用了两级分层的深度CNN模型，在多个基准数据集上获得了超过94％的分类准确率。
[0004]2021年，奥尔堡大学(AAU)Haurum J B,Moeslund T B等在地下管道缺陷的研究中基于数据集Sewer
‑
ML(CVPR 2021)，使用12种来自多标签分类和地下管道自动检测领域的模型进行了评估，使用Xie的两级模型方法在其他模型上实验得到自己的基准算法，F2CIW得分为55.11％，F1normal分数为91.8％。
[0005]目前的研究中，只有Xie的研究中有地下管道异常样本判别，且是作为第一阶段网络的工作，并通过冻结卷积层的参数和微调全连接层来实现第一阶段学习到的参数转移到多分类模型中。
[0006]在地下管道异常缺陷检测研究中，目前传统卷积神经网络模型是提取图像特征最主要的方法，但是卷积神经网络的卷积核大小是固定的，这使得它只能局部地提取图像特征，需要通过多层叠加才能获取更高级别的特征信息，然而这也容易导致梯度消失和梯度爆炸问题。使用残差连接优化的网络，虽然能一定程度上优化这个问题，但是网络越深需要的资源就越多，不便于部署于移动设备中。

技术实现思路

[0007]为了进一步提高地下管道异常样本判别结果的精度和速度，本专利技术为基于DeformMobileViT的地下管道图像异常样本判别，即通过搭建深度学习神经网络DeformMobileViT模型，对从采集设备获取的地下管道图像的正常样本(不含任何管道缺陷的样本)和异常样本(包含任何一种及以上管道缺陷的样本)进行判别，从中自动判别出包含缺陷的异常图像。本专利技术提供一种地下管道图像异常样本判别方法、设备及存储设备，其中方法具体包括以下步骤：
[0008]S1、构建MobileViT模型；所述MobileViT模型主要包括MV2模块和MobileViT模块；
[0009]S2、将MobileViT模型中第一个卷积层和最后一个卷积层替换为可变卷积层，得到DeformMobileViT模型；
[0010]S3、将预训练参数迁移至地下管道异常识别任务，获得优化DeformMobileViT模型；
[0011]S4、利用地下管道公开数据集检验优化DeformMobileViT模型。
[0012]一种存储设备，所述存储设备存储指令及数据用于实现一种地下管道图像异常样本判别方法。
[0013]一种地下管道图像异常样本判别设备，包括：处理器及存储设备；所述处理器加载并执行存储设备中的指令及数据用于实现一种地下管道图像异常样本判别方法。
[0014]本专利技术提供的有益效果是：通过将MobileViT与可变形卷积技术相结合，可以在地下管道异常判别任务中取得更好的性能；通过迁移训练是的模型可以更快拟合且达到更好的效果。
附图说明
[0015]图1是本专利技术方法的流程图；
[0016]图2是MobileViT模型架构图；
[0017]图3是MV2模块结构示意图；
[0018]图4是DeformMobileViT模型的结构示意图；
[0019]图5是本专利技术硬件设备工作图。
具体实施方式
[0020]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地描述。
[0021]请参考图1，图1是本专利技术方法的流程图。
[0022]本专利技术提供了一种地下管道图像异常样本判别方法、设备及存储设备，其中，方法具体包括以下步骤：
[0023]S1、构建MobileViT模型；所述MobileViT模型主要包括MV2模块和MobileViT模块；
[0024]请参考图2，图2是MobileViT模型架构图。
[0025]需要说明的是，模型架构基于pytorch深度学习框架来进行搭建，主要包含两个关键模块，MV2模块以及MobileViT模块。
[0026]参考图2左侧，所述MobileViT模型的结构具体包括依次连接的：卷积层(conv 3
×
3)、MV2模块、MV2模块、MV2模块、MV2模块、MobileViT模块(Transfomer层，L＝2)、MV2模块、MobileViT模块、MV2模块、MobileViT模块、卷积层(conv 1
×
1)、全局池化层(Global pool)和全连接层(Linear)。
[0027]所述MobileViT模块包括：下采样卷积层、Transformer层和特征融合单元。
[0028]所述MobileViT模块处理数据的过程如下：
[0029]S11、通过下采样层对输入数据进行下采样；
[0030]S12、对下采样后的数据进行分块，然后输入至Transformer层进行特征提取，得到全局特征；
[0031]S13、特征融合单元将全局特征和局部特征进行融合，得到融合特征。
[0032]需要说明的是，Transformer层用于提取图像的全局特征，通过多层Transformer层的计算可以捕捉到图像中的长程依赖性。特征融合模块用于将局部特征和全局特征进行融合，得到更丰富的特征表达。这样，MobileViT可以在保证特征表达效果的同时，大幅减少
计算量，提高模型的运行速度。
[0033]请参考图3，图3是MV2模块结构示意图。
[0034]所述MV2模块包括：扩展层、深度可分离卷积层和线性投影层。MV2模块的核心部分是借鉴了逆残差(Inverted Residuals)的思想，在本专利技术中旨在提高神经网络的非线性表达能力，并通过减少计算量和参数数量来实现更好的性能。
[0035]S2、将MobileViT模型中第一个卷积层和最后一个卷积层替换为可变卷积层，得到DeformMobileViT模型；
[0036]请参考图4，图4是DeformMobileViT模型的结构示意图；图4中将MobileViT模型中第一个卷积层和最后一个卷积层替换为可变卷积层，而中间阶段保留为标准卷积层，以减小引入可变形卷积层增加的网络参数量对网络的负荷所产生的影响。这样的设计可以在保持较小的计算代价的同时，进一步提高网络的性能。
[0037]需要说明的是，可变形卷积(Deformable Convolution)即卷积位置可以进行变形，它可以根据不同的图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种地下管道图像异常样本判别方法，其特征在于：包括以下步骤：S1、构建MobileViT模型；所述MobileViT模型主要包括MV2模块和MobileViT模块；S2、将MobileViT模型中第一个卷积层和最后一个卷积层替换为可变卷积层，得到DeformMobileViT模型；S3、将预训练参数迁移至地下管道异常识别任务，获得优化DeformMobileViT模型；S4、利用地下管道公开数据集检验优化DeformMobileViT模型。2.如权利要求1所述的一种地下管道图像异常样本判别方法，其特征在于：所述MobileViT模型的结构具体包括依次连接的：卷积层、MV2模块、MV2模块、MV2模块、MV2模块、MobileViT模块、MV2模块、MobileViT模块、MV2模块、MobileViT模块、卷积层、全局池化层和全连接层。3.如权利要求2所述的一种地下管道图像异常样本判别方法，其特征在于：所述MV2模块包括：扩展层、深度可分离卷积层和线性投影层。4.如权利要求2所述的一种地下管道图像异常样本判别方法，其特征在于：所述MobileViT模块包括：下采样卷积层、Transformer层和特征融合单元。5.如权利要求4所述的一种地下管道图像异常样本判别方法，其特征在于：所述MobileViT模块处理数据的过程如下：S11、通过下采样层对输入数据进行下采样；S12、对下采样后的数据进行分块...

【专利技术属性】
技术研发人员：李波，吴培德，
申请(专利权)人：中南民族大学，
类型：发明
国别省市：