一种无监督域适应公路病害检测系统及方法技术方案

本发明专利技术公开了一种无监督域适应公路病害检测系统及方法，属于图像处理技术领域。基于Mean Teacher模型设计了无监督域适应公路病害检测算法。Mean Teacher模型对源域具有偏向性，导致教师模型生成的目标域伪标签不准确，影响了学生模型学习目标域特征。为解决该问题，本发明专利技术从不同域的公路病害相似这一特点出发，向目标域图片粘贴源域的公路病害用于生成混合图片，然后将混合图片输入跨域分支，减少了模型对源域的偏向。此外，使用监督分支和蒸馏分支引导教师模型和学生模型学习源域和目标域的特征，使用标签平滑策略缓解跨域分支引起的问题。本发明专利技术提出的算法有效缓解了不同域公路病害的域差异，并提高了无监督域适应公路病害检测效果。病害检测效果。病害检测效果。

【技术实现步骤摘要】
一种无监督域适应公路病害检测系统及方法


[0001]本专利技术涉及计算机视觉图像处理
，尤其涉及一种无监督域适应公路病害检测系统及方法。

技术介绍

[0002]公路作为交通运输行业的重要基础设施，对经济发展、国防建设、民生等方面有重要的影响，然而随着使用年限的增加，公路病害逐渐显现，因此及时且准确的公路病害检测具有重大意义。将目标检测技术引入公路病害检测，能够以极低的成本提高公路病害检测效率。然而我国幅员辽阔，公路网庞大，不同地点、使用不同方式采集的公路病害风格不同，导致在A场景训练好的模型检测B场景时，检测效果大幅下降，而手工标注不同场景的数据会耗费大量的人力资源，并且当前对无监督域适应公路病害检测的研究较少。

技术实现思路

[0003]本专利技术针对现有技术中存在的技术问题，提供一种无监督域适应公路病害检测系统及方法，通过生成混合图片和构建跨域分支减少教师模型对源域的偏向性，并使用标签平滑策略缓解跨域分支引起的问题，通过构建监督分支和跨域分支引导学生模型和教师模型学习源域和目标域的特征。
[0004]根据本专利技术的第一方面，提供了一种无监督域适应公路病害检测系统，包括：将Mean Teacher的基础模型中的图像分类模型更换为用于公路病害检测的目标检测模型；
[0005]Mean Teacher模型上构建有监督分支、蒸馏分支和跨域分支；
[0006]所述监督分支的输入是有标签的源域图片，损失是有监督损失，通过有监督损失引导学生模型学习源域特征；
[0007]所述蒸馏分支的输入是无标签的目标域图片，损失是蒸馏损失，教师模型通过蒸馏损失引导学生模型学习目标域特征；
[0008]所述跨域分支的输入是有伪标签的混合图片，损失是跨域损失，通过跨域损失引导学生模型学习更多的目标域特征，用于缓解源域和目标域的域差异；
[0009]所述伪标签为记录了源域公路病害实例的标签，所述混合图片为将所述源域图片的公路病害实例粘贴到目标域图片上的图片；所述跨域损失为带有标签平滑策略的有监督损失。
[0010]在上述技术方案的基础上，本专利技术还可以作出如下改进。
[0011]可选的，所述学生模型的参数使用梯度下降法更新，所述教师模型的参数为所述学生模型参数的指数移动平均值；
[0012]所述Mean Teacher模型使用所述教师模型产生伪标签，使用所述学生模型进行正常的有监督学习。
[0013]可选的，所述监督分支的构建过程包括：
[0014]将有标签的所述源域图片送入所述学生模型进行有监督训练，所述监督分支的损
失为：
[0015]L
det
(I
s
,B
s
,C
s
)＝L
cls
(C
s
；I
s
)+αL
cls
(C
s
；I
s
)+βL
box
(B
s
；I
s
)；
[0016]其中，I
S
、B
S
和C
S
分别是源域的输入图片、标注框集合和类别集合；L
cls
是分类损失，用于对样本分类，使用带Sigmoid函数的二值交叉熵损失函数实现；L
obj
是置信度损失，用于判断样本是否属于目标，由带Sigmoid函数的二值交叉熵损失函数实现；L
box
是边界框损失，用于对目标精准定位，通过计算标注框和预测框的CIoU函数实现；α和β是平衡系数。
[0017]可选的，所述蒸馏分支的构建过程包括：
[0018]将无标签的所述目标域图片分别送入所述教师模型和所述学生模型，将所述教师模型设置为评估模式，使用较高的IoU阈值过滤重叠度高且不准确的预测，将过滤后的高质量预测作为伪标签(该伪标签与跨域分支输入的伪标签不同)，通过蒸馏损失指导所述学生模型训练，所述蒸馏分支的损失为：
[0019][0020]和是指对所述目标域图片数据增强后，分别送入所述教师模型和所述学生模型的图片；和是教师模型高质量预测的检测框和类别。
[0021]可选的，所述跨域分支的构建过程包括：
[0022]将所述混合图片和相应的伪标签输入所述学生模型，并结合标签平滑策略对所述混合图片进行有监督学习，所述跨域分支的损失为：
[0023][0024]其中，I
n
、B
n
和C
n
表示所述混合图片及对应的标注框和类别，ω和是平衡系数。
[0025]可选的，所述混合图片的生成过程包括：
[0026]从所述源域图片裁剪包含目标的区域，将目标区域随机粘贴到目标域图片以生成所述混合图片，记录目标类型和粘贴位置用于生成混合图片的标签。
[0027]可选的，所述Mean Teacher模型的整体优化过程包括：
[0028]在训练阶段，离线生成所述混合图片，以端到端的方式训练所述Mean Teacher模型；
[0029]在推理阶段，使用所述目标域图片做输入，使用训练好的学生模型推理；
[0030]总损失为：
[0031][0032]λ和π是平衡系数。
[0033]根据本专利技术的第二方面，提供一种无监督域适应公路病害检测方法，包括：
[0034]构建包含教师模型和学生模型的Mean Teacher模型；所述Mean Teacher模型的基础模型为用于公路病害检测的目标检测模型；
[0035]构建所述Mean Teacher模型上构建有监督分支、蒸馏分支和跨域分支；
[0036]所述监督分支的输入是有标签的源域图片，损失是有监督损失，通过有监督损失引导学生模型学习源域特征；
[0037]所述蒸馏分支的输入是无标签的目标域图片，损失是蒸馏损失，教师模型通过蒸馏损失引导学生模型学习目标域特征；
[0038]所述跨域分支的输入是有伪标签的混合图片，损失是跨域损失，通过跨域损失引导学生模型学习更多的目标域特征；
[0039]所述伪标签为记录了源域公路病害实例的标签，所述混合图片为将所述源域图片的公路病害实例粘贴到目标域图片上的图片；所述跨域损失为带有标签平滑策略的有监督损失。
[0040]本专利技术提供的一种无监督域适应公路病害检测系统及方法，其有益效果包括：
[0041]1、针对不同域的公路病害的纹理、形状和位置等局部特征相似这一特点，通过混合图片和跨域分支学生模型学习更多目标域特征，以减少其对源域的偏向，提高了教师模型生成的伪标签质量，进而有效缓解了域差异。
[0042]2、混合图片存在有些公路病害实例没有粘贴到公路上、标签并没有标注源域图片的公路病害等现象，导致伪标签不准确。本专利技术通过采用标签平滑策略，即使用平滑因子软化标签，使模型在训练时不仅考虑标签为1的损失，也略本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无监督域适应公路病害检测系统，其特征在于，所述检测系统包括：将Mean Teacher的基础模型中的图像分类模型更换为用于公路病害检测的目标检测模型；Mean Teacher模型上构建有监督分支、蒸馏分支和跨域分支；所述监督分支的输入是有标签的源域图片，损失是有监督损失，通过有监督损失引导学生模型学习源域特征；所述蒸馏分支的输入是无标签的目标域图片，损失是蒸馏损失，教师模型通过蒸馏损失引导学生模型学习目标域特征；所述跨域分支的输入是有伪标签的混合图片，损失是跨域损失，通过跨域损失引导学生模型学习更多的目标域特征，用于缓解源域和目标域的域差异；所述伪标签为记录了源域公路病害实例的标签，所述混合图片为将所述源域图片的公路病害实例粘贴到目标域图片上的图片；所述跨域损失为带有标签平滑策略的有监督损失。2.根据权利要求1所述的检测系统，其特征在于，所述学生模型的参数使用梯度下降法更新，所述教师模型的参数为所述学生模型参数的指数移动平均值；所述Mean Teacher模型使用所述教师模型产生伪标签，使用所述学生模型进行正常的有监督学习。3.根据权利要求1所述的检测系统，其特征在于，所述监督分支的构建过程包括：将有标签的所述源域图片送入所述学生模型进行有监督训练，所述监督分支的损失为：L
det
(I
s
,B
s
,C
s
)＝L
cls
(C
s
；I
s
)+αL
cls
(C
s
；I
s
)+βL
box
(B
s
；I
s
)；其中，I
S
、B
S
和C
S
分别是源域的输入图片、标注框集合和类别集合；L
cls
是分类损失，用于对样本分类，使用带Sigmoid函数的二值交叉熵损失函数实现；L
obj
是置信度损失，用于判断样本是否属于目标，由带Sigmoid函数的二值交叉熵损失函数实现；L
box
是边界框损失，用于对目标精准定位，通过计算标注框和预测框的CIoU函数实现；α和β是平衡...

【专利技术属性】
技术研发人员：韩守东，王法权，郭维，龚雨舟，
申请(专利权)人：武汉图科智能科技有限公司，
类型：发明
国别省市：