基于域混合对比学习的鲁棒水下目标检测方法和系统技术方案

本发明专利技术涉及一种基于域混合对比学习的鲁棒水下目标检测方法和系统，采用域混合对比训练方法和对比学习的方法和系统来解决水下目标检测的域泛化问题。该方法的步骤主要包括：1)利用条件双边风格迁移模型将一张水下图像从一种水质转换到另外一种；2)将域混合作用于特征层面，将两个不同的域进行插值合成新的域的数据，用CBST和DMX增加训练数据的域多样性；3)将空间选择性间隔对比损失对模型学到的域特定特征进行正则化。本发明专利技术通过域混合对比训练来极大提高模型的域泛化能力，能够辅助模型学习域无关的表征，并且超越其他域泛化方法的性能。性能。性能。

【技术实现步骤摘要】
基于域混合对比学习的鲁棒水下目标检测方法和系统


[0001]本专利技术属于机器视觉中的目标识别和智能人机交互领域，具体涉及一种基于域混合和对比学习的鲁棒水下目标检测方法和系统。

技术介绍

[0002]海洋占地球总面积的71％，海洋拥有着异常丰富的生物资源和矿产资源。然而长期以来，由于技术上的限制，人类一直集中于开发陆地上的资源，海洋中丰富的资源仍未有进行大规模开采，因此水下目标的检测起了广大研究者的兴趣。近年来，越来越多的研究团队考虑在水下机器人上搭载视觉系统，以实现更加复杂更加智能的水下工作。例如在海产品捕捞上，水下机器人可以通过摄像头得到需要捕捞的海胆、海参、扇贝等生物的位置，操控特殊的机械臂或捕捞器对海产品进行捕捞，能够大大降低人力成本，提升捕捞效率。
[0003]在现实场景中，水下目标检测技术应用有众多难点：(1)水下数据难以采集，给水下生物进行标注往往需要更专业的知识，因此囊括多种水质场景的大规模水下数据集在工程上难以实现；(2)不同水质下的水下环境非常不同，如江、河、海拥有着不同的水质成分，导致水对不同波长光有不同的衰减率，其水质的清晰度和颜色均不一样；(3)一天不同时刻的光照条件极其不同，而水下的各种地形环境(礁石等)会导致视觉系统采集到的图像呈现出不均匀光照的现象。而在工业应用中，例如水下机器人的海产捕捞，人们希望设计的算法能够不加调整或者尽可能减少调整立即投入使用。若模型的鲁棒性不能达到要求，机器人的产品化便难以实现。而深度学习模型在自然水下环境上的实际应用可以被视作是域泛化任务：模型在一系列已知域上进行训练，却要在未知但相关的域上进行泛化。之前的大多数工作集中在将源域特征进行对齐，如最小化最大均值差异或对抗训练方法。除此之外，现有的域泛化工作集中在识别任务，对于检测任务的域泛化工作很少。因此，提升模型对于域迁移的鲁棒性是必不可少的。

技术实现思路

[0004]本专利技术的内容是使用一个域泛化训练框架——域混合对比训练(Domain Mixup and Contrastive Learning，DMC)方法和对比学习的方法来解决水下目标检测的域泛化问题。
[0005]本专利技术的技术方案如下：
[0006]一种基于域混合对比学习的鲁棒水下目标检测方法，其步骤包括：
[0007]利用条件双边风格迁移(Conditional Bilateral Style Transfer，CBST)模型将一张水下图像从一种域转换到另外一种域，得到成对图像；
[0008]将成对图像输入参数共享的骨干网络中，提取出成对特征；
[0009]将域混合(Domain Mixup，DMX)作用于特征层面，将两个不同的域的图像的成对特征进行插值，以合成新的域的数据，从而通过CBST和DMX增加训练数据的域多样性；
[0010]将空间选择性间隔对比损失(Spatial Selective Marginal Contrastive loss，
SSMC loss)作用于成对特征，对域相关信息进行正则化；
[0011]利用条件双边风格迁移和域混合得到的训练数据，采用空间选择性间隔对比损失训练水下目标检测模型；
[0012]利用训练完成的水下目标检测模型进行水下目标检测。
[0013]更进一步，本专利技术的域泛化训练框架是基于水下图像成像模型IFM的推理结果，一张水下环境的图像是可以由其他环境的水下图像通过线性加权的方式进行结合。因此，本专利技术使用了一个风格迁移模型，即CBST，其输出是一个在颜色空间上的线性变换矩阵而非直接输出一个完整的图像，并将此用于将水下图像从一种水质(域)转换到另外一种水质(域)，增加训练数据的域多样性。
[0014]更进一步，所述域混合采用混合(Mixup)操作将不同域在特征层面上进行线性加权，可以在域流形上采样新的域。
[0015]更进一步，所述空间选择性间隔对比损失有选择性地作用于来自不同域的特征，以捕捉域无关的特征，但同时保留了模型的辨别能力。使用本方法可以极大提高模型的域泛化能力。各种综合实验体现了本方法能够辅助模型学习域无关的表征，并且超越其他域泛化方法的性能。
[0016]更进一步，本专利技术可以将DMC应用在YOLOv3和Faster R
‑
CNN+FPN上，这两个是分别是广泛使用的一阶段检测器和二阶段检测器。其中一阶段检测器是指直接对图像输出检测目标的坐标和类别的检测器；二阶段检测器是指在第一阶段使用区域提议网络作为坐标预回归和前景筛选，且在第二阶段进行分类和精细坐标回归的检测器。一阶段检测器和二阶段检测器的区别在于检测头(Detection Head)的不同，而本专利技术的方法只对骨干网络上进行操作。一阶段检测器和二阶段检测器这两者都在Nvidia GTX 1080Ti GPU和PyTorch环境进行训练。对于YOLOv3，模型会以批大小8来训练100个epochs(一个epoch是使用训练集中的全部样本训练一次)。使用Adam作为优化器，学习率设置为0.001，β1和β2分别被设为0.9和0.999。使用多尺度训练，多尺度是指在训练过程中，不断变换输入图像的尺寸，使得模型的输出能够获得尺寸不变性。IoU、置信度和非极大值抑制值分别设为0.5，0.02和0.5。使用累积梯度技术，每两次迭代才进行一次梯度下降。DMX在DarkNet的第36、46、55和71层进行。SSMC loss应用到第71层。对于Faster R
‑
CNN，模型会以批大小4来训练24个epochs。使用SGD作为优化器，学习率、动量和权重衰减分别设为0.02，0.9和0.0001。IoU、置信度、非极大值抑制阈值分别被设为0.5、0.05和0.5。DMX在ResNet50的最后三个阶段之后进行。SSMC loss应用在ResNet50的最后一层。
[0017]一种基于域混合对比学习的鲁棒水下目标检测系统，其包括：
[0018]风格迁移模块，用于利用条件双边风格迁移模型将一张水下图像从一种域转换到另外一种域，得到成对图像；
[0019]域混合模块，用于将成对图像输入参数共享的骨干网络中，提取出成对特征，并采用域混合对两个不同域的图像的成对特征进行插值；
[0020]模型训练模块，用于将空间选择性间隔对比损失作用于成对特征，对域相关信息进行正则化；利用所述条件双边风格迁移和所述域混合得到的训练数据，采用所述空间选择性间隔对比损失训练水下目标检测模型；
[0021]检测模块，用于利用训练完成的所述水下目标检测模型进行水下目标检测。
[0022]本专利技术的技术效果是：
[0023]本专利技术实现了基于域混合对比学习的鲁棒水下目标检测方法和系统，即提出的风格迁移模型CBST可以将图像从一种域转换成另外一种域，提高了训练数据的域多样性；提出的数据增强方法DMX通过对现有域进行插值，对域流形进行采样，并且通过正则化项SSMC loss，对骨干网络中得到的域特定信息进行正则化。本专利技术中C本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于域混合对比学习的鲁棒水下目标检测方法，其特征在于，包括以下步骤：利用条件双边风格迁移模型将一张水下图像从一种域转换到另外一种域，得到成对图像；将成对图像输入参数共享的骨干网络中，提取出成对特征；采用域混合对两个不同域的图像的成对特征进行插值；将空间选择性间隔对比损失作用于成对特征，对域相关信息进行正则化；利用所述条件双边风格迁移和所述域混合得到的训练数据，采用所述空间选择性间隔对比损失训练水下目标检测模型；利用训练完成的所述水下目标检测模型进行水下目标检测。2.根据权利要求1所述的方法，其特征在于，所述条件双边风格迁移模型的输出是一个在颜色空间上的线性变换矩阵，用于将水下图像从一种域转换到另外一种域，从而增加训练数据的域多样性。3.根据权利要求1所述的方法，其特征在于，所述条件双边风格迁移模型基于实时风格迁移模型BST实现，并在BST基础上增加以下两个改进：第一个改进是使用条件实例归一化CIN替代自适应实例归一化AdaIN，即将原BST模型中所有的AdaIN都置换成CIN；第二个改进是在损失函数中增加掩码损失，用于阻止重要语义信息的变化。4.根据权利要求1所述的方法，其特征在于，所述域混合采用混合操作将不同域的图像在特征层面进行线性加权。5.根据权利要求4所述的方法，其特征在于，所述域混合包括：以原始图像I1以及利用所述条件双边风格迁移模型生成的图像I2为成对图像，K＝[k1,k2,
…
,k
n
]表示骨干网络中用于进行混合的层，将I1和I2同时送进骨干网络中的主流和支流，支流上的特征用于增强主流上的特征；在主流上，第k层的隐层特征表示为：其中，h
1,k
‑1表示主流上第k
‑
1层的特征值；在支流上，第k层的隐层特征表示为：h
2,k
＝f
k

【专利技术属性】
技术研发人员：陈阳，刘宏，宋品皓，戴林辉，丁润伟，张小川，李胜全，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：