基于域混合对比学习的鲁棒水下目标检测方法和系统技术方案

本发明专利技术涉及一种基于域混合对比学习的鲁棒水下目标检测方法和系统，采用域混合对比训练方法和对比学习的方法和系统来解决水下目标检测的域泛化问题。该方法的步骤主要包括：1)利用条件双边风格迁移模型将一张水下图像从一种水质转换到另外一种；2)将域混合作用于特征层面，将两个不同的域进行插值合成新的域的数据，用CBST和DMX增加训练数据的域多样性；3)将空间选择性间隔对比损失对模型学到的域特定特征进行正则化。本发明专利技术通过域混合对比训练来极大提高模型的域泛化能力，能够辅助模型学习域无关的表征，并且超越其他域泛化方法的性能。性能。性能。

【技术实现步骤摘要】
基于域混合对比学习的鲁棒水下目标检测方法和系统


[0001]本专利技术属于机器视觉中的目标识别和智能人机交互领域，具体涉及一种基于域混合和对比学习的鲁棒水下目标检测方法和系统。

技术介绍

[0002]海洋占地球总面积的71％，海洋拥有着异常丰富的生物资源和矿产资源。然而长期以来，由于技术上的限制，人类一直集中于开发陆地上的资源，海洋中丰富的资源仍未有进行大规模开采，因此水下目标的检测起了广大研究者的兴趣。近年来，越来越多的研究团队考虑在水下机器人上搭载视觉系统，以实现更加复杂更加智能的水下工作。例如在海产品捕捞上，水下机器人可以通过摄像头得到需要捕捞的海胆、海参、扇贝等生物的位置，操控特殊的机械臂或捕捞器对海产品进行捕捞，能够大大降低人力成本，提升捕捞效率。
[0003]在现实场景中，水下目标检测技术应用有众多难点：(1)水下数据难以采集，给水下生物进行标注往往需要更专业的知识，因此囊括多种水质场景的大规模水下数据集在工程上难以实现；(2)不同水质下的水下环境非常不同，如江、河、海拥有着不同的水质成分，导致水对不同波长光有不同的衰减率，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于域混合对比学习的鲁棒水下目标检测方法，其特征在于，包括以下步骤：利用条件双边风格迁移模型将一张水下图像从一种域转换到另外一种域，得到成对图像；将成对图像输入参数共享的骨干网络中，提取出成对特征；采用域混合对两个不同域的图像的成对特征进行插值；将空间选择性间隔对比损失作用于成对特征，对域相关信息进行正则化；利用所述条件双边风格迁移和所述域混合得到的训练数据，采用所述空间选择性间隔对比损失训练水下目标检测模型；利用训练完成的所述水下目标检测模型进行水下目标检测。2.根据权利要求1所述的方法，其特征在于，所述条件双边风格迁移模型的输出是一个在颜色空间上的线性变换矩阵，用于将水下图像从一种域转换到另外一种域，从而增加训练数据的域多样性。3.根据权利要求1所述的方法，其特征在于，所述条件双边风格迁移模型基于实时风格迁移模型BST实现，并在BST基础上增加以下两个改进：第一个改进是使用条件实例归一化CIN替代自适应实例归一化AdaIN，即将原BST模型中所有的AdaIN都置换成CIN；第二个改进是在损失函数中增加掩码损失，用于阻止重要语义信息的变化。4.根据权利要求1所述的方法，其特征在于，所述域混合采用混合操作将不同域的图像在特征层面进行线性加权。5.根据权利要求4所述的方法，其特征在于，所述域混合包括：以原始图像I1以及利用所述条件双边风格迁移模型生成的图像I2为成对图像，K＝[k1,k2,
…
,k
n
]表示骨干网络中用于进行混合的层，将I1和I2同时送进骨干网络中的主流和支流，支流上的特征用于增强主流上的特征；在主流上，第k层的隐层特征表示为：其中，h
1,k
‑1表示主流上第k
‑
1层的特征值；在支流上，第k层的隐层特征表示为：h
2,k
＝f
k

【专利技术属性】
技术研发人员：陈阳，刘宏，宋品皓，戴林辉，丁润伟，张小川，李胜全，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：