一种适用于水下姿势识别的方法及其装置制造方法及图纸

本发明专利技术公开了一种适用于水下姿势识别的方法及其装置，涉及水下探测技术领域，包括S1、输入图像，通过特征提取网络提取视觉特征；S2、构建一个位置嵌入，按位置相加，结果送入transformer编码器E；S3、采用预训练的模型CLIP提取图像特征；S4、E的输出结果解码后，和CLIP提取的特征结合，作为真实特征，输入到GAN的结构。该适用于水下姿势识别的方法及其装置，结合Transform结构的强表示学习能力，作为视觉特征提取器，然后利用生成对抗网络合成未见手势的视觉特征，使我们能够使用来自可见和未见的数据训练手势分类器，克服了监督学习的弱点。

【技术实现步骤摘要】

本专利技术涉及水下探测，具体为一种适用于水下姿势识别的方法及其装置。

技术介绍

1、由于静水压力增加和氧气等问题，人类潜水员在从深水收集数据时面临困难。在过去的几十年里，很多已经把任务交给了自动水下机器人(auv)，它们可以通过捕捉水下图像/视频，同时还能很好地抵御人类潜水员面临的问题。因此，在海洋学、海战、信息导航、海洋场景理解等领域得到了广泛的应用。

2、在许多水下任务中，auv由人类潜水员陪同，由于无法说话，他们通过不同的手势进行非语言交流。然而，由于缺乏注释数据集，水下手势识别在计算机视觉中是一个相对欠发达的领域，主要存在以下两个挑战：

3、首先，水下图像存在对比度低、模糊、色彩失真和模糊等问题，故传统的手势识别方法在分析它们时面临着困难。其次，现有的手势识别模型主要是有监督的，并且只能从用于训练模型的预定义集合中识别手势，显然不可能列举所有手势，不可能为人类潜水员在野外可能使用的每一个可能的手势收集数千张标记图像。

4、因此，急需对此缺点进行改进，本专利技术则是针对现有的技术及不足予以研究改良，提供有一种适用于本文档来自技高网...

【技术保护点】

1.一种适用于水下姿势识别的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种适用于水下姿势识别的方法，其特征在于，所述步骤S1中，图片视觉特征的提取网络采用基于ResNet-50作为Backbone的网络，且ResNet-50属于可配置的选项。

3.根据权利要求1所述的一种适用于水下姿势识别的方法，其特征在于，所述步骤S2中，transformer编码器E的输入记为：transformer针对输入的token进行自注意力的计算，输出为,输出携带了图片上下文信息，被送入解码器。

4.根据权利要求1所述的一种适用于水下姿势识别的方法，其特征在...

【技术特征摘要】

1.一种适用于水下姿势识别的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种适用于水下姿势识别的方法，其特征在于，所述步骤s1中，图片视觉特征的提取网络采用基于resnet-50作为backbone的网络，且resnet-50属于可配置的选项。

3.根据权利要求1所述的一种适用于水下姿势识别的方法，其特征在于，所述步骤s2中，transformer编码器e的输入记为：transformer针对输入的token进行自注意力的计算，输出为,输出携带了图片上下文信息，被送入解码器。

4.根据权利要求1所述的一种适用于水下姿势识别的方法，其特征在于，所述步骤s3中，通过clip提取的视觉特征，且视觉特征提取包括映射投影，以实现将投影到clip的特征域空间，参数和均为模型输出的向量维度，且为预设定的常数。

5.根据权利要求3所述的一种适用于水下姿势识别的方法，其特征在于，transformer网络部分采用双分支的交叉注意...

【专利技术属性】
技术研发人员：金帅，周宇，王微，刘德生，
申请(专利权)人：中科晶锐苏州科技有限公司，
类型：发明
国别省市：