一种基于抗噪对比损失的多模态目标识别方法技术

本发明专利技术公开了一种基于抗噪对比损失的多模态目标识别方法，包括以下步骤：S1、根据输入的多模态目标信息，对各模态选取不同的编码器架构和解码器架构分别作为特征提取网络和重构网络；S2、根据输入的多模态目标类别数量，构建多模态目标识别网络；S3、根据抗噪对比损失和模态重构损失进行训练，并更新特征提取网络、重构网络以及识别网络；S4、将待识别目标各模态数据输入特征提取网络，融合后再输入识别网络，最终得到和类别数相同的维度向量，并选取概率值最大的类别作为待识别目标预测类别；本发明专利技术解决了含噪场景下传统基于交叉熵的多模态目标识别方法中识别准确率较低的问题，缓解了由于标签噪声引起的过拟合现象。

【技术实现步骤摘要】

本专利技术涉及目标识别领域，具体涉及一种基于抗噪对比损失的多模态目标识别方法。

技术介绍

1、近年来，多模态目标识别技术在计算机视觉、自然语言处理和语音识别等多个领域得到了广泛应用。多模态方法通过融合不同模态的数据(例如图像、文本和音频)，能够捕获各模态特有的信息，并实现更全面的特征表达，从而在识别精度和鲁棒性上获得显著提升。相较于单模态识别方法，多模态识别能够弥补单一模态可能存在的信息缺失问题，使模型在复杂环境下更加稳定和准确。例如，图像和文本的联合建模可以使模型不仅仅依赖视觉特征，还能理解语义信息，从而增强识别效果。

2、在当前多模态目标识别方法中，深度神经网络成为主要的实现工具，依赖于其强大的特征学习能力，将输入的各模态数据编码为统一的特征空间，以便在分类网络中进行预测。在实际应用中，常用的分类方法通常基于交叉熵(cross-entropy)损失，它是一种衡量预测分布和真实标签分布差异的损失函数，能够引导模型有效收敛至理想的分类边界。然而，交叉熵损失对标签噪声较为敏感，在标注不准确或噪声标签存在的情况下，模型容易受噪声干扰，产生对错误标签本文档来自技高网...

【技术保护点】

1.一种基于抗噪对比损失的多模态目标识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于抗噪对比损失的多模态目标识别方法，其特征在于，所述步骤S2包括以下分步骤：

3.根据权利要求2所述的一种基于抗噪对比损失的多模态目标识别方法，其特征在于，所述步骤S3包括以下分步骤：

【技术特征摘要】

1.一种基于抗噪对比损失的多模态目标识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于抗噪对比损失的多模态目标识别方法，其特...

【专利技术属性】
技术研发人员：胡鹏，何长浩，孙元，彭玺，彭德中，
申请(专利权)人：四川大学，
类型：发明
国别省市：