一种多模态数据处理方法及系统技术方案

本申请实施例提供一种多模态数据处理方法及系统，涉及普适计算技术领域。该多模态数据处理方法包括获取目标数据中的多模态数据，将所述多模态数据中至少两种单模态数据的语义信息进行特征化；多模态数据样本的特征进行数值化，以该数值为输入值，并以多模态数据样本的该标签为调教目标；获取待处理多模态数据，将该待处理多模态数据的特征输入该模态选择模型，仅保留该模态组合选择结果，得到修改后的多模态数据；修改后的多模态数据上传至服务器，由所述服务器对所述多模态故障数据进行处理；该处理方法能充分利用多模态之间的有效冗余性，从主动的高质量数据模态选择的角度来解决问题，适用性强。适用性强。适用性强。

【技术实现步骤摘要】
一种多模态数据处理方法及系统


[0001]本申请涉及普适计算
，具体而言，涉及一种多模态数据处理方法及系统。
[0002]
技术介绍

[0003]相关技术中，随着软硬件技术的快速发展，信息传递的占主导；各模态数据质量不稳定的问题，传感器自身特性、信号传输不稳定、开放环境干扰性强等因素会使得各模态数据出现诸如噪声严重、部分模态数据缺失等问题，且问题严重程度随着时间会有波动。数据质量不稳定将导致不同模态之间存在信息冲突等问题，降低多模态机器学习模型性能。比如多模态手势识别任务，其可能涉及视频、音频、肌电和关节运动信息等等模态。
[0004]针对数据质量问题，现有的主要解决方式是通过中值滤波等方法对数据进行降噪处理、通过下采样或插值等方法减小单一模态数据损坏的影响，以及一些针对特定模态的处理方式，例如具有注意机制的卷积神经网络，它能够感知图像中人脸被遮挡区域，并聚焦于最具可辨别性的未遮挡区域，提高对遮挡的鲁棒性。
[0005]然而，现有技术中，针对特定模态的方法无法在多种数据模态中应用，多模态信息中可能存在大量的冗余数据，影响对视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态数据处理方法，其特征在于，包括以下步骤：S1、获取目标数据中的多模态数据，将所述多模态数据中至少两种单模态数据的语义信息进行特征化，基于所述语义信息特征的相似性确定所述多模态数据中的冗余数据，将两种单模态数据组合进行标签；S2、多模态数据样本的特征进行数值化，以该数值为输入值，并以多模态数据样本的该标签为调教目标，调教多类分类器模型，得到模态选择模型；S3、获取待处理多模态数据，将该待处理多模态数据的特征输入该模态选择模型，得到模态组合选择结果，删除该待处理多模态数据的其他数据，仅保留该模态组合选择结果，得到修改后的多模态数据；S4、修改后的多模态数据上传至服务器，由所述服务器对所述多模态故障数据进行处理，生成处理信息；接收所述服务器发送的处理结果信息。2.根据权利要求1所述的一种多模态数据处理方法，其特征在于，所述至少两种单模态数据包括目标图像数据和目标文本数据；所述基于所述语义信息的相似性确定所述多模态数据中的冗余数据，包括：基于所述目标图像数据的语义信息与所述目标文本数据的语义信息的特征相似性，确定所述目标图像数据中的冗余数据以及目标文本数据中的冗余数据。3.根据权利要求2所述的一种多模态数据处理方法，其特征在于，确定所述目标图像数据的语义信息与所述目标文本数的语义信息，包括：将所述目标图像数据在语义空间中的第一语义特征确定为所述目标图像数据的语义信息，并将所述目标文本数据在所述语义空间中的第二语义特征确定为所述目标文本数据的语义信息。4.根据权利要求3所述的一种多模态数据处理方法，其特征在于，基于所述目标图像数据的语义信息与所述目标文本数据的语义信息的特征相似性，确定所述目标图像数据中的冗余数据和/或目标文本数据中的冗余数据，包括：将所述目标图像数据的语义信息与所述目标文本数据的语义信息的相似度大于预设值的目标图像数据和/或目标文本数据确定为冗余数据。5.根据权利要求1所述的一种多模态数据处理方法，其特征在于，所述服务器为或连接深度神经网络模型或分类模型；该步骤1还包括：S11、初始化H为最大熵值，初始化最优模态组合为全模态；针对用于进行多分类的神经网络模型，其最后一层softmax层将会输出一系列概率值，记为pj，设一共有M个分类类别，则通过下式计算熵值Hp：S12、从当前该多模态数据样本的幂集中选定一种模态组合，将当前该多模态数据...

【专利技术属性】
技术研发人员：萧展辉，邹文景，甘莹，梁置铭，
申请(专利权)人：南方电网数字电网研究院有限公司，
类型：发明
国别省市：