数据处理方法、装置、设备、存储介质及程序产品制造方法及图纸

本申请提供了一种数据处理方法、装置、设备、存储介质及程序产品；方法包括：获取多个模态的模态数据；其中，所述多个模态至少包括第一模态和第二模态，所述多个模态的模态数据，包括所述第一模态的模态数据，所述第二模态的模态数据缺失；获取所述第二模态所独有的模态独有特征；基于所述第一模态的模态数据，提取得到所述多个模态所共有的模态共性特征；基于所述模态共性特征和所述模态独有特征，生成所述第二模态的目标模态数据；通过本申请，能够提高缺失模态数据的生成效果。提高缺失模态数据的生成效果。提高缺失模态数据的生成效果。

【技术实现步骤摘要】
数据处理方法、装置、设备、存储介质及程序产品


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、装置、设备、存储介质及程序产品。

技术介绍

[0002]在进行数据处理时，往往涉及到多模态数据，而在实际应用中则很难收集到大量完备的多模态数据。相关技术中，针对多模态数据中的缺失模态数据，是基于多模态数据中的已有模态数据的模态共性去生成缺失模态数据，从而实现缺失模态数据的补全效果。但是，已有模态数据的模态共性并不能很好的替代缺失模态数据，导致缺失模态数据的生成效果不好。

技术实现思路

[0003]本申请实施例提供一种数据处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够提高缺失模态数据的生成效果。
[0004]本申请实施例的技术方案是这样实现的：
[0005]本申请实施例提供一种数据处理方法，包括：
[0006]获取多个模态的模态数据；
[0007]其中，所述多个模态至少包括第一模态和第二模态，所述多个模态的模态数据，包括所述第一模态的模态数据，所述第二模态的模态数据缺失；
[0008]获取所述第二模态所独有的模态独有特征；
[0009]基于所述第一模态的模态数据，提取得到所述多个模态所共有的模态共性特征；
[0010]基于所述模态共性特征和所述模态独有特征，生成所述第二模态的目标模态数据。
[0011]本申请实施例还提供一种数据处理装置，包括：
[0012]第一获取模块，用于获取多个模态的模态数据；其中，所述多个模态至少包括第一模态和第二模态，所述多个模态的模态数据，包括所述第一模态的模态数据，所述第二模态的模态数据缺失；
[0013]第二获取模块，用于获取所述第二模态所独有的模态独有特征；
[0014]提取模块，用于基于所述第一模态的模态数据，提取得到所述多个模态所共有的模态共性特征；
[0015]生成模块，用于基于所述模态共性特征和所述模态独有特征，生成所述第二模态的目标模态数据。
[0016]在上述方案中，所述提取模块，还用于对所述第一模态的模态数据进行共性特征提取，得到所述第一模态对应的、所述多个模态所共有的第一模态共性特征；基于所述第一模态共性特征，生成所述第二模态对应的、所述多个模态所共有的第二模态共性特征；将所述第二模态共性特征，作为所述多个模态所共有的模态共性特征。
[0017]在上述方案中，所述第一模态包括多个已有模态，所述提取模块，还用于通过各所述已有模态的特征提取层，对各所述已有模态的模态数据进行共性特征提取，得到各所述已有模态对应的、所述多个模态所共有的已有模态共性特征；所述提取模块，还用于基于各所述已有模态共性特征，生成所述第二模态对应的、所述多个模态所共有的第二模态共性特征。
[0018]在上述方案中，所述提取模块，还用于获取多个已有模态的模态数据样本、以及各所述已有模态的初始特征提取层，多个所述初始特征提取层构成一个特征提取模型；通过各所述已有模态的初始特征提取层，对各所述已有模态的模态数据样本进行共性特征提取，得到各所述已有模态的样本模态共性特征；分别将各所述已有模态的样本模态共性特征映射在一个特征空间内，得到各所述已有模态的映射模态共性特征；确定多个映射模态共性特征中每两个映射模态共性特征之间的特征差异，并基于确定的至少一个特征差异，确定所述特征提取模型的损失函数的值；基于所述损失函数的值，更新各所述初始特征提取层的参数，以得到各所述特征提取层。
[0019]在上述方案中，所述提取模块，还用于对所述第一模态的模态数据进行共性特征提取，得到所述第一模态对应的、所述多个模态所共有的第一模态共性特征；基于所述第一模态共性特征，通过数据补全模型的共性特征生成层，生成所述多个模态所共有的模态共性特征；所述生成模块，还用于基于所述模态共性特征和所述模态独有特征，通过所述数据补全模型的缺失模态数据生成层，生成所述第二模态的目标模态数据。
[0020]在上述方案中，所述生成模块，还用于获取初始数据补全模型、和用于训练所述初始数据补全模型的训练样本；其中，所述训练样本包括：基于第一模态的模态数据样本提取得到的所述多个模态所共有的共性特征样本、以及第二模态所独有的独有特征样本，所述训练样本标注有第二模态的真实模态数据；通过所述初始数据补全模型的共性特征生成层，基于所述共性特征样本，生成所述第二模态对应的、所述多个模态所共有的共性特征；通过所述初始数据补全模型的缺失模态数据生成层，基于所述共性特征和所述独有特征样本，生成第二模态的生成模态数据；基于所述生成模态数据和所述真实模态数据，确定所述初始数据补全模型的损失函数的值；基于所述损失函数的值，更新所述初始数据补全模型的模型参数，得到所述数据补全模型。
[0021]在上述方案中，所述生成模块，还用于通过判别模型对所述生成模态数据进行判别，得到第一判别结果，并通过所述判别模型对所述真实模态数据进行判别，得到第二判别结果；其中，所述第一判别结果，用于指示所述生成模态数据是否是通过所述初始数据补全模型生成的，所述第二判别结果，用于指示所述真实模态数据是否是通过所述初始数据补全模型生成的；在上述方案中，所述生成模块，还用于基于所述生成模态数据、所述第一判别结果、所述真实模态数据以及所述第二判别结果，确定所述初始数据补全模型的损失函数的值。
[0022]在上述方案中，所述生成模块，还用于获取所述第一模态所独有的独有特征样本，并对所述第二模态的生成模态数据进行特征提取，得到生成模态数据的目标独有特征和目标共性特征；对所述独有特征样本、所述共性特征样本、所述目标独有特征和所述目标共性特征进行特征融合，得到融合特征；对所述融合特征进行特征重构，得到所述第一模态的重构模态数据；基于所述第一模态的重构模态数据和所述第一模态的模态数据样本之间的差
异，更新所述数据补全模型的模型参数，得到新数据补全模型；将所述数据补全模型更新为所述新数据补全模型。
[0023]在上述方案中，所述生成模块，还用于对所述融合特征进行编码处理，得到编码融合特征；对所述编码融合特征进行解码处理，得到所述第一模态的重构模态数据。
[0024]在上述方案中，所述提取模块，还用于对所述第一模态的模态数据进行共性特征提取，得到所述第一模态对应的、所述多个模态所共有的第一模态共性特征；将所述第一模态共性特征，作为所述多个模态所共有的模态共性特征。
[0025]在上述方案中，所述第二获取模块，还用于获取针对所述第二模态的已有模态数据所标注的独有特征标签；将所述独有特征标签所指示的独有特征，作为所述第二模态所独有的模态独有特征。
[0026]本申请实施例还提供一种电子设备，包括：
[0027]存储器，用于存储计算机可执行指令；
[0028]处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本申请实施例提供的数据处理方法。
[0029]本申请实施例还提供一种计算机可读存储介质，存储有计算机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取多个模态的模态数据；其中，所述多个模态至少包括第一模态和第二模态，所述多个模态的模态数据，包括所述第一模态的模态数据，所述第二模态的模态数据缺失；获取所述第二模态所独有的模态独有特征；基于所述第一模态的模态数据，提取得到所述多个模态所共有的模态共性特征；基于所述模态共性特征和所述模态独有特征，生成所述第二模态的目标模态数据。2.如权利要求1所述的方法，其特征在于，所述基于所述第一模态的模态数据，提取得到所述多个模态所共有的模态共性特征，包括：对所述第一模态的模态数据进行共性特征提取，得到所述第一模态对应的、所述多个模态所共有的第一模态共性特征；基于所述第一模态共性特征，生成所述第二模态对应的、所述多个模态所共有的第二模态共性特征；将所述第二模态共性特征，作为所述多个模态所共有的模态共性特征。3.如权利要求2所述的方法，其特征在于，所述第一模态包括多个已有模态，所述对所述第一模态的模态数据进行共性特征提取，得到所述第一模态对应的、所述多个模态所共有的第一模态共性特征，包括：通过各所述已有模态的特征提取层，对各所述已有模态的模态数据进行共性特征提取，得到各所述已有模态对应的、所述多个模态所共有的已有模态共性特征；所述基于所述第一模态共性特征，生成所述第二模态对应的、所述多个模态所共有的第二模态共性特征，包括：基于各所述已有模态共性特征，生成所述第二模态对应的、所述多个模态所共有的第二模态共性特征。4.如权利要求3所述的方法，其特征在于，所述方法还包括：获取多个已有模态的模态数据样本、以及各所述已有模态的初始特征提取层，多个所述初始特征提取层构成一个特征提取模型；通过各所述已有模态的初始特征提取层，对各所述已有模态的模态数据样本进行共性特征提取，得到各所述已有模态的样本模态共性特征；分别将各所述已有模态的样本模态共性特征映射在一个特征空间内，得到各所述已有模态的映射模态共性特征；确定多个映射模态共性特征中每两个映射模态共性特征之间的特征差异，并基于确定的至少一个特征差异，确定所述特征提取模型的损失函数的值；基于所述损失函数的值，更新各所述初始特征提取层的参数，以得到各所述特征提取层。5.如权利要求1所述的方法，其特征在于，所述基于所述第一模态的模态数据，提取得到所述多个模态所共有的模态共性特征，包括：对所述第一模态的模态数据进行共性特征提取，得到所述第一模态对应的、所述多个
模态所共有的第一模态共性特征；基于所述第一模态共性特征，通过数据补全模型的共性特征生成层，生成所述多个模态所共有的模态共性特征；所述基于所述模态共性特征和所述模态独有特征，生成所述第二模态的目标模态数据，包括：基于所述模态共性特征和所述模态独有特征，通过所述数据补全模型的缺失模态数据生成层，生成所述第二模态的目标模态数据。6.如权利要求5所述的方法，其特征在于，所述方法还包括：获取初始数据补全模型、和用于训练所述初始数据补全模型的训练样本；其中，所述训练样本包括：基于第一模态的模态数据样本提取得到的所述多个模态所共有的共性特征样本、以及第二模态所独有的独有特征样本，所述训练样本标注有第二模态的真实模态数据；通过所述初始数据补全模型的共性特征生成层，基于所述共性特征样本，生成所述第二模态对应的、所述多个模态所共有的共性特征；通过所述初始数据补全模型的缺失模态数据生成层，基于所述共性特征和所述独有特征样本，生成第二模态的生成模态数据；基于所述生成模态数据和所述真实模态数据，确定所述初始数据补全模型的损失函数的值；基于所述损失函数的值，更新所述初始数据补...

【专利技术属性】
技术研发人员：连梓豪，许可，牛帅程，赵沛霖，谭明奎，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：