【技术实现步骤摘要】
本专利技术涉及多模态学习、机器学习领域，尤其涉及一种分布一致的缺失模态恢复方法。
技术介绍
1、多模态机器学习致力于通过融合语言、声音、图像等多模态数据来设计一个强大的理解、推理和学习模型。这种丰富的多模态数据有利于理解人类的行为和意图，在智能辅导系统和机器人技术等领域具有广泛的应用前景和价值。然而，在一些受限的场景中，一些模态数据可能会丢失。例如，由于语音识别错误，语言模态数据可能无法使用；音频数据可能由于背景噪声而缺失；视觉数据可能由于照明、遮挡或社会隐私安全等问题导致该模态数据不能使用。在实际应用中，模态缺失的问题通常会降低多模态任务的性能。因此如何缓解模态缺失问题成为亟需解决的问题。目前的解决方法主要是“基于非补全的方法”和“基于补全的方法”，具体有：
2、1)基于非补全的方法。主要技术手段：寻找一个多模态数据共享的相关性最大的子空间，然后将可用模态数据映射到此空间来一致表达所有模态数据。问题和缺点：这些方法忽略了多模态数据的异构性所带来的互补性，造成次优的下游任务性能。
3、2)基于补全的方法。主要技术...
【技术保护点】
1.一种分布一致的缺失模态恢复方法，其特征在于，所述恢复方法包括：
2.根据权利要求1所述的一种分布一致的缺失模态恢复方法，其特征在于，所述收集多模态数据集具体包括：
3.根据权利要求1所述的一种分布一致的缺失模态恢复方法，其特征在于，所述设计一种分布一致的缺失模态恢复网络具体包括：
4.根据权利要求3所述的一种分布一致的缺失模态恢复方法，其特征在于，所述浅层特征提取器E包含三个独立的时序卷积层来接收三个模态的输入数据，分别为：语言数据L，视觉数据V和音频数据A，并输出浅层特征m∈{L,V,A}表示一个模态，Xm表示为：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。