基于扩散模型的缺失模态生成方法、系统及存储介质技术方案

本发明专利技术公开一种基于扩散模型的缺失模态生成方法、系统及存储介质，方法包括：基于条件扩散模型构建基于UNet主干网络的缺失模态生成网络模型，多模态各自对应一个缺失模态生成网络模型，模型训练时输入包括对样本缺失模态加噪的带噪数据、加噪程度，以及其它未缺失模态组成的条件模态，输出为该样本缺失模态带噪数据中的噪声预测值；本发明专利技术方法还包括从现有数据中构建更高缺失率的样本作为模型训练的补充数据，用于提高模型处理不同类型数据缺失情况的能力；利用模型输出的预测噪声对带噪数据进行去噪，即得到缺失模态信息。本发明专利技术方法不仅能够灵活的应对任意模态缺失下的缺失模态生成任务，而且模型训练稳定，具有较好的缺失模态复原结果。

【技术实现步骤摘要】

本专利技术属于人工智能，特别涉及一种基于扩散模型的缺失模态生成方法、系统及存储介质。

技术介绍

1、模态缺失是多模态学习领域的挑战性问题。过去几年，学者们对这个挑战性问题进行了大量研究，但是这些方法普遍与下游任务结合，不能直接生成缺失模态的信息。

2、多模态学习算法要求所有样本的所有模态信息均可用，但在现实场景中，常因为各种不可控因素或考虑到样本采集成本，导致部分模态数据的缺失，给多模态学习带来了不小的挑战。现有工作中，关于缺失模态生成的代表性工作主要有两种，填补缺失模态的生成对抗网络(missing view imputation with generative adversarial networks，vigan)和级联残差自编码器(missing modalities imputation via cascaded residualautoencoder，cra)。其中vigan只能针对双模态数据做缺失模态数据的预测生成，并且模型相对复杂，由多个子网络构成，训练时其中一个环节出问题就容易导致模型坍塌。cra虽然能够支持存在任意缺失下的多模本文档来自技高网...

【技术保护点】

1.一种基于扩散模型的缺失模态生成方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的基于扩散模型的缺失模态生成方法，其特征在于，对样本第v个模态加噪后的带噪数据x(v)(t)，具体加噪表达式如下：表示从α1到αt累乘，αt是预定义好的加噪方案，满足0＜αT＜...＜αt＜...＜α1＜1，x(v)表示目标模态，ε表示对第v个模态随机添加的噪声，x(v)表示目标模态原数据，x(v)(t)表示对样本的模态v加噪t次的结果。

3.根据权利要求1所述的基于扩散模型的缺失模态生成方法，其特征在于，所述针对现有数据进行数据增强，生成增强数据集，具体为：根据现有...

【技术特征摘要】

1.一种基于扩散模型的缺失模态生成方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的基于扩散模型的缺失模态生成方法，其特征在于，对样本第v个模态加噪后的带噪数据x(v)(t)，具体加噪表达式如下：表示从α1到αt累乘，αt是预定义好的加噪方案，满足0＜αt＜...＜αt＜...＜α1＜1，x(v)表示目标模态，ε表示对第v个模态随机添加的噪声，x(v)表示目标模态原数据，x(v)(t)表示对样本的模态v加噪t次的结果。

3.根据权利要求1所述的基于扩散模型的缺失模态生成方法，其特征在于，所述针对现有数据进行数据增强，生成增强数据集，具体为：根据现有数据样本构造出具有更高缺失率和更多样化的缺失样本，即若样本i有l'＞2个可用模态，则可构造出2l'-l'-2个缺失率更高的新样本来扩充数据集。

4.根据权利要求1所述的基于扩散模型的缺失模态生成方法，其特征在于，所述缺失模态生成网络模型的损失函数l(v)，具体表达式如下：

5.根据权利要求1所述的基于扩散模型的缺失模态...

【专利技术属性】
技术研发人员：文杰，邓世杰，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：