一种超图变分自编码器的多模态半监督表征学习方法技术

本申请涉及一种超图变分自编码器的多模态半监督表征学习方法，该方法包括：利用多模态数据构造多模态超图，计算得到原始拉普拉斯关系矩阵；利用原始拉普拉斯关系矩阵构建单层超图卷积并提取得到潜在的融合表示；利用变分推理模型对融合表示引入标准高斯分布先验信息并推理得到联合表征结果；对联合表征结果进行内积计算生成重构拉普拉斯关系矩阵；利用KL散度约束生成重构拉普拉斯关系矩阵与原始拉普拉斯关系矩阵的差异信息；根据差异信息采用交叉熵度量多模态数据的标签与融合表示之间的损失，初始化变分自编码器的训练参数并采用Adam算法对优化的目标函数进行梯度下降处理，更新联合表征结果。大幅提高了多模态数据处理性能。性能。性能。

【技术实现步骤摘要】
一种超图变分自编码器的多模态半监督表征学习方法


[0001]本专利技术属于数据融合处理
，涉及一种超图变分自编码器的多模态半监督表征学习方法。

技术介绍

[0002]随着现代智能技术的发展，数据的来源和种类越来越多，对多源数据的融合应用要求也越来越高。在现实世界的环境中，智能设备是通过多模态数据感知外部环境的，例如基于图像视觉、雷达探测和激光探测等产生的多模态数据进行多源信息融合，利用融合的多模态数据感知外部环境。例如对于雷达和激光联合识别目标的场景，如何融合雷达与激光的目标特征来提高识别准确率是其核心要点。而如何融合不同传感器或者不同模态的特征数据是多模态学习的一个核心问题，目前主流的研究工作在于利用深度网络和标签来学习的潜在融合表征。
[0003]雷达与激光多等传感器的数据量相比单一传感器的数据量更大，且存在着数据配准和标注难度更高等现实问题。尽管多模态或多传感器的数据可以提供多源信息并揭示现实世界中模态之间的互补关系，但其数据标注的过程比正常单模态数据更耗时且更昂贵。因此有必要在半监督条件下研究如何挖掘缺失标签下多模态数据的交互。目前，在利用多模态学习方法融合多模态数据的特征过程中，现有的变分自编码器多专注于如何利用多模态数据的低阶相关性来挖掘利用多模态数据的交互。然而，在实现本专利技术的过程中，专利技术人发现传统的多模态数据处理技术中，存在着多模态数据处理性能不高的技术问题。

技术实现思路

[0004]针对上述传统方法中存在的问题，本专利技术提出了一种能够大幅提高多模态数据处理性能的超图变分自编码器的多模态半监督表征学习方法，一种超图变分自编码器的多模态半监督表征学习装置，一种计算机设备以及一种计算机可读存储介质。
[0005]为了实现上述目的，本专利技术实施例采用以下技术方案：
[0006]一方面，提供一种超图变分自编码器的多模态半监督表征学习方法，包括步骤：
[0007]获取多模态数据；多模态数据包括雷达特征数据、激光特征数据和图像特征数据；
[0008]利用多模态数据构造多模态超图；
[0009]根据多模态超图计算得到原始拉普拉斯关系矩阵；
[0010]利用原始拉普拉斯关系矩阵构建单层超图卷积，根据单层超图卷积提取得到潜在的融合表示；
[0011]利用变分推理模型对融合表示引入标准高斯分布先验信息，推理得到多模态数据的联合表征结果；
[0012]对联合表征结果进行内积计算，生成重构拉普拉斯关系矩阵；
[0013]利用KL散度约束生成重构拉普拉斯关系矩阵与原始拉普拉斯关系矩阵的差异信息；
[0014]根据差异信息，采用交叉熵度量多模态数据的半监督标签与融合表示之间的损失，得到优化的目标函数；
[0015]初始化变分自编码器的训练参数并采用Adam算法对优化的目标函数进行梯度下降处理，更新联合表征结果；联合表征结果用于多传感器联合目标识别。
[0016]另一方面，还提供一种超图变分自编码器的多模态半监督表征学习装置，包括：
[0017]数据获取模块，用于获取多模态数据；多模态数据包括雷达特征数据、激光特征数据和图像特征数据；
[0018]超图构建模块，用于利用多模态数据构造多模态超图；
[0019]矩阵计算模块，用于根据多模态超图计算得到原始拉普拉斯关系矩阵；
[0020]卷积融合模块，用于利用原始拉普拉斯关系矩阵构建单层超图卷积，根据单层超图卷积提取得到潜在的融合表示；
[0021]联合表征模块，用于利用变分推理模型对融合表示引入标准高斯分布先验信息，推理得到多模态数据的联合表征结果；
[0022]矩阵重构模块，用于对联合表征结果进行内积计算，生成重构拉普拉斯关系矩阵；
[0023]差异计算模块，用于利用KL散度约束生成重构拉普拉斯关系矩阵与原始拉普拉斯关系矩阵的差异信息；
[0024]目标函数模块，用于根据差异信息，采用交叉熵度量多模态数据的半监督标签与融合表示之间的损失，得到优化的目标函数；
[0025]表征更新模块，用于初始化变分自编码器的训练参数并采用Adam算法对优化的目标函数进行梯度下降处理，更新联合表征结果；联合表征结果用于多传感器联合目标识别。
[0026]又一方面，还提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述的一种超图变分自编码器的多模态半监督表征学习方法的步骤。
[0027]再一方面，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的一种超图变分自编码器的多模态半监督表征学习方法的步骤。
[0028]上述技术方案中的一个技术方案具有如下优点和有益效果：
[0029]上述超图变分自编码器的多模态半监督表征学习方法，通过基于超图变分自编码器的通用框架，首先获取多模态数据后构建多模态超图，然后计算原始拉普拉斯矩阵，在构建单层超图卷积以提取潜在的融合表示。再利用变分推理模型对融合表示引入标准高斯分布先验信息，推理多模态数据的联合表征结果，进而利用联合表征结果重构拉普拉斯关系矩阵，利用KL散度约束生成两种拉普拉斯矩阵的差异信息后，采用交叉熵度量多模态数据的半监督标签与融合表示之间的损失，得到优化的目标函数。最后，初始化变分自编码器的训练参数并采用Adam算法对优化的目标函数进行梯度下降处理，更新联合表征结果，完成多模态数据的融合处理。
[0030]相比于现有技术，上述方法提出了用于多模态半监督表征的超图变分自动编码器，能够对多模态数据的高阶相关性进行自动编码并通过变分推理引入标准高斯分布先验信息有效地学习潜在的融合表示。超图变分自动编码器的通用性更强，可处理复杂的多模态数据并且只使用少量半监督标签就可以融合不同模态的特征数据，大幅提高了多模态数据处理性能，从而可有效提高雷达特征与激光特征等数据融合的性能，提高联合目标识别
准确率。
附图说明
[0031]为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为一个实施例中超图变分自编码器的多模态半监督表征学习方法的流程示意图；
[0033]图2为一个实施例中多模态超图的构建流程示意图；
[0034]图3为一个实施例中超图变分自编码器的多模态半监督表征学习方法的流程框架图；
[0035]图4为一个实施例中在ModelNet40数据集上验证的二维t
‑
SNE可视化示意图；其中，(a)为模态一的原始特征，(b)为模态二的原始特征，(c)为获得的潜在融合表示；
[0036]图5为一个实施例中在ModelNet40数据集上训练集和测试集的准确度曲线；
[0037]图6为一个实施例中一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超图变分自编码器的多模态半监督表征学习方法，其特征在于，包括步骤：获取多模态数据；所述多模态数据包括雷达特征数据、激光特征数据和图像特征数据；利用所述多模态数据构造多模态超图；根据所述多模态超图计算得到原始拉普拉斯关系矩阵；利用所述原始拉普拉斯关系矩阵构建单层超图卷积，根据所述单层超图卷积提取得到潜在的融合表示；利用变分推理模型对所述融合表示引入标准高斯分布先验信息，推理得到所述多模态数据的联合表征结果；对所述联合表征结果进行内积计算，生成重构拉普拉斯关系矩阵；利用KL散度约束生成所述重构拉普拉斯关系矩阵与所述原始拉普拉斯关系矩阵的差异信息；根据所述差异信息，采用交叉熵度量所述多模态数据的半监督标签与所述融合表示之间的损失，得到优化的目标函数；初始化变分自编码器的训练参数并采用Adam算法对所述优化的目标函数进行梯度下降处理，更新所述联合表征结果；所述联合表征结果用于多传感器联合目标识别。2.根据权利要求1所述的超图变分自编码器的多模态半监督表征学习方法，其特征在于，利用所述多模态数据构造多模态超图的步骤，包括：计算所述多模态数据中单模态下每个特征数据之间在欧氏空间上的距离；采用K近邻算法计算每个特征数据在欧氏空间上的K个近邻并选取K值；根据每个特征数据及特征数据在欧氏空间上的K个近邻构建单模态下的超边，生成单模态下的超图索引矩阵；将每个单模态下的超图索引矩阵级联，得到所述多模态超图。3.根据权利要求1或2所述的超图变分自编码器的多模态半监督表征学习方法，其特征在于，根据所述多模态超图计算得到原始拉普拉斯关系矩阵的步骤，包括：计算所述多模态超图的超边的度矩阵和顶点的度矩阵；根据所述超边的度矩阵和所述顶点的度矩阵，计算得到所述原始拉普拉斯关系矩阵。4.根据权利要求3所述的超图变分自编码器的多模态半监督表征学习方法，其特征在于，利用所述原始拉普拉斯关系矩阵构建单层超图卷积，根据所述单层超图卷积提取得到潜在的融合表示的步骤，包括：利用所述原始拉普拉斯关系矩阵构建单层超图卷积；利用所述单层超图卷积提取每个模态下的隐变量表示；将每个隐变量表示进行级联融合，得到潜在的所述融合表示。5.根据权利要求3所述的超图变分自编码器的多模态半监督表征学习方法，其特征在于，利用变分推理模型对所述融合表示引入标准高斯分布先验信息，推理得到所述多模态数据的联合表征结果的步骤，包括：利用所述单层超图卷积提取所述融合表示的均值和方差；采用重参数化技巧训练，从所述标准高斯分布先验信息中...

【专利技术属性】
技术研发人员：刘经权，胡卫东，杜小勇，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：