【技术实现步骤摘要】
面向模态缺失的图表示学习方法、系统、装置及存储介质
[0001]本专利技术涉计算机
，尤其涉及一种面向模态缺失的图表示学习方法、系统、装置及存储介质。
技术介绍
[0002]随着数据收集技术的进步，多模态数据急剧增加，多模态数据的整合能够提高机器学习在各种应用场景中的性能，然而如何整合模态缺失的数据仍然是一个具有挑战的问题。目前，大多数的图神经网络都假设顶点的所有特征可以获得，但是实际上顶点的特征可能只有一部分是可以获得的，比如说在社交网络中，部分用户不愿意填写年龄和性别这类信息，造成这类模态数据的缺失。
[0003]面对模态数据的缺失，目前常采用删除不完整的数据样本或插补缺失的模态等策略来处理这个问题，但是进行数据删除会显著减少训练数据的数量，当具有不同的缺失数据的大规模样本时可能会导致深度学习模型的过度拟合，基于插补的方法会在原始数据中引入额外的噪声，从而对学习模型的性能产生负面影响，并且有时会与复杂的辅助模型相关联，增加了计算的难度。综上，目前对于大规模模态缺失的数据整合方法得到的结果准确度较低。>
技术实现思路
【技术保护点】
【技术特征摘要】
1.一种面向模态缺失的图表示学习方法，其特征在于，包括以下步骤：获取模态缺失超图，其中，所述模态缺失超图包括多个资源超顶点，所述资源超顶点包括多种模态的表示矩阵；对每一个所述资源超顶点内的多种所述模态的表示矩阵进行特征交互，得到每一个所述资源超顶点的特征融合矩阵；对于每一个资源超顶点，将邻居资源超顶点的特征融合矩阵与当前资源超顶点的特征融合矩阵进行交互融合，并对当前资源超顶点的特征融合矩阵进行模态聚合得到当前资源超顶点的特征提取向量；根据每一个资源超顶点的所述特征提取向量更新所述模态缺失超图，得到多模态超图；将所述多模态超图输入图表示模型得到图表示结果。2.根据权利要求1所述的面向模态缺失的图表示学习方法，其特征在于，所述图表示模型包括双层自注意力残差连接的图神经网络，所述图神经网络包括基于紧框架构建的滤波器组，所述滤波器组包括低通滤波器、第一高通滤波器和第二高通滤波器。3.根据权利要求1所述的面向模态缺失的图表示学习方法，其特征在于，所述对每一个所述资源超顶点内的多种所述模态的表示矩阵进行特征交互融合，得到每一个所述资源超顶点的特征融合矩阵包括以下步骤：根据所述资源超顶点内的每一个模态的表示矩阵进行所述模态内的特征融合，得到第一融合向量；根据所述资源超顶点内的多种所述模态的表示矩阵对所述资源超顶点内的多种所述模态间的特征进行交互，得到第二融合向量；根据多个所述第一融合向量和多个所述第二融合向量得到所述特征融合矩阵，其中，所述特征融合矩阵包括多个模态向量。4.根据权利要求3所述的面向模态缺失的图表示学习方法，其特征在于，所述根据所述资源超顶点内的每一个模态的表示矩阵进行所述模态内的特征融合，得到第一融合向量包括以下步骤：根据所述模态的表示矩阵确定所述模态的特征值；对所述模态的表示矩阵中的所有特征向量进行两两内积得到格拉姆矩阵；根据所述特征值和所述格拉姆矩阵得到所述第一融合向量。5.根据权利要求3所述的面向模态缺失的图表示学习方法，其特征在于，所述根据多个所述第一融合向量和多个所述第二融合向量得到所述特征融合矩阵包括以下步骤：将所述第一融合向量和所述第二融合向量均输入张量型随机配置神经网络进行向量维度转换和拼接得到所述特征融合矩阵。6.根据权利要求5...
【专利技术属性】
技术研发人员：李明，段嘉峰，梁吉业，王宇光，陈雨婷，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。