【技术实现步骤摘要】
本专利技术涉及一种基于动态提示学习和多粒度聚合的多模态知识图谱补全方法。
技术介绍
1、随着多媒体数据在社会媒体平台上的普及，多模态知识图谱(mkg)越来越受到关注。mkg不仅包含传统的文本信息，还包含视觉信息，从而极大地丰富了知识图谱的表达能力，使其能够更全面地捕捉和表达复杂现实世界的信息。多模态知识图谱补全(mkgc) 技术旨在通过分析视觉和文本数据来填补知识图谱中的缺失事实，从而提高知识图谱的完整性和推理准确性。
2、现有的mkgc方法主要面临以下挑战：
3、模态矛盾： 现有方法在融合视觉信息时，往往忽略了与实体无关的视觉噪声，导致模态矛盾，影响实体表示的准确性。
4、模型架构通用性：不同的mkgc任务和模态表示需要改变模型架构，增加了模型开发和维护的复杂性。
5、提示学习的局限性： 现有的提示学习方法主要基于固定模板，缺乏灵活性，难以适应不同任务的需求。
6、针对这些挑战，已有一些mkgc方法被提出：
7、基于早期融合的方法： 聚合方法是将不同模态的特征分别...
【技术保护点】
1.一种基于动态提示学习和多粒度聚合的多模态知识图谱补全方法，其特征在于，对Transformer架构进行优化，加入动态提示模板和多粒度跨模态聚合，得到改进的Transformer模型，用于多模态知识图谱补全，具体包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，步骤1包括：给定一个实体描述T = {V1，V2，…，Vn}和关联图像I = {I1, ，I2，…，In}，设计如下动态提示学习模板：
3.根据权利要求2所述的方法，其特征在于，步骤1中，所述动态提示模板包括多模态链路预测MLP模板、多模态命名实体识别MNER模板和多模态关系抽
【技术特征摘要】
1.一种基于动态提示学习和多粒度聚合的多模态知识图谱补全方法，其特征在于，对transformer架构进行优化，加入动态提示模板和多粒度跨模态聚合，得到改进的transformer模型，用于多模态知识图谱补全，具体包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，步骤1包括：给定一个实体描述t = {v1，v2，…，vn}和关联图像i = {i1, ，i2，…，in}，设计如下动态提示学习模板：
3.根据权利要求2所述的方法，其特征在于，步骤1中，所述动态提示模板包括多模态链路预测mlp模板、多模态命名实体识别mner模板和多模态关系抽取mre模板：
4.根据权利要求3所述的方法，其特征在于，步骤2中，所述...
【专利技术属性】
技术研发人员：黄施远，刘琳，韩铭佳，戴宇宸，陈丽瑾，李志钢，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。