信息融合方法及相关设备技术

技术编号:41180649 阅读:21 留言:0更新日期:2024-05-07 22:15
本申请提供了一种信息融合方法及相关设备,信息融合方法包括:基于文本信息确定第一场景图数据,第一场景图数据用于表征文本信息的场景特征,基于图像信息确定第二场景图数据,第二场景图数据用于表征图像信息的场景特征,对第一场景图数据和第二场景图数据进行子图验证处理,得到第一场景图数据和第二场景图数据的关联信息,关联信息为第一场景图数据和第二场景图数据表征相同含义的信息,基于关联信息,对第一场景图数据和第二场景图数据进行信息融合处理,得到融合场景图数据。通过本申请,能够通过关联信息实现互补效果,从而提高不同模态之间信息融合的准确度。

【技术实现步骤摘要】

本申请涉及自然语言处理,尤其涉及一种信息融合方法及相关设备


技术介绍

1、日常信息处理中会利用多模态信息以克服单一模态信息带来的信息理解错误问题,因此相关技术会结合多个模态的信息以避免信息理解错误。例如,在线上聊天时,通过结合文本以及图像的语义进行纠错以避免信息理解错误。在相关技术中文本信息结合图像信息的方式主要关注两个模态信息冲突的部分。


技术实现思路

1、本申请实施例提供一种信息融合方法及相关设备,能够通过关联信息实现互补效果,从而提高不同模态之间信息融合的准确度。

2、本申请实施例的技术方案是这样实现的:

3、本申请实施例提供一种信息融合方法,所述方法包括:

4、基于文本信息确定第一场景图数据,所述第一场景图数据为所述文本信息中指示的场景特征;

5、基于图像信息确定第二场景图数据,所述第二场景图数据为所述图像信息中指示的场景特征;

6、对所述第一场景图数据和所述第二场景图数据进行子图验证处理,得到所述第一场景图数据和所述第二场景图数据的关联信本文档来自技高网...

【技术保护点】

1.一种信息融合方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一场景图数据中包括多个第一节点,所述第二场景图数据中包括多个第二节点;所述对所述第一场景图数据和所述第二场景图数据进行子图验证处理,得到所述第一场景图数据以及所述第二场景图数据的关联信息,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述目标第一节点以及所述目标第二节点进行子图验证处理,包括:

4.根据权利要求3所述的方法,其特征在于,所述获取所述目标第一节点的第一验证子图,包括:

5.根据权利要求3所述的方法,其特征在于,所述获取所...

【技术特征摘要】

1.一种信息融合方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一场景图数据中包括多个第一节点,所述第二场景图数据中包括多个第二节点;所述对所述第一场景图数据和所述第二场景图数据进行子图验证处理,得到所述第一场景图数据以及所述第二场景图数据的关联信息,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述目标第一节点以及所述目标第二节点进行子图验证处理,包括:

4.根据权利要求3所述的方法,其特征在于,所述获取所述目标第一节点的第一验证子图,包括:

5.根据权利要求3所述的方法,其特征在于,所述获取所述第二节点的第二验证子图,包括:

6.根据权利要求5所述的方法,其特征在于,所述基于...

【专利技术属性】
技术研发人员:王淳
申请(专利权)人:马上消费金融股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1