本申请提供了一种信息融合方法及相关设备，信息融合方法包括：基于文本信息确定第一场景图数据，第一场景图数据用于表征文本信息的场景特征，基于图像信息确定第二场景图数据，第二场景图数据用于表征图像信息的场景特征，对第一场景图数据和第二场景图数据进行子图验证处理，得到第一场景图数据和第二场景图数据的关联信息，关联信息为第一场景图数据和第二场景图数据表征相同含义的信息，基于关联信息，对第一场景图数据和第二场景图数据进行信息融合处理，得到融合场景图数据。通过本申请，能够通过关联信息实现互补效果，从而提高不同模态之间信息融合的准确度。
【技术实现步骤摘要】
本申请涉及自然语言处理，尤其涉及一种信息融合方法及相关设备。
技术介绍
1、日常信息处理中会利用多模态信息以克服单一模态信息带来的信息理解错误问题，因此相关技术会结合多个模态的信息以避免信息理解错误。例如，在线上聊天时，通过结合文本以及图像的语义进行纠错以避免信息理解错误。在相关技术中文本信息结合图像信息的方式主要关注两个模态信息冲突的部分。
技术实现思路
1、本申请实施例提供一种信息融合方法及相关设备，能够通过关联信息实现互补效果，从而提高不同模态之间信息融合的准确度。
2、本申请实施例的技术方案是这样实现的：
3、本申请实施例提供一种信息融合方法，所述方法包括：
4、基于文本信息确定第一场景图数据，所述第一场景图数据为所述文本信息中指示的场景特征；
5、基于图像信息确定第二场景图数据，所述第二场景图数据为所述图像信息中指示的场景特征；
6、对所述第一场景图数据和所述第二场景图数据进行子图验证处理，得到所述第一场景图数据和所述第二场景图数据的关联信息，所述关联信息为所述第一场景图数据和所述第二场景图数据表征相同含义的信息；
7、基于所述关联信息，对所述第一场景图数据和所述第二场景图数据进行信息融合处理，得到融合场景图数据。
8、本申请实施例提供一种信息融合装置，包括：。
9、第一构建模块，用于基于文本信息确定第一场景图数据，所述第一场景图数据为所述文本信息中指示的场景特征；
>10、第二构建模块，用于基于图像信息确定第二场景图数据，所述第二场景图数据为所述图像信息中指示的场景特征；11、子图验证模块，用于对所述第一场景图数据和所述第二场景图数据进行子图验证处理，得到所述第一场景图数据和所述第二场景图数据的关联信息，所述关联信息为所述第一场景图数据和所述第二场景图数据表征相同含义的信息；
12、数据融合模块，用于基于所述关联信息，对所述第一场景图数据和所述第二场景图数据进行信息融合处理，得到融合场景图数据。
13、本申请实施例提供一种电子设备，所述电子设备包括：
14、存储器，用于存储计算机可执行指令；
15、处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本申请实施例提供的信息融合方法。
16、本申请实施例提供一种计算机可读存储介质，存储有计算机程序或计算机可执行指令，用于被处理器执行时实现本申请实施例提供的信息融合方法。
17、本申请实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，述计算机程序或计算机可执行指令被处理器执行时，实现本申请实施例提供的信息融合方法。
18、本申请实施例具有以下有益效果：
19、首先，基于文本信息确定第一场景图数据，第一场景图数据为文本信息中指示的场景特征，基于图像信息确定第二场景图数据，第二场景图数据为图像信息中指示的场景特征，这里相当于是将两个不同模态的信息映射到相同的数据空间，即图数据的数据空间，使得后续处理过程中不存在不同模态信息带来的隔离；接着对第一场景图数据和第二场景图数据进行子图验证处理，得到第一场景图数据和第二场景图数据的关联信息，关联信息为第一场景图数据和第二场景图数据表征相同含义的信息，即本申请实施例关注到两个模态信息之间的关联信息，关联信息后续可以用于在融合过程中实现互补消歧效果，并且子图验证的方式可以提高关联信息的准确度；最后基于关联信息，对第一场景图数据和第二场景图数据进行信息融合处理，得到融合场景图数据，通过关联信息实现互补效果，从而提高不同模态之间信息融合的准确度。
本文档来自技高网...
【技术保护点】
1.一种信息融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一场景图数据中包括多个第一节点，所述第二场景图数据中包括多个第二节点；所述对所述第一场景图数据和所述第二场景图数据进行子图验证处理，得到所述第一场景图数据以及所述第二场景图数据的关联信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述目标第一节点以及所述目标第二节点进行子图验证处理，包括：
4.根据权利要求3所述的方法，其特征在于，所述获取所述目标第一节点的第一验证子图，包括：
5.根据权利要求3所述的方法，其特征在于，所述获取所述第二节点的第二验证子图，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于所述第二验证子图，确定所述第二节点的第二特征，包括：
7.根据权利要求6所述的方法，其特征在于，所述归集融合处理是通过P个级联的归集网络实现的，P是大于或者等于2的整数；
8.根据权利要求7所述的方法，其特征在于，所述第i个归集融合结果通过如下步骤得到：
9.根据权利要求1所述的方法，其特征在于，所述基于所述关联信息，对所述第一场景图数据和所述第二场景图数据进行信息融合处理，得到融合场景图数据，包括：
10.一种电子设备，其特征在于，所述电子设备包括：
11.一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，其特征在于，所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至9任一项所述的信息融合方法。
...
【技术特征摘要】
1.一种信息融合方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一场景图数据中包括多个第一节点，所述第二场景图数据中包括多个第二节点；所述对所述第一场景图数据和所述第二场景图数据进行子图验证处理，得到所述第一场景图数据以及所述第二场景图数据的关联信息，包括：
3.根据权利要求2所述的方法，其特征在于，所述对所述目标第一节点以及所述目标第二节点进行子图验证处理，包括：
4.根据权利要求3所述的方法，其特征在于，所述获取所述目标第一节点的第一验证子图，包括：
5.根据权利要求3所述的方法，其特征在于，所述获取所述第二节点的第二验证子图，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于...
【专利技术属性】
技术研发人员：王淳，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。