面向RPA的多模态实体对齐自动融合方法、设备及介质技术

技术编号:42107323 阅读:27 留言:0更新日期:2024-07-25 00:30
本申请提供了一种面向RPA的多模态实体对齐自动融合方法、设备及介质,涉及多模态实体对齐自动融合领域,方法包括:通过构建的嵌入模型获取实体的各个嵌入表示;将嵌入表示俩俩输入到构建的超网模型进行训练,得到最终融合表示;将最终融合表示输入至损失函数中,结合模拟退火的梯度法,更新超网模型的结构参数以及网络权重,确定最优融合算子;根据最优融合算子调整网络权重,确定融合算子架构,从而确定最优融合模型;获取待测实体的嵌入表示,将嵌入表示输入最优融合模型,确定各个实体的最终融合表示;通过对比各个实体的最终融合表示,对齐自动融合各个实体的多模态信息。引入可微架构搜索,消除了人工设计融合操作的需求。

【技术实现步骤摘要】

本申请涉及多模态实体对齐自动融合领域,尤其涉及一种面向rpa的多模态实体对齐自动融合方法、设备及介质。


技术介绍

1、知识图谱是一种结构化的知识表示形式,用于描述实体之间的关系和属性。它通常以图形的形式呈现,其中实体表示为节点,关系表示为边。知识图谱旨在帮助计算机理解和推理知识,以更高效、准确地处理复杂任务,如信息检索、问答系统、语义搜索、推荐系统等。

2、多模态知识图谱需要进行集成和整合工作。作为多模态知识图谱集成和整合的关键任务,多模态实体对齐是根据不同的命名规则,关系结构以及视觉信息等挑战识别跨知识图谱的等价实体。

3、目前的多模态实体对齐的方法主要可以分为两类,基于早期特征融合的方法和晚期特征融合方法。

4、基于早期特征融合的实体对齐方法是建立在对视图直接进行简单的融合操作基础上的,例如加权,拼接。

5、基于晚期特征融合的实体对齐方法主要思想是得到视图原始嵌入向量,一步进行深层次的信息融合或决策。

6、然而,早期特征融合方法过于简单,没有丰富利用原始视图的嵌入表示,会影响最终的对齐效果,晚本文档来自技高网...

【技术保护点】

1.一种面向RPA的多模态实体对齐自动融合方法,其特征在于,方法包括以下步骤:

2.如权利要求1所述的一种面向RPA的多模态实体对齐自动融合方法,其特征在于,步骤S1包括:

3.如权利要求1所述的一种面向RPA的多模态实体对齐自动融合方法,其特征在于,步骤S2包括:

4.如权利要求1所述的一种面向RPA的多模态实体对齐自动融合方法,其特征在于,步骤S3包括:

5.如权利要求4所述的一种面向RPA的多模态实体对齐自动融合方法,其特征在于,所述双层优化公式如下:

6.如权利要求4所述的一种面向RPA的多模态实体对齐自动融合方法,其特...

【技术特征摘要】

1.一种面向rpa的多模态实体对齐自动融合方法,其特征在于,方法包括以下步骤:

2.如权利要求1所述的一种面向rpa的多模态实体对齐自动融合方法,其特征在于,步骤s1包括:

3.如权利要求1所述的一种面向rpa的多模态实体对齐自动融合方法,其特征在于,步骤s2包括:

4.如权利要求1所述的一种面向rpa的多模态实体对齐自动融合方法,其特征在于,步骤s3包括:

5.如权利要求4所述的一种面向rpa的多模态实体对齐自动融合方法,其特征在于,所述双层优化公式如下:

6.如权利要求4所述的一种面向rpa的多模态...

【专利技术属性】
技术研发人员:张竞超戴婷朱小龙洪云鹏卜晨阳吴信东
申请(专利权)人:安徽思高智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1