图像信息提取方法、装置、介质及设备制造方法及图纸

技术编号:46331605 阅读:9 留言:0更新日期:2025-09-09 19:10
本申请实施例公开一种图像信息提取方法、装置、介质及设备。本发明专利技术实施例可应用于云技术。通过获取输入图像中每个实体对应的实体特征以及每个实体在输入图像中的空间特征;将每个实体特征和相应的空间特征输入到训练后的编码模型中,得到每个实体对应的注意力特征;遍历每个实体确定出问题实体,将问题实体对应的问题注意力特征和问题空间特征,与每个注意力特征输入到训练后的解码模型中,得到问题实体与每个非问题实体之间的相关性评分;根据相关性评分确定每个问题实体相应的关联实体。以此,结合实体的空间特征准确得到实体间的注意力特征,通过注意力特征准确得到问题实体和非问题实体之间的相关性评分,以准确得到问题实体的关联实体。

【技术实现步骤摘要】

本申请涉及图像处理,具体涉及一种图像信息提取方法、装置、介质及设备


技术介绍

1、在日常生活场景中存在各种各样的文档,这些文档中包含了多种实体信息,例如实体信息可以包括文本信息。在通用业务场景中,经常需要对文档中的实体信息进行识别和提取。

2、相关技术中,在对实体文档的实体信息进行提取时,会出现对一些实体关系提取不准确或者无法提取的现象。比如,在文档中的实体信息缺乏上下文信息时,或者文档中的一些实体信息是手写文本时,相关技术中无法准确地提取出某个实体相关联的其他实体。

3、因此,相关技术中在对某个实体相关联的其他实体进行提取时,存在提取不准确或者无法提取的问题。


技术实现思路

1、本申请实施例提供一种图像信息提取方法、装置、介质及设备。能够准确地在文档中提取出问题实体相应的关联实体。

2、根据本申请的一方面,本申请实施例提供了一种图像信息提取方法,包括:

3、获取输入图像中每个实体对应的实体特征以及每个实体在输入图像中的空间特征;

<p>4、将每个实体特本文档来自技高网...

【技术保护点】

1.一种图像信息提取方法,其特征在于,包括:

2.根据权利要求1所述的图像信息提取方法,其特征在于,所述获取输入图像中每个实体对应的实体特征以及每个所述实体在所述输入图像中的空间特征,包括:

3.根据权利要求2所述的图像信息提取方法,其特征在于,所述根据每个所述实体对应的所述位置信息确定出每个所述实体在所述输入图像中的空间特征,包括:

4.根据权利要求3所述的图像信息提取方法,其特征在于,所述根据所述定位点顺序确定每两个相邻的定位点之间的坐标差和欧式角度,包括:

5.根据权利要求2所述的图像信息提取方法,其特征在于,所述获取输入图像中每个实...

【技术特征摘要】

1.一种图像信息提取方法,其特征在于,包括:

2.根据权利要求1所述的图像信息提取方法,其特征在于,所述获取输入图像中每个实体对应的实体特征以及每个所述实体在所述输入图像中的空间特征,包括:

3.根据权利要求2所述的图像信息提取方法,其特征在于,所述根据每个所述实体对应的所述位置信息确定出每个所述实体在所述输入图像中的空间特征,包括:

4.根据权利要求3所述的图像信息提取方法,其特征在于,所述根据所述定位点顺序确定每两个相邻的定位点之间的坐标差和欧式角度,包括:

5.根据权利要求2所述的图像信息提取方法,其特征在于,所述获取输入图像中每个实体对应的文本信息和位置信息,包括:

6.根据权利要求1所述的图像信息提取方法,其特征在于,所述将每个所述实体特征和相应的所述空间特征输入到训练后的编码模型中,得到每个所述实体对应的注意力特征,包括:

7.根据权利要求6所述的图像信息提取方法,其特征在于,所述训练后的编码模型包括多个连接的子编码模型,前一个所述子编码模型的输出与后一个所述子编码模型的输入连接;

8.根据权利要求7所述的图像信息提取方法,其特征在于,每个所述子编码模型包括第一多头注意力模块;

9.根据权利要求8所述的图像信息提取方法,其特征在于,所述将每个所述目标实体特征和相应的所述空间特征输入到第一个所述子编码模型的第一多头注意力模块中,输出每个所述实体对应的第一注意力向量,包括:

10.根据权利要求9所述的图像信息提取方法,其特征在于,所述根据所述第一实体的查询向量、所述第二实体的键向量以及所述空间分布向量,确定出每个所述第一实体和相应的所述第二实体之间对应的第一注意力向量,包括:

11.根...

【专利技术属性】
技术研发人员:陈威达陶大鹏郭春超李昊曦刘威蒋杰
申请(专利权)人:深圳市腾讯计算机系统有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1