图像处理方法及装置、电子设备和存储介质制造方法及图纸

技术编号:24252263 阅读:48 留言:0更新日期:2020-05-22 23:56
本公开涉及一种图像处理方法及装置、电子设备和存储介质,所述方法包括:对图像进行识别,确定所述图像中的多个目标区域,所述目标区域为待提取文本所在区域;确定所述图像中各目标区域之间的相对位置特征;确定各所述目标区域的目标特征,所述目标特征包括所述待提取文本的特征;通过图卷积神经网络,对所述相对位置特征和所述目标特征进行特征提取,得到提取后的特征;根据提取后的特征,确定所述待提取文本对应的字段。本公开实施例可提高文本提取时的准确性。

Image processing method and device, electronic equipment and storage medium

【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质
本公开涉及计算机
,尤其涉及一种图像处理方法及装置、电子设备和存储介质。
技术介绍
图像中关键文字信息提取在自动化办公等场景中有着非常重要的作用,例如,通过对图像中的关键文字信息提取,可以实现诸如收据信息提取、发票信息提取、身份信息提取等功能。在对图像中的文字进行提取时,会将识别出的文字对应到不同的字段中,以便后续对文字进行结构化存储、展示等操作。例如,识别出来的文字是“19.88元”,需要确定“19.88元”是对应字段“总价”,还是对应字段“单价”,以便后续将“19.88元”作为某个字段的值进行存储。通常,会根据图像中文字的排布规则,预先定义模板,模板中定义了某个位置的文字和字段的对应关系,这样便可以确定识别出来的位于某个位置的文字对应的字段。例如,预先定义图像右下角的文字对应的字段为“总价”,这样可以确定图像右下角识别出来的“19.88元”对应的字段为“总价”。但是,基于模板进行文字信息提取的方式,在对没有适配模板的图像进行文字信息提取时,准确性较差。专利本文档来自技高网...

【技术保护点】
1.一种图像处理方法,其特征在于,包括:/n对图像进行识别,确定所述图像中的多个目标区域,所述目标区域为待提取文本所在区域;/n确定所述图像中各目标区域之间的相对位置特征;/n确定各所述目标区域的目标特征,所述目标特征包括所述待提取文本的特征;/n通过图卷积神经网络,对所述相对位置特征和所述目标特征进行特征提取,得到提取后的特征;/n根据提取后的特征,确定所述待提取文本对应的字段。/n

【技术特征摘要】
1.一种图像处理方法,其特征在于,包括:
对图像进行识别,确定所述图像中的多个目标区域,所述目标区域为待提取文本所在区域;
确定所述图像中各目标区域之间的相对位置特征;
确定各所述目标区域的目标特征,所述目标特征包括所述待提取文本的特征;
通过图卷积神经网络,对所述相对位置特征和所述目标特征进行特征提取,得到提取后的特征;
根据提取后的特征,确定所述待提取文本对应的字段。


2.根据权利要求1所述方法,其特征在于,通过图卷积神经网络,对所述相对位置特征和所述目标特征进行特征提取,得到提取后的特征,包括:
以各所述目标特征为图的节点,以各所述相对位置特征为连接两个节点的边,构建连通图;
通过图卷积神经网络,对所述连通图进行迭代更新,将迭代更新后满足收敛条件的连通图作为提取后的特征。


3.根据权利要求2所述方法,其特征在于,根据提取后的特征,确定所述待提取文本对应的字段,包括:
根据预先定义的多个预设类别,对图卷积神经网络输出的连通图中的节点进行分类,得到节点的类别,所述预设类别包括:表征文本属于预设字段的标识的类别,以及表征文本属于预设字段的字段值的类别;
根据所述节点的类别,确定待提取文本对应于预设字段的标识或字段值。


4.根据权利要求1-3中任一项所述方法,其特征在于,确定所述图像中各目标区域之间的相对位置特征,包括:
确定图像中的第一目标区域和第二目标区域的相对位置参数;
对所述相对位置参数进行特征化处理,得到第一目标区域和第二目标区域的相对位置特征。


5.根据权利要求4所述方法,其特征在于,所述相对位置参数包括下述至少一种:
第一目标区域相对于第二目标区域的横向距离和纵向距离;
所述第一目标区域的宽高比;
所述第二目标区域的宽高比;
所述第一目标区域和所述第二目标区域的相对尺寸关系。


6.根据权利要求4或5任一所述方法,其特征在于,对所述相对位置参数进行特征化处理,得到第一目标区域和第二目标区域的相对位置特征,包括:
将所述相对位置参数通过正余弦变换矩阵映射到一个D维的空间,得到D维的特征向量,D为正整数;
通过预设权重矩阵,将所述D维的特征向量转化为1维的权重值;
通过预设激活函数对所述权重值进行处理,得到相对位置特征。


7.根据权...

【专利技术属性】
技术研发人员:孙红斌岳晓宇旷章辉蔺琛皓张伟
申请(专利权)人:深圳市商汤科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1