【技术实现步骤摘要】
文本识别方法、文本识别网络的训练方法及装置
[0001]本公开涉及图像处理
,尤其涉及人工智能的文本识别方法、文本识别网络的训练方法及装置。
技术介绍
[0002]文本识别是指在现有的通过文字检测方法确定出图像中文本的位置,并找出其边界框之后,对图像中的文字进行识别,可以广泛应用于身份证识别、票据识别等业务场景,从而大幅度节省人工录入时间,并提高各种应用场景中的效率。
技术实现思路
[0003]本公开提供了一种文本识别方法、文本识别网络的训练方法及装置。
[0004]根据本公开的一方面,提供了一种文本识别方法,包括:
[0005]确定待识别图像对应的编码后的序列特征;
[0006]基于所述编码后的序列特征和文本实例对应的字符特征,确定解码后的序列向量;
[0007]基于所述解码后的序列向量,确定所述待识别图像中包括的文本;
[0008]其中,所述文本实例包括预设的至少一个字符。
[0009]根据本公开的另一方面,提供了一种文本识别网络的训练方法,所述文本识别网络包括编码子网络、译码子网络和输出子网络,所述方法包括:
[0010]基于所述编码子网络确定训练样本集中样本图像对应的编码后的序列样本特征;
[0011]以所述编码后的序列样本特征和文本实例样本对应的字符样本特征作为所述译码子网络的跨层注意力层的输入,将所述跨层注意力层的输出确定为解码后的样本序列向量;
[0012]将所述解码后的样本序列向量作为所述输出子网络的输入,根 ...
【技术保护点】
【技术特征摘要】
1.一种文本识别方法,包括:确定待识别图像对应的编码后的序列特征;基于所述编码后的序列特征和文本实例对应的字符特征,确定解码后的序列向量;基于所述解码后的序列向量,确定所述待识别图像中包括的文本;其中,所述文本实例包括预设的至少一个字符;所述字符包括字母、数字、符号、文字中至少一种。2.根据权利要求1所述的方法,其中,所述确定待识别图像对应的编码后的序列特征包括:将待识别图像对应的图像矩阵转换为的一维向量;确定所述一维向量对应的特征为所述待识别图像的序列特征;对所述序列特征进行编码,确定所述待识别图像对应的编码后的序列特征。3.根据权利要求1所述的方法,其中,所述确定解码后的序列向量之前,所述方法还包括:获取所述文本实例对应的嵌入值,所述嵌入值为所述文本实例对应的字符特征;其中,不同的文本实例对应的嵌入值不同。4.根据权利要求1所述的方法,其中,所述基于所述解码后的序列向量,确定所述待识别图像中包括的文本,包括:将所述解码后的序列向量作为前馈子网络的输入,根据所述前馈子网络的输出,确定所述待识别图像包括的文本。5.根据权利要求1所述的方法,其中,所述基于所述解码后的序列向量,确定所述待识别图像中包括的文本之后,所述方法还包括:将所述解码后的序列向量与所述编码后的序列特征对应的向量相乘,得到乘积结果;基于所述乘积结果,确定所述文本在所述编码后的序列特征中的位置信息;基于所述文本在所述编码后的序列特征中的位置信息,确定所述文本在所述待识别图像的位置信息;基于所述文本在所述待识别图像的位置信息和所述待识别图像中包括的文本,按照所述文本在所述待识别图像中的顺序,输出所述待识别图像中包括的文本。6.一种文本识别网络的训练方法,其中,文本识别网络包括编码子网络、译码子网络和输出子网络,所述方法包括:基于所述编码子网络确定训练样本集中样本图像对应的编码后的序列样本特征;以所述编码后的序列样本特征和文本实例样本对应的字符样本特征作为所述译码子网络的跨层注意力层的输入,将所述跨层注意力层的输出确定为解码后的样本序列向量;将所述解码后的样本序列向量作为所述输出子网络的输入,根据所述输出子网络的输出,确定所述样本图像中包括的预测文本;匹配所述样本图像包括的预测文本和所述样本图像包括的标注文本,基于匹配结果调整所述文本识别网络的参数;其中,所述文本实例包括预设的至少一个字符;所述字符包括字母、数字、符号、文字中至少一种。7.根据权利要求6所述的方法,其中,所述文本识别网络还包括基础子网络;所述基于
所述编码子网络确定训练样本集中样本图像对应的编码后的序列样本特征,包括:所述基础子网络将所述样本图像对应的图像矩阵转换为表征所述样本图像的一维向量;所述样本图像的一维向量对应的特征为所述样本图像的序列样本特征;所述编码子网络对所述序列样本特征进行编码,确定训练样本集中样本图像对应的编码后的序列样本特征。8.根据权利要求6所述的方法,其中,所述确定解码后的样本序列向量之前,所述方法还包括:将所述文本实例样本输入至所述译码子网络的自注意力层,基于所述自注意力层的输出获取所述文本实例样本对应的嵌入值,所述嵌入值为所述文本实例样本对应的字符样本特征;其中,不同的文本实例样本对应的嵌入值不同。9.根据权利要求6所述的方法,其中,将所述解码后的样本序列向量作为所述输出子网络的输入,根据所述输出子网络的输出,确定所述样本图像中包括的预测文本,包括:将所述解码后的样本序列向量作为所述输出子网络包括的前馈子网络的输入,获取所述样本图像对应的至少一个预测类型;其中,所述样本图像对应的至少一个预测类型包括所述样本图像中包括的文本所对应的类型。10.根据权利要求6所述的方法,其中,匹配所述样本图像包括的预测文本和所述样本图像包括的标注文本,基于匹配结果调整所述文本识别网络的参数,包括:若所述预测文本和所述标注文本相同,则确定不调整所述文本识别网络的参数;若所述预测文本和所述标注文本不同,则基于所述样本图像的预测文本和所述样本图像的标注文本之间的差异,调整所述文本识别网络的参数。11.一种文本识别装置,包括:编码单元,用于确定待识别图像对应的编码后的序列特征;译码单元,用于基于所述编码后的序列特征和文本实例对应的字符特征,确定解码后的序列向量;输出单元,用于基于所述解码后的序列向量,确定所述待识别图像中包括的文本;其中,所述文本实例包括预设的至少一个字符;所...
【专利技术属性】
技术研发人员:张晓强,钦夏孟,章成全,姚锟,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。