图像识别方法、装置、终端和存储介质制造方法及图纸

本发明专利技术实施例公开了一种图像识别方法、装置、终端和存储介质；本发明专利技术实施例可以获取待识别图像，待识别图像为待识别证件的图像；对待识别图像进行文本区域识别，得到待识别证件所对应的目标文本的文本区域图像；根据文本区域图像确定目标文本的文本方向；根据文本方向对文本区域图像进行方向调整，得到调整后的文本区域图像；基于调整后的文本区域图像进行文本识别，得到目标文本的文本内容。本发明专利技术可以提取待识别图像中目标文本的文本区域图像，并确定目标文本的文本方向，自动地采用该文本方向修正歪斜、颠倒的文本区域图像后，该文本区域图像可用于文本识别，从而提高文本识别准确度。由此，本方案可以提升图像识别方法的效率。

【技术实现步骤摘要】
图像识别方法、装置、终端和存储介质
本专利技术涉及图像处理领域，具体涉及一种图像识别方法、装置、终端和存储介质。
技术介绍
目前，计算机可以针对银行卡、身份证、会员卡等实体证件的目标文本进行识别，比如，用户可以使用智能手机拍摄自己的银行卡的卡面，智能手机上相应的应用程序可以识别出该银行卡卡面上所显示的卡号数字，用户无需手动输入，智能手机就可以自动地录入用户的银行卡卡号。然而，一旦用户不能清晰、完整地从正面拍摄实体证件，或实体证件的版面不同于常见的实体证件时，则需要用户重新拍摄实体证件，否则会导致无法识别、识别错误、识别速度慢等情况，因此，目前的图像识别方法效率低下。
技术实现思路
本专利技术实施例提供一种图像识别方法、装置、终端和存储介质，可以提升图像识别方法的效率。本专利技术实施例提供一种图像识别方法，包括：获取待识别图像，所述待识别图像为待识别证件的图像；对所述待识别图像进行文本区域识别，得到所述待识别证件所对应的目标文本的文本区域图像；根据所述文本区域图像确定所述目标文本的文本方向；根据所述文本方向对所述文本区域图像进行方向调整，得到调整后的文本区域图像；基于所述调整后的文本区域图像进行文本识别，得到所述目标文本的文本内容。本专利技术实施例还提供一种图像识别装置，包括：获取单元，用于获取待识别图像，所述待识别图像为待识别证件的图像；文本单元，用于对所述待识别图像进行文本区域识别，得到所述待识别证件所对应的目标文本的文本区域图像；方向单元，用于根据所述文本区域图像确定所述目标文本的文本方向；调整单元，用于根据所述文本方向对所述文本区域图像进行方向调整，得到调整后的文本区域图像；识别单元，用于基于所述调整后的文本区域图像进行文本识别，得到所述目标文本的文本内容。在一些实施例中，所述文本单元，包括：图像特征子单元，用于对所述待识别图像进行图像特征提取，得到所述待识别图像的图像特征；图像类型子单元，用于采用图像分类网络根据所述图像特征对所述待识别图像进行图像类型识别，确定所述待识别图像的图像类型；文本区域子单元，用于当所述待识别图像的图像类型为预设证件类型时，采用区域检测网络根据所述图像特征对所述待识别图像进行文本区域分割，得到所述待识别证件所对应的目标文本的文本区域图像。在一些实施例中，所述图像子特征单元，用于：对待识别图像进行图像切割处理，得到图像片段组，所述图像片段组中包括多个图像片段；采用分组卷积网络对所述图像片段组进行多尺寸特征抽取，得到多个不同尺寸的图像片段特征组，其中，每个图像特征组中的图像片段特征的尺寸相同；基于所述不同尺寸的图像片段特征组进行特征融合处理，得到所述待识别图像的图像特征。在一些实施例中，所述图像类型子单元，还用于：采用图像分类网络根据所述图像特征确定所述待识别图像的证件方向；此时，在一些实施例中，所述方向单元，用于：根据所述文本方向和所述待识别证件的证件方向对所述文本区域图像进行方向调整，得到调整后的文本区域图像。在一些实施例中，所述文本区域子单元，包括：位置特征子模块，用于采用区域检测网络根据所述图像特征确定文本区域位置特征；位置特征点子模块，用于根据所述文本区域位置特征在所述待识别图像中确定文本区域位置特征点；分割子模块，用于根据所述文本区域位置特征点在所述待识别图像中分割得到文本区域图像，所述文本区域图像为包含了目标文本的图像。在一些实施例中，所述位置特征子模块，还用于：采用区域检测网络根据所述图像特征确定文本区域图像中目标文本的方向特征；所述根据所述文本区域图像确定所述目标文本的文本方向，包括：采用区域检测网络根据所述文本区域图像的方向特征确定所述目标文本的文本方向。在一些实施例中，所述区域检测网络包括多通道输出层，所述位置特征子模块在用于采用区域检测网络根据所述文本区域图像的方向特征确定所述目标文本的文本方向时，具体用于：在所述多通道输出层中根据所述方向特征确定所述文本区域图像中每个像素的方向预测值；对所述文本区域图像中每个像素的方向预测值进行统计，得到所述文本区域图像的全局方向值；根据所述全局方向值确定所述目标文本的文本方向。在一些实施例中，所述文本单元，包括：区域片段子单元，用于对所述文本区域图像进行图像切割处理，得到文本区域图像片段；区域片段特征子单元，用于采用分组卷积网络对所述文本区域图像片段进行特征抽取，得到文本区域图像片段特征；文本特征子单元，用于根据所述文本区域图像片段特征确定目标文本特征；文本识别子单元，用于采用双向循环网络基于所述目标文本特征进行文本识别，得到所述目标文本的文本内容。在一些实施例中，所述双向循环网络包括正向层和逆向层，所述文本识别子单元，用于：确定所述双向循环网络中的当前时刻，以及所述当前时刻的上一时刻所对应的正向隐层状态、当前时刻的下一时刻所对应的逆向隐层状态；根据所述目标文本特征、正向层在上一时刻的正向隐层状态确定正向层在当前时刻的正向隐层状态；根据所述目标文本特征、逆向层在下一时刻的逆向隐层状态确定逆向层在当前时刻的逆向隐层状态；根据所述正向层在当前时刻的正向隐层状态、逆向层在当前时刻的逆向隐层状态确定文本语义向量；根据文本语义向量确定所述目标文本的文本内容。在一些实施例中，所述文本方向包括第一方向、第二方向、第三方向和第四方向，所述方向单元，用于：当所述文本方向为第一方向时，将所述文本区域图像作为调整后的文本区域图像；当所述文本方向为第二方向时，将所述文本区域图像逆时针旋转90度，得到调整后的文本区域图像；当所述文本方向为第三方向时，将所述文本区域图像逆时针旋转180度，得到调整后的文本区域图像；当所述文本方向为第四方向时，将所述文本区域图像逆时针旋转270度，得到调整后的文本区域图像。在一些实施例中，所述识别单元，还用于：获取文本区域训练样本图像和预设循环卷积网络，所述文本区域训练样本图像标注了目标文本的文本内容，所述预设循环卷积网络包括分组卷积网络、双向循环网络、连接时序分类器；根据所述文本区域训练样本图像训练所述预设循环卷积网络，直至所述连接时序分类器判断所述预设循环卷积网络收敛，得到循环卷积网络；在一些实施例中，所述识别单元，用于：采用所述循环卷积网络基于所述调整后的文本区域图像进行文本识别，得到所述目标文本的文本内容。在一些实施例中，所述方向单元，用于：获取训练样本图像、预设图像分类网络和预设区域检测网络，所述训练样本图像标注了证件方向和文本方向；采用所述预设图像分类网络处理所述训练样本图像，得到证件方向训练结果；根据所述训练样本图像和所述证件方向训练结果训练预设区域本文档来自技高网...

【技术保护点】
1.一种图像识别方法，其特征在于，包括：/n获取待识别图像，所述待识别图像为待识别证件的图像；/n对所述待识别图像进行文本区域识别，得到所述待识别证件所对应的目标文本的文本区域图像；/n根据所述文本区域图像确定所述目标文本的文本方向；/n根据所述文本方向对所述文本区域图像进行方向调整，得到调整后的文本区域图像；/n基于所述调整后的文本区域图像进行文本识别，得到所述目标文本的文本内容。/n

【技术特征摘要】
1.一种图像识别方法，其特征在于，包括：
获取待识别图像，所述待识别图像为待识别证件的图像；
对所述待识别图像进行文本区域识别，得到所述待识别证件所对应的目标文本的文本区域图像；
根据所述文本区域图像确定所述目标文本的文本方向；
根据所述文本方向对所述文本区域图像进行方向调整，得到调整后的文本区域图像；
基于所述调整后的文本区域图像进行文本识别，得到所述目标文本的文本内容。


2.如权利要求1所述的图像识别方法，其特征在于，所述对所述待识别图像进行文本区域识别，得到所述待识别证件所对应的目标文本的文本区域图像，包括：
对所述待识别图像进行图像特征提取，得到所述待识别图像的图像特征；
采用图像分类网络根据所述图像特征对所述待识别图像进行图像类型识别，确定所述待识别图像的图像类型；
当所述待识别图像的图像类型为预设证件类型时，采用区域检测网络根据所述图像特征对所述待识别图像进行文本区域分割，得到所述待识别证件所对应的目标文本的文本区域图像。


3.如权利要求2所述的图像识别方法，其特征在于，所述对所述待识别图像进行图像特征提取，得到所述待识别图像的图像特征，包括：
对待识别图像进行图像切割处理，得到图像片段组，所述图像片段组中包括多个图像片段；
采用分组卷积网络对所述图像片段组进行多尺寸特征抽取，得到多个不同尺寸的图像片段特征组，其中，每个图像特征组中的图像片段特征的尺寸相同；
基于所述不同尺寸的图像片段特征组进行特征融合处理，得到所述待识别图像的图像特征。


4.如权利要求2所述的图像识别方法，其特征在于，所述采用图像分类网络根据所述图像特征对所述待识别图像进行图像类型识别，确定所述待识别图像的图像类型之后，还包括：
采用图像分类网络根据所述图像特征确定所述待识别图像的证件方向；
所述根据所述文本方向对所述文本区域图像进行方向调整，得到调整后的文本区域图像，包括：
根据所述文本方向和所述待识别证件的证件方向对所述文本区域图像进行方向调整，得到调整后的文本区域图像。


5.如权利要求2所述的图像识别方法，其特征在于，所述采用区域检测网络根据所述图像特征对所述待识别图像进行文本区域分割，得到所述待识别证件所对应的目标文本的文本区域图像，包括：
采用区域检测网络根据所述图像特征确定文本区域位置特征；
根据所述文本区域位置特征在所述待识别图像中确定文本区域位置特征点；
根据所述文本区域位置特征点在所述待识别图像中分割得到文本区域图像，所述文本区域图像为包含了目标文本的图像。


6.如权利要求5所述的图像识别方法，其特征在于，所述采用区域检测网络根据所述图像特征确定文本区域位置特征之后，还包括：
采用区域检测网络根据所述图像特征确定文本区域图像中目标文本的方向特征；
所述根据所述文本区域图像确定所述目标文本的文本方向，包括：
采用区域检测网络根据所述文本区域图像的方向特征确定所述目标文本的文本方向。


7.如权利要求6所述的图像识别方法，其特征在于，所述区域检测网络包括多通道输出层，所述采用区域检测网络根据所述文本区域图像的方向特征确定所述目标文本的文本方向，包括：
在所述多通道输出层中根据所述方向特征确定所述文本区域图像中每个像素的方向预测值；
对所述文本区域图像中每个像素的方向预测值进行统计，得到所述文本区域图像的全局方向值；
根据所述全局方向值确定所述目标文本的文本方向。


8.如权利要求1所述的图像识别方法，其特征在于，所述基于所述调整后的文本区域图像进行文本识别，得到所述目标文本的文本内容，包括：
对所述文本区域图像进行图像切割处理，得到文本区域图像片段；
采用分组卷积网络对所述文本区域图像片段进行特征抽取，得到文本区域图像片段特征；
根据所述文本区域图像...

【专利技术属性】
技术研发人员：伍敏慧，黄华杰，林榆耿，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44